作者: Smallduck456 時間: 2026-3-3 10:17 標題: LLM入門學習ML
不考慮遊戲，不生圖，只考慮BUDGET,LINUX適配性，現有框架部署可行性，算力，數據處理，情緒分析
V100 16GB VS 3080 20GB?
作者: Smallduck456 時間: 2026-3-3 10:19
忘了說，配7940hs cpu, 不用考慮顯示輸出問題
作者: HKF91 時間: 2026-3-3 11:24
本帖最後由 HKF91 於 2026-3-3 11:31 編輯
qwen3.5:9b
剛出呢個9b版 很強 16~20gb卡 大包圍能力(vision ,tools ,thinking)你應該只有呢個模型岩跑 但你做既分析就唔知岩唔岩用啦
PS: 不要只看模型的b 還要預context問題 4k 8k 16k 32k 64k 128k 256k 用vram換的 9b版跑16K context 都夠爆16GB卡
我用黎跑OPENCLAW 竟然做到建立檔案無出現幻覺 工具跑到無出error 就算gpt-oss 20b 都做不到
作者: ki_cat 時間: 2026-3-3 11:41
你system ram幾多先,多可以試35b-a3b
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: cadelite 時間: 2026-3-3 13:13
回覆 1# Smallduck456
Intel ARC 會唔會考慮?
作者: ki_cat 時間: 2026-3-4 17:18
qwen玩完.
過一兩年local大落後,可能無人玩.
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: latali 時間: 2026-3-6 01:37
本帖最後由 latali 於 2026-3-5 17:39 編輯
不考慮遊戲，不生圖，只考慮BUDGET,LINUX適配性，現有框架部署可行性，算力，數據處理，情緒分析
V100 16GB ...
Smallduck456 發表於 2026-3-3 02:17
昨天用平版測試 QWEN3.5 4B 能力，比前版7B更好。視覺功能非常強，唯一問題係會過度重複思考，簡單一句你好，思考來思考去都唔答我。電腦則測試用27B Q4 整個HTML網頁出黎非常容易無咩錯誤，Q6以上會慢好多。35b a3b則比上一版亦多左思考過多既問題，有D影響答案質量。
作者: ckyuen2 時間: 2026-3-6 07:51
本帖最後由 ckyuen2 於 2026-3-6 08:01 編輯
淘仔2000 blackwell都唔特別貴
雖然貴過arc
但考慮埋效能同兼容性
性價比高過arc
當然其實rtx 4/5字頭16gb果啲可能效能仲好
作者: ki_cat 時間: 2026-3-12 10:37
本帖最後由 ki_cat 於 2026-3-12 17:27 編輯
發現玩角色扮演,作d不足為外人道既神秘故事既話,122b -a10b快過同用詞多過27b.
35b明顯比27b差.
計過一般文書機,64 ram +16g vram既話,q2勉強夠.
試過iq2都用得下.不過易左發癲.
[attach]2518496[/attach]
32k內文
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: kenken33 時間: 2026-3-14 17:52
發現玩角色扮演,作d不足為外人道既神秘故事既話,122b -a10b快過同用詞多過27b.
35b明顯比27b差.
計過一般文 ...
ki_cat 發表於 12-3-2026 10:37
q2係智障冇實際作用， LLM q4係基本最好就用q6或以上
作者: 044003 時間: 2026-3-14 21:32
發現玩角色扮演,作d不足為外人道既神秘故事既話,122b -a10b快過同用詞多過27b.
35b明顯比27b差.
計過一般文 ...
ki_cat 發表於 2026-3-12 10:37
有冇tune temperature?
作者: ki_cat 時間: 2026-3-14 22:45
本帖最後由 ki_cat 於 2026-3-14 23:17 編輯
有冇tune temperature?
044003 發表於 2026-3-14 21:32
叫佢狗up,緊係推上1至1.1
top-k 100
top-p 1
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: ki_cat 時間: 2026-3-14 22:48
q2係智障冇實際作用， LLM q4係基本最好就用q6或以上
kenken33 發表於 2026-3-14 17:52
q2係唔準.同易劣化,無人叫佢做野.
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: kmb1933 時間: 2026-3-16 00:43
27b係最慢 同最勁 等同其他moe模型axxaxxb 果個b 例如你個122ba10b 就係moe一個10b模型出黎跑 不過真係要快可以5090跑27b 咁就好好多啦.
作者: ki_cat 時間: 2026-3-17 18:21
https://youtu.be/tPomOd9Mo1M?si=mzen62O1MHKEVqkK
原來q3都得,12g vram+64ram,run122b
via HKEPC IR 5.1.14 - Android(5.1.2F)
作者: 044003 時間: 2026-3-21 13:57
https://youtu.be/tPomOd9Mo1M?si=mzen62O1MHKEVqkK
原來q3都得,12g vram+64ram,run122b
via HKEPC IR 5. ...
ki_cat 發表於 2026-3-17 18:21
每次activate得個10b...可以offload其餘個d去system ram
作者: ki_cat 時間: 2026-3-24 01:07
每次activate得個10b...可以offload其餘個d去system ram
044003 發表於 2026-3-21 13:57
https://x.com/TeksEdge/status/2036116516123595184
已經開始放到落SSD,397b係12g既IPHONE度行...