LLM入門學習ML

Smallduck456

不考慮遊戲，不生圖，只考慮BUDGET,LINUX適配性，現有框架部署可行性，算力，數據處理，情緒分析
V100 16GB VS 3080 20GB?

Smallduck456

忘了說，配7940hs cpu, 不用考慮顯示輸出問題

HKF91

qwen3.5:9b
剛出呢個9b版 很強   16~20gb卡 大包圍能力(vision ,tools ,thinking)你應該只有呢個模型岩跑   但你做既分析就唔知岩唔岩用啦
PS: 不要只看模型的b   還要預context問題  4k 8k 16k 32k 64k 128k 256k 用vram換的   9b版跑16K context 都夠爆16GB卡


我用黎跑OPENCLAW  竟然做到建立檔案無出現幻覺   工具跑到無出error  就算gpt-oss 20b 都做不到

ki_cat

你system ram幾多先,多可以試35b-a3b

via HKEPC IR 5.1.14 - Android(5.1.2F)

cadelite

回覆 1# Smallduck456

Intel ARC 會唔會考慮?

ki_cat

qwen玩完.
過一兩年local大落後,可能無人玩.

via HKEPC IR 5.1.14 - Android(5.1.2F)

latali

不考慮遊戲，不生圖，只考慮BUDGET,LINUX適配性，現有框架部署可行性，算力，數據處理，情緒分析
V100 16GB ...
Smallduck456 發表於 2026-3-3 02:17

昨天用平版測試 QWEN3.5 4B 能力，比前版7B更好。視覺功能非常強，唯一問題係會過度重複思考，簡單一句你好，思考來思考去都唔答我。電腦則測試用27B Q4 整個HTML網頁出黎非常容易無咩錯誤，Q6以上會慢好多。35b a3b則比上一版亦多左思考過多既問題，有D影響答案質量。

ckyuen2

淘仔2000 blackwell都唔特別貴
雖然貴過arc
但考慮埋效能同兼容性
性價比高過arc

當然其實rtx 4/5字頭16gb果啲可能效能仲好

ki_cat

發現玩角色扮演,作d不足為外人道既神秘故事既話,122b -a10b快過同用詞多過27b.
35b明顯比27b差.
計過一般文書機,64 ram +16g vram既話,q2勉強夠.
試過iq2都用得下.不過易左發癲.


32k內文


via HKEPC IR 5.1.14 - Android(5.1.2F)

kenken33

發現玩角色扮演,作d不足為外人道既神秘故事既話,122b -a10b快過同用詞多過27b.
35b明顯比27b差.
計過一般文 ...
ki_cat 發表於 12-3-2026 10:37

q2係智障冇實際作用， LLM q4係基本最好就用q6或以上