LLM入門學習ML

不考慮遊戲,不生圖,只考慮BUDGET,LINUX適配性,現有框架部署可行性,算力,數據處理,情緒分析
V100 16GB VS 3080 20GB?

忘了說,配7940hs cpu, 不用考慮顯示輸出問題

TOP

本帖最後由 HKF91 於 2026-3-3 11:31 編輯

qwen3.5:9b
剛出呢個9b版 很強   16~20gb卡 大包圍能力(vision ,tools ,thinking)你應該只有呢個模型岩跑   但你做既分析就唔知岩唔岩用啦
PS: 不要只看模型的b   還要預context問題  4k 8k 16k 32k 64k 128k 256k 用vram換的   9b版跑16K context 都夠爆16GB卡


我用黎跑OPENCLAW  竟然做到建立檔案無出現幻覺   工具跑到無出error  就算gpt-oss 20b 都做不到

TOP

你system ram幾多先,多可以試35b-a3b

via HKEPC IR 5.1.14 - Android(5.1.2F)

TOP

回覆 1# Smallduck456

Intel ARC 會唔會考慮?

TOP

qwen玩完.
過一兩年local大落後,可能無人玩.

via HKEPC IR 5.1.14 - Android(5.1.2F)

TOP

本帖最後由 latali 於 2026-3-5 17:39 編輯
不考慮遊戲,不生圖,只考慮BUDGET,LINUX適配性,現有框架部署可行性,算力,數據處理,情緒分析
V100 16GB ...
Smallduck456 發表於 2026-3-3 02:17


昨天用平版測試 QWEN3.5 4B 能力,比前版7B更好。視覺功能非常強,唯一問題係會過度重複思考,簡單一句你好,思考來思考去都唔答我。電腦則測試用27B Q4 整個HTML網頁出黎非常容易無咩錯誤,Q6以上會慢好多。35b a3b則比上一版亦多左思考過多既問題,有D影響答案質量。

TOP

本帖最後由 ckyuen2 於 2026-3-6 08:01 編輯

淘仔2000 blackwell都唔特別貴
雖然貴過arc
但考慮埋效能同兼容性
性價比高過arc

當然其實rtx 4/5字頭16gb果啲可能效能仲好

TOP

本帖最後由 ki_cat 於 2026-3-12 17:27 編輯

發現玩角色扮演,作d不足為外人道既神秘故事既話,122b -a10b快過同用詞多過27b.
35b明顯比27b差.
計過一般文書機,64 ram +16g vram既話,q2勉強夠.
試過iq2都用得下.不過易左發癲.


32k內文


via HKEPC IR 5.1.14 - Android(5.1.2F)
附件: 您需要登錄才可以下載或查看附件。沒有帳號?註冊

TOP

發現玩角色扮演,作d不足為外人道既神秘故事既話,122b -a10b快過同用詞多過27b.
35b明顯比27b差.
計過一般文 ...
ki_cat 發表於 12-3-2026 10:37


q2係智障冇實際作用, LLM q4係基本最好就用q6或以上

TOP