依家新出既AI CPU好多都有4~50 TOPS, 夠唔夠行local LLM?

樓主

中級會員

Rank: 2 Rank: 2

21^# 跳轉到 »

發表於 2025-2-6 21:56 | 只看該作者

另外, 好奇心作祟, 係自己部Mini PC 下載咗LM Studio, 玩DeepSeek R1:
Minisforum UM790Pro
AMD Ryzen9 794 ...
artai 發表於 2025-2-6 13:41

5 tok/sec , 即係點既體驗?
問一條問題等十零秒就覆到?
覆既時候係遂粒遂粒字彈出黎? 定係一排咁彈出黎?

TOP

artai

中級會員

Rank: 2 Rank: 2

22^#

發表於 2025-2-6 22:21 | 只看該作者

回覆 21# 樓主

我係另一個貼裡面講過MacBook M3 Pro 行 DeepSeek R1 14B都係慢, 大約一個問題一個回答要3至10分鐘, 視乎複雜程度, 今日都check 過, 原來MacBook M3 Pro都有14 Tok/ Second, 咁你自己計返條數...

緊急需要AI, 真係上網玩DeepSeek 完全版好過, 但唔急的話, 咪打個指示之後行開吓, 等佢出結果囉

TOP

artai

中級會員

Rank: 2 Rank: 2

23^#

發表於 2025-2-6 22:26 | 只看該作者

今日試完之後, 其實個人黎講, 真係有考慮買部可以行70B順暢的家用伺服器, 去做多D唔同類別的自動化

但一睇要乜嘢硬件同價錢.... 呢個時勢身痕都有個譜囉, 做付費用戶N年都未花到咁多錢, 咁買黎做乜丫?

TOP

artai

中級會員

Rank: 2 Rank: 2

24^#

發表於 2025-2-6 22:48 | 只看該作者

多謝你, 你講既就係我需要既野.
睇返 7940HS 既NPU係
Performance
Up to 10 TOPS

如果下代有50 TO ...
樓主發表於 2025-2-6 21:02

50Tops, 要睇係行幾多B的Model, 行1.5B, 一定過10 Tops!

YouTube有唔少片, 玩Mac機行DeepSeek Model 吹到佢有一百九十幾Tops, 一睇原來係1.5B Model..... M4 MAX 16吋 128GB RAM 行1.5B 好意思同我哋講MacBook Max 好勁....

TOP

樓主

中級會員

Rank: 2 Rank: 2

25^#

發表於 2025-2-9 16:42 | 只看該作者

回覆樓主

我係另一個貼裡面講過MacBook M3 Pro 行 DeepSeek R1 14B都係慢, 大約一個問題一個回答要3至 ...
artai 發表於 2025-2-6 22:21

我睇呢到:

https://www.reddit.com/r/macbook ... 4_pro_in_69_months/

You probably want to wait for M4 since M4 has a more powerful NPU than M3 (M3: 18TOPs, M4: 38TOPs). That might or might not make AI faster.

M3既NPU都只係18 TOPS, M4就38 TOPS, 2026出既nova lake 應該最少都有50 TOPS, 咁到時應該好多少少

如果話, 家用自建只係純CPU, 一條問題大約1~3分鐘. 我覺得都可以接受既. 畢竟無用到皮褸D卡

TOP

樓主

中級會員

Rank: 2 Rank: 2

26^#

發表於 2025-2-9 16:45 | 只看該作者

50Tops, 要睇係行幾多B的Model, 行1.5B, 一定過10 Tops!

YouTube有唔少片, 玩Mac機行DeepSeek Model 吹 ...
artai 發表於 2025-2-6 22:48

😂😂😂
我諗最少都要行14b 或者 32b 先好用

TOP

artai

中級會員

Rank: 2 Rank: 2

27^#

發表於 2025-2-9 21:38 | 只看該作者

我睇呢到:

You probably want to wait for M4 since M4 has a more powerful NPU than M3 (M3: 18TOPs ...
樓主發表於 2025-2-9 16:42

又係果句, --> M3: 18TOPs, M4: 38TOPs, 係基於行乜嘢模型而得出的數字?
我呢幾日不停Research 先知, 原來用MacBook Max就算你打到 RAM 去192GB RAM, 雖然係可以運行到大型LLM, 但速度唔高... 因為Mac沒有CUDA 在AI上的加速, 速度只係單純CPU + 大量的RAM... 雖然佢O既CPU 已經係好快, 又好省電, 但用黎行AI Model , 其實係唔夠快!

TOP

Super169