12345
返回列表 發帖
樓主

Rank: 2Rank: 2
1# 跳轉到 » 倒序看帖
打印
tT
發表於 2025-2-4 15:55 | 只看該作者

依家新出既AI CPU好多都有4~50 TOPS, 夠唔夠行local LLM?

想請教一下, 我剩係想用mobile CPU行LLM, 好似依家個D新AI CPU:

Ryzen AI 7 PRO 360 (聲稱有50 TOPS NPU算力)
https://en.wikipedia.org/wiki/Zen_5

Intel Core Ultra 7 NPU TOPS: 48
https://chci.com.tw/what-is-intel-core-ultra/

對行local LLM 有無幫助? (玩下本地部署 e.g. DeepSeek-R1 )
我只係普通家用玩下, 生成一下文章. 等耐少少無問題.
會唔會話50 TOPS都已經足夠快?
收藏 分享

0

raylee

Rank: 3Rank: 3Rank: 3
2#
發表於 2025-2-4 16:04 | 只看該作者
在香港最簡單就去買5080

TOP

artai

Rank: 2Rank: 2
3#
發表於 2025-2-4 16:09 | 只看該作者
在香港最簡單就去買5080
raylee 發表於 2025-2-4 16:04



請問, 5080得16GB RAM, 玩到 DeepSeek 的8B Model? 還是更高的Model?
(有聞說, 70B 以下都係唔係智能...)

TOP

樓主

Rank: 2Rank: 2
4#
發表於 2025-2-4 16:23 | 只看該作者
在香港最簡單就去買5080
raylee 發表於 2025-2-4 16:04

我唔想買額外GPU, 只係想話AI CPU可唔可以簡簡單單行到下, 玩下.
我唔係叫AI gen圖, 定係計pure maths比我睇

TOP

artai

Rank: 2Rank: 2
5#
發表於 2025-2-4 16:52 | 只看該作者
1.5B 版, 你可以係現有電腦裡面試吓行, 試咗先再討論

TOP

raylee

Rank: 3Rank: 3Rank: 3
6#
發表於 2025-2-4 17:46 | 只看該作者
過多兩年再討論

TOP

javacomhk

Rank: 3Rank: 3Rank: 3
7#
發表於 2025-2-4 18:59 | 只看該作者
本帖最後由 javacomhk 於 2025-2-4 11:40 編輯

認真玩AI嘅話

如果你唔夠錢買A100，就去買 2張RTX4090啦！



或者平的買2張 RTX3090然後用NVLink串起佢地。70B 都行到。

最緊要唔好買 Intel CPU 底版。

TOP

樓主

Rank: 2Rank: 2
8#
發表於 2025-2-4 19:35 | 只看該作者
過多兩年再討論
raylee 發表於 2025-2-4 17:46

可能ultra 3都唔夠, 真係最少要等到2027 AI CPU

TOP

raylee

Rank: 3Rank: 3Rank: 3
9#
發表於 2025-2-4 19:57 | 只看該作者
可能ultra 3都唔夠, 真係最少要等到2027 AI CPU
樓主 發表於 2025-2-4 19:35


趨勢不是cpu而是chiplet, gb10美3k但不知港會否禁售

TOP

樓主

Rank: 2Rank: 2
10#
發表於 2025-2-4 21:48 | 只看該作者
趨勢不是cpu而是chiplet, gb10美3k但不知港會否禁售
raylee 發表於 2025-2-4 19:57

chiplet 都仲係AI CPU丫. 名jer.
我係關心有100 TOPS既AI CPU 唔知會唔會2,3代之後就有

TOP

12345
返回列表