s84292

岩岩尋日有實戰:

AMD锐龙AI处理器轻松本地跑DeepSeek：最高支持70B参数


如果是顶级的锐龙AI MAX+ 395 ...
樓主 發表於 2025-2-13 01:55

咪又係GPU嘛，依家講個NPU
我除左訓練做本地，我用都係租算數
（1300 TOPS FP8我都覺得慢，50TOPS你爬上下文要幾耐？）
NPU做下輕模型加速，語音果D就可以，主打都係慳電

租D無審查的供應商
當然話就話冇，但其實有D問題都係會拒絕你，畢竟都係破解，但本地部署一樣會咁～因為訓練階段就污染左
同要有WEB 搜尋強化的，本地部署都好難搞得快
除非真係好大私隱需求就沒辦法
（671B：此事件在中国大陆的公开讨论仍受法律限制，相关历史记录可通过境外资料查证。）

hkocx

我見AMD 出左話有特別LLM 俾AMD 用
其實係咪同mac 一樣，都要重新編譯時快？

via HKEPC IR 5.1.14 - iOS(5.1.1F)

hkguy2020

我用 Orange Pi 5 Max 16gb, Ubuntu 24.04, 有 NPU (6 TOPS), local run Llama 8b (rkllm) 行到 NPU, 有 45 tokens per second