本帖最後由 kennylam777 於 2025-1-31 10:50 編輯
5090 AI可以多卡
5090D 先唔得
但依家有開源方案,連MAC MINI M4PRO都可以4機連機AI行同一個LLM
4090+309 ...
s84292 發表於 2025-1-31 10:13 
其實我都有玩開LLM Inference + finetuning, 我有部機係2張3090+NVLink, 但似乎冇NVLink都可以用PCIe 做inter-card communication, 雖然有bandwidth問題, 但如果只係inference或者PEFT係冇乜太大影響。
所以我想問你一直強調嘅「多卡support」係咩? 我真係好奇4090D/5090D係咪有啲driver限制唔俾佢咁行。
我估你講果個project係Exo, 有興趣試但我冇Apple Silicon嘅Mac, 因為我都有3090/4090/5090(Pre-order)嘅話其實我係唔使去試MLX, 但卡嘅話我有張4090插咗響Desktop, 有10G連部3090x2可能可以試試嘅。
https://github.com/exo-explore/exo |