本地部署AI，GTX 980 TI 6GB夠用嗎？

leaf_chan

近日有好多AI工具出世，但大多是需要聯網才能使用，而且有限制提問次數，除非是訂閱。

朋友是在學大學生，平時只是和AI談天，普通提問一些學業問題。Large模型和訓練AI等等專業使用，完全不沾邊。

朋友問我，如要部署類似離線AI，行一些mini / medium模型，目前的GTX980TI 6GB能否滿足需要。

如不能需要換卡，8GB 中階顯示卡（eg.RTX3070 or RTX4060）夠用嗎？

唔該各位師兄

via HKEPC IR 5.1.14 - Android(5.1.2F)

doggiestyle

近日有好多AI工具出世，但大多是需要聯網才能使用，而且有限制提問次數，除非是訂閱。

朋友是在學大學生， ...
leaf_chan 發表於 2024-7-2 20:03

冇玩開 AI
但Stable Diffusion 果類AI軟件會對 VRAM 有需求 ,比如 10GB
4060 呢 D 卡得 8GB 其實唔係太夠用
呢到其實好少人了 ,你睇下有冇高手答你

mcdull

近日有好多AI工具出世，但大多是需要聯網才能使用，而且有限制提問次數，除非是訂閱。

朋友是在學大學生， ...
leaf_chan 發表於 2024-7-2 20:03

    LLM 係本地當同個智障傾計就得..

jetdone

冇玩開 AI
但Stable Diffusion 果類AI軟件會對 VRAM 有需求 ,比如 10GB
4060 呢 D 卡得 8GB 其實唔係太 ...
doggiestyle 發表於 2024-7-2 20:51

所謂AI個人認為是伺服器運算, 本人很奇怪為何AI晶片會加快, 幾年前電腦個人用CHATGPT都係即出. 就算生成圖又係伺服器功能, 如果workstation photoshop之類就可能會快點, 但是一般AI應用都係伺服器功能.

raylee

Cpu 對ChatBot workload 都sensitive

jetdone

Cpu 對ChatBot workload 都sensitive
raylee 發表於 2024-7-2 22:57

你飲水飲得快, 但是倒水入杯的分量係慢, 結果都係慢.

Pppk

又要追上時代，又唔比錢，慢慢慢

doggiestyle

所謂AI個人認為是伺服器運算, 本人很奇怪為何AI晶片會加快, 幾年前電腦個人用CHATGPT都係即出. 就算生成圖 ...
jetdone 發表於 2024-7-2 22:57

宜家 D AI 都係跑 database
咁晌佢個 database 跑定係晌你自己個 database 跑....
純文字既跑佢果個 database 可能簡單 D
如果影像處理都跑佢果個 database....
首先做唔到專門處理 ,比如你要 gen 一堆你自己畫風既圖
咁你就要上傳 D 圖比佢........

jda

GPU要快主要係用黎train個AI既model, train好之後, 用唔洗好快.
不過你自已無train好左既AI(價值所在)又無model自己可以train, 你有GPU都無用.
又不過當俾個model你自己train, 我估你無十萬八萬粒GPU都唔洗諗可以train到好似chatGPT果D野出黎...

a652311279

local嘅話 要睇vram 例如 gpt4最低12G起步

via HKEPC Reader for Android