有無人自己跑LM Studio

cyberyeah

咩硬件配置？

via HKEPC IRF 5.1.14 - Android(5.1.2)

MirageKnight

直接跑llamacpp好過. lm studio 只不過是一個front end interface. 背後都係llamacpp. 想pro D就跑vllm. 不過只有Linux 或docker.

kcthomlau

主要睇跑咩LLM
RAM容量決定跑唔跑到
CPU GPU NPU CUDA決定快唔快

kennylam777

我有部home lab有兩張RTX3090+NVLink, 之前就用vllm嘅, 而家換咗用llama.cpp因為Q8慳VRAM過FP8, 主要係用黎試48GB先行到嘅solution

另外我desktop用RTX5090, 平時試新model都會用LMStudio快速試同download, 但認真嘅話起碼用llama.cpp因為可以仔細校parameters, vllm雖然可以用docker行到但起動太慢, 係試vllm deployment先會用, 平時llama.cpp大把quant揀好用啲

我會用Qwen3.6 27B Q5/Gemma4 31B Q4配llama.cpp響5090上面幫手寫吓code, agent係Github Copilot或者Claude Code, 因為Codex/Antigravity subscriptions都係有機會用爆, 如果debug到中間爭少少響度罰企就冇癮, Local係呢啲時候係幫到少少手

Gemma4 26B好少用因為唔夠31B叻, Qwen3.6 35B會用多少少純粹係快, 但始終智力同Q 27B/G 31B有差距

GoldLand

Del ...

GoldLand

DEL .....

GoldLand

DEL ....

kennylam777

乜料呀一黎就又長又臭嘅program, 又唔用[code]死都要出晒佢, 洗板柱呀?

GoldLand

DEL......

kennylam777

How to Enable Private Memory in Open WebUI


import os
import time
import json
import sqlite3
import ...
GoldLand 發表於 2026-6-9 12:27

又唔用[code]死都要出晒佢, 咪又係用llama.cpp, 重點? 長就咪夾硬貼啦