很多人都想在自己的電腦上跑免費的開源 AI 模型，只不過現在最大的門檻是：記憶體不夠，尤其是數百億參數的大模型，即使經過量化縮小，對只有 8GB、12GB RAM 或 VRAM 的一般電腦來說依舊相當吃力，只能改用更小的模型，或升級記憶體與顯示卡。而最近開始有一些新玩法了。網路上出現一款 RAMDeck 的工具，可以做到讓多台裝置共同分攤所需的記憶體容量，就有一名網友分享實測結果，成功在只有 12GB 的舊筆電運行 Qwen3.8-27B 模型。當然，速度部分還是很慘，每秒只有 1.92 Token，因此目前比較像技術展示。
The post 12GB RAM 舊筆電也能跑 Qwen3.8-27B！開發者靠 RAMDeck 串聯 4 台裝置分攤記憶體 appeared first on 電腦王阿達.
| 時間 | 分享(原讚與享) | 評論 | 回應(讚與心情) | 外掛評論 |
|---|