一般來說，想在本地跑 1,200 億參數的大型語言模型，正規做法是要先準備好一張 80GB 的資料中心 GPU，或是買一台有 128GB 統一記憶體的 Mac Studio、AMD Ryzen AI Max+ 迷你電腦，少說也要十幾萬台幣，多數人都沒辦法做到。不過，最近國外有位網友沒有花錢買新硬體，就成功運行 OpenAI 的開放權重模型 gpt-oss-120b 模型，其方法是透過串聯家裡的手機、筆電、Mac mini。
The post 沒有 60GB 記憶體也能跑 120B 大模型！國外玩家串聯手機、Mac、Windows 成功實現 appeared first on 電腦王阿達.
| 時間 | 分享(原讚與享) | 評論 | 回應(讚與心情) | 外掛評論 |
|---|