現在雖然有很多專為手機設計的 LLM 小模型，但用過的人都知道，由於參數太少，不是很好用，也不聰明，跟很多線上 AI 服務完全沒法比。不過這是因為硬體上的限制，手機的記憶體空間有限，沒辦法裝夠聰明的 AI 模型，像是如果你想在手機上使用 270 億參數（27B 級別）的超強大腦來處理複雜任務，過去唯一的辦法只有連上網路。而這個情況可能開始改變。國外 AI 新創公司 PrismML 近日推出全新的 Bonsai 27B 模型，成功把原本需要約 54GB 記憶體才能運行的 278 億參數模型，壓縮到只剩 3.9GB。PrismML 宣稱，這是第一款能放進手機記憶體空間的 27B 等級模型，而且已經可以在 iPhone 上直接執行。
The post 突破硬體極限！PrismML 將 27B 模型壓縮到能在 iPhone 本地運行，體積縮減 90% 卻保留近九成實力 appeared first on 電腦王阿達.
| 時間 | 分享(原讚與享) | 評論 | 回應(讚與心情) | 外掛評論 |
|---|