就正常來說,PS5 應該跑不動阿里巴巴的 Qwen 3.8 27B 模型,畢竟這模型有 270 億個參數,用一般 16 位元精度載入要吃掉大約 54GB 記憶體,而 PS5 整台主機只有 16GB,還得分給系統、CPU 和 GPU 一起用。但國外卻有一位神人玩家做到了,他把一台越獄過的 PS5 改成本機 AI 伺服器,並讓 Qwen3.8 27B 直接在主機的 GPU 上運行起來(當然是量化版),測出每秒輸出 20.9 個 Token,Llama 3.2 3B 小模型每秒更達到 124 個 Token。
The post PS5 破解後也能當 AI 伺服器!玩家成功運行 Qwen3.8 27B,小模型最高每秒 124 Token appeared first on 電腦王阿達.
| 時間 | 分享(原讚與享) | 評論 | 回應(讚與心情) | 外掛評論 |
|---|