【27B AI塞入iPhone】阿里模型壓縮至3.9GB 17 Pro跑11 tok/s Apple評估中未成合作
有初創公司將阿里巴巴旗下、參數量達270億（27B）的Qwen3.6大型語言模型，壓縮至僅3.9GB體積，聲稱是全球首個可在iPhone原生運作的27B級AI模型。有報道指，該壓縮版本已可在iPhone 17 Pro上以約每秒11個token（tokens per second）的速度輸出內容，意味用戶毋須依賴雲端伺服器，單憑手機本身運算能力，就能操作接近桌面級規模的AI模型。更受關注的是，據報道引述行政總裁表示，Apple正評估這項壓縮技術，惟雙方尚未達成正式合作。
【壓縮術】270億參數點樣「瘦身」入手機
這間公司名為PrismML，由一班加州理工學院（Caltech）研究人員創立，背後獲Khosla Ventures、Cerberus及Google支持，Samsung亦持續參與。公司推出的「Bonsai 27B」模型，正正是以阿里巴巴Qwen3.6 27B模型作基礎，透過極低位元（bit）壓縮技術「瘦身」而成。據報道，原始模型體積約54GB，經壓縮後1-bit版本僅3.9GB、三元（ternary）版本則為5.9GB，記憶體用量較傳統版本減少10至15倍，回應速度快6至8倍，耗電量亦低3至6倍。換言之，這技術毋須犧牲太多準確度，就能將動輒需要數十GB儲存空間的大型模型，塞入手機可負擔的記憶體預算之內。
【實測數據】iPhone 17 Pro都跑得動
技術是否純屬紙上談兵？據報道，Bonsai 27B的1-bit版本已可在iPhone 17 Pro原生運作，透過蘋果自家的MLX框架執行，持續生成速度約每秒10.8至11個token。雖然這個速度未及一般認為「對話流暢」門檻的每秒15至20個token，但已足以證明27B級別的大型模型，理論上可以完全脫離雲端伺服器，單靠手機獨立運算。相比之下，同一模型在配備M5 Max晶片的Mac上，1-bit版本速度可達每秒87個token，反映手機受制於散熱及電力限制，表現仍有一段距離，但已是業界少見嘗試。
| 項目 | 數據 | 洞察 |
| 基礎模型 | 阿里巴巴 Qwen3.6 27B（270億參數） | 首次見開源中國大模型被壓縮上手機 |
| 壓縮後體積 | 1-bit版3.9GB／三元版5.9GB（原約54GB） | 體積縮至原本約十四分之一 |
| iPhone 17 Pro速度 | 約每秒10.8至11個token | 可用但未算「絲滑」對話體驗 |
| 資源效益 | 記憶體省10-15倍／速度快6-8倍／耗電低3-6倍 | 對手機續航及儲存壓力有實質幫助 |
| Apple關係 | CEO稱Apple「正評估」技術，屬早期階段 | 未有正式合作協議，仍待觀察 |
【Apple洽談】評估中 未成正式合作
真正令市場關注的，是這項技術與Apple之間的微妙互動。據報道引述PrismML行政總裁表示，Apple及其他公司已在評估旗下模型，測試其在裝置上的速度、能源效益及運作表現，原話形容Apple「真的正在評估我們的技術」。不過，他同時強調討論仍處於「非常早期」階段，雙方去向仍屬未知數，但形容合作進度「進展順利」。換言之，截至目前，PrismML與Apple之間並無任何正式簽署的合作協議，一切仍停留在技術評估層面。對於一直被指在生成式AI布局上步伐較慢的Apple而言，若最終落實與PrismML的合作，將有助其在裝置端（on-device）AI運算上急起直追，尤其配合蘋果一直強調的私隱保護定位——資料毋須上傳雲端已可處理。
當大型AI模型不再是雲端伺服器的專利,手機廠商與雲端服務商之間的角力,或許正悄悄改寫。若壓縮技術持續進步,到底雲端AI會否被逐步邊緣化,抑或雲端與裝置端AI終將走向分工協作,這道題目仍待時間及後續產業動態解答。
免責聲明：本專頁刊載的所有投資分析技巧，只可作參考用途。市場瞬息萬變，讀者在作出投資決定前理應審慎，並主動掌握市場最新狀況。若不幸招致任何損失，概與本刊及相關作者無關。而本集團旗下網站或社交平台的網誌內容及觀點，僅屬筆者個人意見，與新傳媒立場無關。本集團旗下網站對因上述人士張貼之資訊內容所帶來之損失或損害概不負責。
—
