在AI phone成為智能手機(jī)行業(yè)的下一個(gè)主流方向后，端側(cè)AI成為了從“通信工具”向“智能體”迭代的關(guān)鍵底座。
簡(jiǎn)單來說，端側(cè)AI就是指將AI模型與算力集成到智能手機(jī)本地（如NPU、CPU+GPU異構(gòu)計(jì)算單元），實(shí)現(xiàn)數(shù)據(jù)的本地采集、處理與決策，而非依賴云端服務(wù)器。
其核心特征可概括為四點(diǎn)：??低延遲??（本地處理無(wú)需網(wǎng)絡(luò)傳輸，響應(yīng)速度達(dá)毫秒級(jí)）、??高隱私??（數(shù)據(jù)存儲(chǔ)與計(jì)算均在設(shè)備端，杜絕泄露風(fēng)險(xiǎn)）、??離線可用??（無(wú)網(wǎng)絡(luò)環(huán)境下仍能執(zhí)行智能任務(wù)）、??個(gè)性化??（通過本地學(xué)習(xí)適應(yīng)用戶習(xí)慣，提供定制化服務(wù)）。
而作為整個(gè)智能手機(jī)芯片的最上游供應(yīng)商——Arm，也開始將Arm架構(gòu)的升級(jí)方向聚焦到端側(cè)AI。目前全球99%的智能手機(jī)都采用Arm架構(gòu)，基于Arm架構(gòu)的芯片出貨量迄今已累計(jì)超過3100億顆。
Arm Unlocked AI技術(shù)峰會(huì)上海站期間，Arm推出了全新的Arm Lumex計(jì)算子系統(tǒng)(Compute Subsystem,CSS)平臺(tái)。Arm方面稱，這是一套專為旗艦級(jí)智能手機(jī)及下一代個(gè)人電腦加速其人工智能(AI)體驗(yàn)的計(jì)算平臺(tái)。
新的CPU架構(gòu)中，Arm發(fā)布了搭載SME2（第二代可伸縮矩陣擴(kuò)展技術(shù)）的Arm C1 CPU集群。
“SME2是SME的新一代版本。第一，它新增了更多指令集，可進(jìn)一步提升性能和能效。第二，它支持更小的數(shù)據(jù)類型——具體而言是2 bit和4 bit。”
Arm終端事業(yè)部產(chǎn)品管理副總裁James McNiven表示，隨著每年高度量化模型的不斷增多，這類小數(shù)據(jù)類型在移動(dòng)生態(tài)系統(tǒng)中的重要性正日益凸顯。這也是我們重點(diǎn)將SME2整合到Arm Lumex平臺(tái)中的原因所在。
Arm C1 CPU集群為實(shí)際場(chǎng)景中的AI驅(qū)動(dòng)型任務(wù)帶來了顯著的AI性能提升，包括：AI性能提升高達(dá)五倍，語(yǔ)音類工作負(fù)載延遲降低4.7倍，音頻生成速度提升2.8倍。
此外，通過Arm、支付寶與vivo的三方合作下，將大語(yǔ)言模型(LLM)的交互響應(yīng)時(shí)間縮短了多達(dá)40%，證明了SME2可為終端設(shè)備帶來更快速的實(shí)時(shí)生成式AI體驗(yàn)。
除了速度的提升，在搭載SME2的單個(gè)核心上運(yùn)行神經(jīng)攝像頭降噪功能，可以在1080P分辨率下實(shí)現(xiàn)幀率超120幀/秒 (fps)，或在4K分辨率下實(shí)現(xiàn)幀率達(dá)30fps。這使得智能手機(jī)用戶即使身處光線最暗的場(chǎng)景，也能捕捉到更銳利、清晰的圖像。
“我想強(qiáng)調(diào)的是，由于SME2直接集成到了CPU當(dāng)中，在工作負(fù)載的支持上能起到高度可擴(kuò)展性。這意味著，SME2 帶來的AI功能不僅能應(yīng)用于4000元以上的高端手機(jī)，還能下沉到2000元等不同價(jià)位段的手機(jī)中，最大幅度地推廣AI技術(shù)落地。”Arm高級(jí)副總裁兼終端事業(yè)部總經(jīng)理Chris Bergey表示。
CPU之外，全新的Arm Mali G1-Ultra GPU則搭載了新一代光線追蹤單元RTUv2。
與前一代Arm Immortalis-G925 GPU相比，Mali G1-Ultra的光線追蹤性能提升高達(dá)兩倍，并在主流圖形基準(zhǔn)測(cè)試中，性能表現(xiàn)提升20%。在AI方面，通過新的FP16矩陣計(jì)算路徑，該GPU在AI與機(jī)器學(xué)習(xí)網(wǎng)絡(luò)上的推理速度比 Immortalis-G925快20%。
在邊緣計(jì)算方面，Mali G1-Ultra引入新的矩陣乘法單元(MMUL) FP16指令，可加速如語(yǔ)義分割、去噪、深度估計(jì)、物體檢測(cè)、語(yǔ)音識(shí)別和圖像增強(qiáng)等端側(cè)關(guān)鍵AI工作負(fù)載。與上一代Immortalis-G925相比，其性能提升高達(dá)104%。
Arm提供的數(shù)據(jù)顯示，目前搭載Arm GPU的芯片累計(jì)出貨量突破120億顆。
“AI已不再僅僅是一項(xiàng)技術(shù)功能，它已成為下一代移動(dòng)與消費(fèi)技術(shù)的支撐底座。依托Arm Lumex平臺(tái)，我們持續(xù)提升端側(cè)AI體驗(yàn)，以滿足用戶日益增長(zhǎng)的需求與期待。”
Arm高級(jí)副總裁兼終端事業(yè)部總經(jīng)理Chris Bergey表示，從出貨量角度來看，手機(jī)行業(yè)的增長(zhǎng)已趨于平緩。但是，我們?nèi)蕴幱贏I發(fā)展的初期階段，尤其是在手機(jī)領(lǐng)域，AI正推動(dòng)著更高的計(jì)算需求，并創(chuàng)造全新的價(jià)值。
此外，Chris Bergey還強(qiáng)調(diào)領(lǐng)先的手機(jī)廠商——無(wú)論是蘋果還是三星——都已不同程度地朝著自研芯片的方向發(fā)展。這實(shí)際上是整個(gè)泛半導(dǎo)體行業(yè)所面臨的趨勢(shì)，Arm CSS平臺(tái)正是順應(yīng)這一趨勢(shì)而生。
“我們提供一個(gè)經(jīng)過驗(yàn)證的計(jì)算基礎(chǔ)，讓客戶能夠以相對(duì)較低的成本實(shí)現(xiàn)自身所需的定制化。”
Chris Bergey稱，Arm CSS平臺(tái)真正的價(jià)值并非是“做出比Arm工程師設(shè)計(jì)的更優(yōu)秀的Arm CPU”，而是客戶通過在 Arm 平臺(tái)基礎(chǔ)上構(gòu)建自己的SoC，額外創(chuàng)造更大的商業(yè)價(jià)值。（本文首發(fā)于鈦媒體APP，作者 | 饒翔宇 編輯 | 鐘毅）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論
端側(cè) AI 高隱私，數(shù)據(jù)不跑云端，再也不怕個(gè)人信息泄露，安全感拉滿！
手機(jī)從工具變智能體，端側(cè) AI 是關(guān)鍵，Arm 這架構(gòu)升級(jí)算打好基礎(chǔ)了！
Arm 抓準(zhǔn)端側(cè) AI 趨勢(shì)升級(jí)架構(gòu)，幫手機(jī)廠商跟上節(jié)奏，太懂行業(yè)需求了！
Mali GPU AI 推理快 20%，邊緣計(jì)算性能提 104%，手機(jī)處理 AI 任務(wù)更給力了！
端側(cè) AI 成手機(jī)剛需，Arm 都專門升級(jí)架構(gòu)了，看來以后手機(jī) AI 會(huì)更厲害！
Arm Lumex 平臺(tái)不光服務(wù)旗艦機(jī)，還能下沉到 2000 元機(jī)，AI 普及要加速了！
端側(cè) AI 讓手機(jī)從通信工具變智能體，這迭代速度，感覺手機(jī)越來越 “聰明” 了！
廠商用 Arm 平臺(tái)做自研 SoC，成本低還能定制，這對(duì)中小廠商太友好了！
神經(jīng)攝像頭降噪能 4K 30fps，暗光拍照也清晰，以后夜拍不用愁了！
1080P 120fps 的降噪效果，拍視頻畫面更穩(wěn)更清楚，視頻博主有福了！