AI技術(shù)的快速發(fā)展，特別是在自然語(yǔ)言處理（NLP）和計(jì)算機(jī)視覺(jué)（CV）領(lǐng)域的進(jìn)步，預(yù)示著新一輪換機(jī)潮的到來(lái)。AI大模型不僅為AI公司帶來(lái)希望，也為手機(jī)和芯片制造商展示了新的商業(yè)機(jī)會(huì)。

消費(fèi)市場(chǎng)下行，手機(jī)廠(chǎng)商集體押寶生成式AI

智能手機(jī)市場(chǎng)自2019年以來(lái)一直在經(jīng)歷瓶頸期，銷(xiāo)量持續(xù)下降。2023年第一季度，全球智能手機(jī)出貨量顯著下降。例如，高通2023年第四財(cái)季的營(yíng)收同比下降24%，凈利潤(rùn)下降48%；聯(lián)發(fā)科第三季度的營(yíng)業(yè)收入同比減少22.6%，凈利潤(rùn)下降40%。在這種背景下，AI技術(shù)成為了這些公司的新焦點(diǎn)。在各大手機(jī)廠(chǎng)商和芯片廠(chǎng)商的大力推動(dòng)下，2023年下半年預(yù)計(jì)推出首批AI手機(jī)，而2024至2025年期間將見(jiàn)證更多創(chuàng)新AI應(yīng)用的實(shí)現(xiàn)。

未來(lái)學(xué)家?guī)炱濏f爾預(yù)測(cè)，到2045年，人工智能的技術(shù)將會(huì)實(shí)現(xiàn)指數(shù)級(jí)增長(zhǎng)，達(dá)到一個(gè)“奇點(diǎn)時(shí)刻”，屆時(shí)人工智能將超越人類(lèi)智慧。ChatGPT等高度擬人化的AI模型的流行表明，智能手機(jī)中的AI技術(shù)將越來(lái)越先進(jìn)。高通CEO Cristiano Amon 在此前強(qiáng)調(diào)，AI必須同時(shí)在數(shù)據(jù)中心和本地設(shè)備上運(yùn)行以降低成本，智能手機(jī)是分?jǐn)侫I技術(shù)成本的理想選擇。

面對(duì)市場(chǎng)挑戰(zhàn)，手機(jī)廠(chǎng)商尋求新的創(chuàng)新周期來(lái)引領(lǐng)行業(yè)發(fā)展。手機(jī)廠(chǎng)商目前主要通過(guò)語(yǔ)音助手來(lái)布局AI大模型，但為了在更多場(chǎng)景中應(yīng)用AI技術(shù)并實(shí)現(xiàn)普及，需要端側(cè)和云端的協(xié)同合作。端側(cè)AI應(yīng)用可以彌補(bǔ)云端算法在時(shí)延和個(gè)性化方面的不足，尤其適用于對(duì)延遲性要求高的應(yīng)用場(chǎng)景，如智能汽車(chē)領(lǐng)域。

據(jù)瑞銀2023年2月份的估計(jì)，生成式AI市場(chǎng)規(guī)模將達(dá)到1萬(wàn)億美元。但訓(xùn)練成本高昂，尤其是在云端部署的成本。例如，基于生成式AI的搜索引擎企業(yè)的搜索查詢(xún)成本是傳統(tǒng)方法的10倍。為了解決這個(gè)問(wèn)題，混合AI結(jié)構(gòu)出現(xiàn)了。它能夠?qū)⑻幚砣蝿?wù)從云端轉(zhuǎn)移到邊緣終端，從而減輕云基礎(chǔ)設(shè)施的壓力和支出。這種結(jié)構(gòu)不僅節(jié)省成本，還提供了能耗、性能、隱私、安全和個(gè)性化方面的優(yōu)勢(shì)。例如，終端側(cè)AI可以確保查詢(xún)記錄和個(gè)人信息的安全，還能提供更個(gè)性化的用戶(hù)體驗(yàn)?；旌螦I架構(gòu)能夠根據(jù)模型和查詢(xún)需求的復(fù)雜度，在云端和終端之間靈活地分配處理負(fù)載。這種架構(gòu)的關(guān)鍵在于其能夠?qū)崿F(xiàn)AI的規(guī)?；瘮U(kuò)展。

手機(jī)端側(cè)生成式AI有哪些應(yīng)用場(chǎng)景？

試想一下這樣的未來(lái)：大模型加持下的智能助手，讓用戶(hù)可以在手機(jī)等智能終端上，做這些事情：通過(guò)自然語(yǔ)言，AI助手能自動(dòng)管理起所有應(yīng)用，幫你寫(xiě)郵件、寫(xiě)總結(jié)文檔；幫你辦理銀行業(yè)務(wù)；在你想外出時(shí)制定行程訂好機(jī)票。

當(dāng)然，手機(jī)大模型只是個(gè)起點(diǎn)，當(dāng)智能技術(shù)逐步擴(kuò)展到智能家居、智能汽車(chē)等智慧生態(tài)中，一個(gè)“超級(jí)終端”或?qū)⒊霈F(xiàn)。

終端側(cè)生成式AI 具體應(yīng)用表，來(lái)源：與非研究院

生成式人工智能（AI）正在推動(dòng)內(nèi)容生成、搜索和生產(chǎn)力相關(guān)應(yīng)用的發(fā)展，并在智能手機(jī)、筆記本電腦、PC、汽車(chē)、XR設(shè)備以及物聯(lián)網(wǎng)等多種終端品類(lèi)中發(fā)揮著關(guān)鍵作用。混合AI架構(gòu)使這些終端能夠提供全新的增強(qiáng)用戶(hù)體驗(yàn)。

在智能手機(jī)領(lǐng)域，生成式AI的應(yīng)用正在推動(dòng)算力的實(shí)質(zhì)性增長(zhǎng)，特別是在搜索方面。超過(guò)100億次的每日搜索量中，移動(dòng)端占據(jù)主導(dǎo)地位。基于生成式AI的查詢(xún)能提供更滿(mǎn)意的答案，引發(fā)用戶(hù)搜索方式的變化。隨著對(duì)話(huà)式搜索功能的不斷強(qiáng)化，智能手機(jī)正逐漸成為真正的數(shù)字助手。這些設(shè)備不僅能夠理解文字和語(yǔ)音，還能處理圖像和視頻等多種輸入模式，提供準(zhǔn)確、貼切的回答。

在筆記本電腦和PC領(lǐng)域，生成式AI應(yīng)用正變革著生產(chǎn)力。例如，Microsoft Office 365通過(guò)集成生成式AI，使日常工作流程更加高效。Office用戶(hù)可以通過(guò)大語(yǔ)言模型進(jìn)行文檔編寫(xiě)、電子郵件撰寫(xiě)、數(shù)據(jù)分析等任務(wù)，極大地提高工作效率。這些應(yīng)用需求推動(dòng)了大語(yǔ)言模型在終端設(shè)備上的應(yīng)用和發(fā)展。

汽車(chē)領(lǐng)域中，AI正在提供高度個(gè)性化的體驗(yàn)。車(chē)載數(shù)字助手允許駕駛員和乘客通過(guò)免提界面保持無(wú)縫互聯(lián)，同時(shí)為汽車(chē)生態(tài)系統(tǒng)創(chuàng)造新的收入機(jī)會(huì)。這些助手不僅能訪(fǎng)問(wèn)個(gè)人數(shù)據(jù)，還能處理來(lái)自車(chē)輛傳感器的數(shù)據(jù)，提供增強(qiáng)的導(dǎo)航體驗(yàn)、自動(dòng)化提醒和個(gè)性化娛樂(lè)內(nèi)容。自動(dòng)駕駛系統(tǒng)中，生成式AI有助于模擬極端駕駛情況，改進(jìn)駕駛策略和安全性。

在XR領(lǐng)域，生成式AI正開(kāi)拓3D內(nèi)容創(chuàng)作和沉浸式體驗(yàn)的新前景。下一代AI渲染工具能夠幫助內(nèi)容創(chuàng)作者基于文本、語(yǔ)音等提示生成3D物體和場(chǎng)景，創(chuàng)造完整的虛擬世界。同時(shí)，文本到文本的大語(yǔ)言模型能為虛擬化身生成自然對(duì)話(huà)，圖像生成模型則為虛擬化身創(chuàng)造外觀(guān)和服裝。

物聯(lián)網(wǎng)領(lǐng)域正在利用生成式AI改進(jìn)決策質(zhì)量、優(yōu)化運(yùn)營(yíng)效率，并創(chuàng)造競(jìng)爭(zhēng)優(yōu)勢(shì)。例如，在零售業(yè)，生成式AI可以幫助提升客戶(hù)和員工體驗(yàn)，通過(guò)簡(jiǎn)單提示幫助商店經(jīng)理進(jìn)行商品規(guī)劃、庫(kù)存管理和促銷(xiāo)活動(dòng)預(yù)測(cè)。在能源和公共設(shè)施領(lǐng)域，生成式AI有助于創(chuàng)建極端負(fù)荷場(chǎng)景，預(yù)測(cè)電力需求和潛在電網(wǎng)故障，提供優(yōu)質(zhì)的客戶(hù)服務(wù)。

端側(cè)生成式AI芯片盤(pán)點(diǎn)

各大手機(jī)廠(chǎng)商都在積極布局生成式AI。華為最近發(fā)布的Mate 60系列手機(jī)支持衛(wèi)星通信，并引入了盤(pán)古人工智能大模型。同樣，小米、OPPO、vivo、榮耀等廠(chǎng)商也在積極開(kāi)發(fā)手機(jī)大模型技術(shù)。

榮耀與高通進(jìn)行了深度合作，共同創(chuàng)新。他們聯(lián)合優(yōu)化端側(cè)大模型的推理性能，釋放端側(cè)NPU算力，優(yōu)化NPU調(diào)度以實(shí)現(xiàn)流暢且省電的大模型應(yīng)用，同時(shí)加強(qiáng)數(shù)據(jù)通路防護(hù)以保護(hù)用戶(hù)隱私。榮耀的大語(yǔ)言模型突出了個(gè)性化和直觀(guān)的交互，強(qiáng)調(diào)了隱私的重要性。

小米集團(tuán)董事長(zhǎng)雷軍透露，其團(tuán)隊(duì)已經(jīng)成功在手機(jī)端運(yùn)行了大模型，并與高通、聯(lián)發(fā)科深度合作，準(zhǔn)備推出端側(cè)AI大模型應(yīng)用。華為的大模型能力已經(jīng)嵌入其操作系統(tǒng)，而榮耀也計(jì)劃在智能手機(jī)端部署端側(cè)大模型。

蘋(píng)果公司也開(kāi)始招聘大模型技術(shù)人才，計(jì)劃將大模型應(yīng)用于iPhone和iPad等產(chǎn)品。聯(lián)發(fā)科與vivo合作，推出了配備天璣9300處理器的手機(jī)，該處理器具有強(qiáng)大的AI算力，支持70億參數(shù)的AI大模型。聯(lián)發(fā)科還與百度等伙伴合作，加強(qiáng)了其在生成式AI領(lǐng)域的布局。

在日前舉行的驍龍峰會(huì)上，高通推出了具備深度AI融合的驍龍X Elite搭載AI PC和第三代驍龍8手機(jī)芯片。驍龍X Elite的AI PC預(yù)計(jì)明年中上市，特點(diǎn)包括頂尖性能、長(zhǎng)續(xù)航、先進(jìn)通信技術(shù)和強(qiáng)大的AI推理能力。它的NPU算力達(dá)到75TOPS，支持超過(guò)130億參數(shù)的AI模型，AI處理速度是友商的4.5倍。

這種技術(shù)使用戶(hù)能在PC上完成多種任務(wù)，如寫(xiě)郵件、周報(bào)總結(jié)、PPT制作和AI生成圖像，即使在無(wú)網(wǎng)絡(luò)環(huán)境下也能實(shí)現(xiàn)。同時(shí)，第三代驍龍8手機(jī)芯片支持運(yùn)行100億參數(shù)的AI模型，小米將首發(fā)搭載該芯片。這兩款產(chǎn)品的發(fā)布標(biāo)志著AI技術(shù)在PC和手機(jī)領(lǐng)域的顛覆性進(jìn)展。

高通的Oryon CPU采用4nm工藝技術(shù)，具有12個(gè)高性能內(nèi)核，主頻可達(dá)3.8GHz，雙核增強(qiáng)至4.3GHz。它還具備42MB總緩存和136 GB/s內(nèi)存帶寬，優(yōu)化多任務(wù)處理和高效性能。驍龍X Elite的Hexagon NPU實(shí)現(xiàn)了45TOPS的AI性能，其微切片推理技術(shù)和張量加速器優(yōu)化AI工作負(fù)載處理。平臺(tái)還支持5G和Wi-Fi 7，提高移動(dòng)設(shè)備連接效率。

驍龍X Elite強(qiáng)調(diào)移動(dòng)性和電池續(xù)航，其處理器調(diào)度器有效管理多線(xiàn)程任務(wù)，電源管理設(shè)計(jì)確保長(zhǎng)時(shí)間電池續(xù)航。預(yù)計(jì)2024年中，OEM廠(chǎng)商將推出搭載驍龍X Elite的PC，這將是AI和移動(dòng)計(jì)算領(lǐng)域的重大突破。

第三代驍龍8移動(dòng)平臺(tái)提供行業(yè)領(lǐng)先的AI性能，卓越影像特性、主機(jī)級(jí)游戲體驗(yàn)和專(zhuān)業(yè)音頻。它在CPU、GPU和AI推理性能上都有顯著提升，Adreno GPU的AI計(jì)算性能提高了50%。其核心特性包括高通Hexagon NPU，推理速度快98%，每瓦特性能提升40%，支持業(yè)內(nèi)最新的LPDDR5-x內(nèi)存技術(shù)，頻率高達(dá)4.8GHz。Adreno GPU渲染速度比前代快25%，光追性能提升1.5倍，同時(shí)帶來(lái)25%的能效提升。第三代驍龍8移動(dòng)平臺(tái)的終端預(yù)計(jì)在未來(lái)幾周內(nèi)上市。

相比高通，聯(lián)發(fā)科也在近日發(fā)布了天璣9300旗艦5G生成式AI移動(dòng)芯片，采用全大核CPU架構(gòu)，提供高性能和低功耗。其全大核CPU包括4個(gè)Cortex-X4超大核和4個(gè)Cortex-A720大核，性能提升40%，功耗節(jié)省33%。APU 790支持端側(cè)運(yùn)行高達(dá)330億參數(shù)的AI大模型，NeuroPilot支持多模態(tài)生成式AI應(yīng)用部署。天璣9300的GPU Immortalis-G720性能提升46%，功耗節(jié)省40%，擁有旗艦級(jí)ISP影像處理器Imagiq 990，支持AI語(yǔ)義分割視頻引擎。芯片還集成了MiraVision 990移動(dòng)顯示處理器，支持高刷新率和雙屏顯示，支持Wi-Fi 7，搭載5G UltraSave 3.0+省電技術(shù)，集成雙安全芯片，提供高級(jí)用戶(hù)數(shù)據(jù)安全保護(hù)。天璣9300采用臺(tái)積電第三代4nm制程，支持LPDDR5T 9600Mbps內(nèi)存，首款采用該芯片的智能手機(jī)預(yù)計(jì)將于2023年底上市。

高通vs聯(lián)發(fā)科生成式AI芯片對(duì)比表，來(lái)源：與非研究院

從云到端，混合AI成新趨勢(shì)

在以終端為中心的混合 AI 架構(gòu)中，云端僅用于分流處理終端無(wú)法充分運(yùn)行的 AI 任務(wù)，來(lái)源：《混合AI是AI的未來(lái)》

結(jié)合云端和終端處理能力的人工智能系統(tǒng)，混合AI正在成為AI技術(shù)發(fā)展的重要方向。榮耀CEO趙明指出，未來(lái)的大模型技術(shù)將是云側(cè)和端側(cè)相結(jié)合，端側(cè)大模型將幫助用戶(hù)更好地與云側(cè)大模型溝通，提升使用效率，同時(shí)保護(hù)個(gè)人數(shù)據(jù)隱私。

混合AI的核心優(yōu)勢(shì)在于兼顧云端的性能和終端的功耗，實(shí)現(xiàn)無(wú)縫銜接的AI體驗(yàn)。云端AI和終端AI的邊界不斷模糊，不同工作負(fù)載能在合適的時(shí)候調(diào)用合適的芯片。高通正在串聯(lián)不同終端和計(jì)算架構(gòu)，包括手機(jī)、汽車(chē)、XR等，以及CPU、GPU、NPU等，以及微軟、Meta和Google安卓的生態(tài)系統(tǒng)。

高通深耕AI領(lǐng)域十多年，認(rèn)識(shí)到實(shí)現(xiàn)混合AI架構(gòu)并非易事。一方面需要具備算法和模型開(kāi)發(fā)技術(shù)，能夠?qū)I模型進(jìn)行壓縮。例如，高通研究了生成式對(duì)抗網(wǎng)絡(luò)（GAN）和變分自編碼器（VAE），用VAE技術(shù)創(chuàng)建了更好的視頻和語(yǔ)音編解碼器，使模型規(guī)模控制在1億參數(shù)以下，適合終端運(yùn)行。

高通的白皮書(shū)《混合AI是AI的未來(lái)》闡釋了混合AI的重要性。高通產(chǎn)品管理高級(jí)副總裁兼AI負(fù)責(zé)人Ziad Asghar表示，為實(shí)現(xiàn)生成式AI的規(guī)?；瘮U(kuò)展，AI處理的重心正向邊緣轉(zhuǎn)移?；旌螦I架構(gòu)在云端和邊緣終端之間分配并協(xié)同處理AI工作負(fù)載，能夠?qū)崿F(xiàn)更強(qiáng)大，更高效且高度優(yōu)化的AI。

混合AI的應(yīng)用范圍廣泛，影響著智能手機(jī)、筆記本電腦、汽車(chē)、XR以及物聯(lián)網(wǎng)等多個(gè)終端品類(lèi)。例如，智能手機(jī)通過(guò)生成式AI提升了搜索和數(shù)字助手的應(yīng)用。混合AI不僅節(jié)省成本、降低能耗，還提高了可靠性、隱私保護(hù)、安全性和個(gè)性化體驗(yàn)。

對(duì)于基于終端感知的混合 AI，自動(dòng)語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)和文本轉(zhuǎn)語(yǔ)音在終端側(cè)進(jìn)行。在更先進(jìn)的版本中，終端側(cè)編排器程序能夠向云端提供經(jīng)過(guò)改進(jìn)且更加個(gè)性化的提示，來(lái)源：《混合AI是AI的未來(lái)》

小米技術(shù)委員會(huì)AI實(shí)驗(yàn)室大模型團(tuán)隊(duì)負(fù)責(zé)人欒劍提到，自研大模型可針對(duì)不同硬件調(diào)整以達(dá)最佳性能，而開(kāi)源模型無(wú)法再調(diào)整，使用受限。端側(cè)大模型保護(hù)用戶(hù)隱私，降低成本，但不能解決所有問(wèn)題。高通、聯(lián)發(fā)科等通過(guò)提升量化算法，優(yōu)化手機(jī)能效和性能，但大模型的參數(shù)體量對(duì)手機(jī)硬件、性能要求不斷提升。華泰證券報(bào)告指出，AI模型的大量計(jì)算對(duì)總線(xiàn)帶寬提出更高要求，持續(xù)推理任務(wù)將加快設(shè)備耗電，拉動(dòng)電池容量及電源管理芯片升級(jí)需求。

對(duì)應(yīng)對(duì)端側(cè)大模型進(jìn)化帶來(lái)的高要求，小米提出“端云一體化”概念，即AI手機(jī)部分能力由端側(cè)模型解決，無(wú)法解決的調(diào)用云端能力。高通的技術(shù)白皮書(shū)《混合AI是AI的未來(lái)》中指出，生成式AI的發(fā)展需要云端和終端協(xié)同處理，以實(shí)現(xiàn)AI的規(guī)?；瘮U(kuò)展并發(fā)揮最大潛能。

總結(jié)，為何手機(jī)廠(chǎng)商押寶生成式AI？

目前，智能手機(jī)上訓(xùn)練的AI模型還處于試驗(yàn)階段，未來(lái)手機(jī)用AI模型預(yù)計(jì)參數(shù)在10億到100億之間，應(yīng)用范圍可能相對(duì)初級(jí)，如語(yǔ)音控制的照片編輯和簡(jiǎn)單問(wèn)答功能。手機(jī)大模型的發(fā)展預(yù)示著顛覆性的變革，預(yù)示著科幻電影中的AI手機(jī)助手逐漸成為現(xiàn)實(shí)。華為Mate60系列和Google Pixel 8系列手機(jī)展示了AI大模型在手機(jī)上的應(yīng)用。華為的小藝?yán)么竽Ｐ驮鰪?qiáng)系統(tǒng)能力，提供資訊摘要、寫(xiě)文章、回復(fù)郵件等功能。

手機(jī)大模型發(fā)展并非一帆風(fēng)順，首先面臨云端大模型的競(jìng)爭(zhēng)，如文心一言APP，已有超過(guò)百萬(wàn)用戶(hù)。與本地部署的大模型如小愛(ài)同學(xué)相比，文心一言APP運(yùn)算全在云端進(jìn)行，參數(shù)高達(dá)2600億。相較之下，小愛(ài)同學(xué)的13億參數(shù)量相對(duì)輕量化，應(yīng)用場(chǎng)景有限，目前不支持文生圖功能。

其次生成式AI的一個(gè)挑戰(zhàn)是大模型容易產(chǎn)生“幻覺(jué)”，即聊天機(jī)器人可能編造信息回應(yīng)。

此外，將大模型引入語(yǔ)音助手容易，但將百億級(jí)參數(shù)的大模型植入手機(jī)面臨技術(shù)挑戰(zhàn)。主要包括壓縮大模型降低算力要求，以及在算力和功耗上的支持。

目前，主流方案是小型化模型，減小體積。騰訊、百度等互聯(lián)網(wǎng)大廠(chǎng)也發(fā)布了移動(dòng)端模型及開(kāi)發(fā)/部署工具，推動(dòng)大模型的輕量化部署。但大模型在手機(jī)等終端的能耗是新問(wèn)題。趙明表示，未來(lái)端側(cè)大模型時(shí)代，需要在AI智能和續(xù)航間做平衡。

為什么各大手機(jī)廠(chǎng)商紛紛押寶生成式AI呢？國(guó)產(chǎn)高端手機(jī)市場(chǎng)中，自研芯片是品牌能力的象征，但政策影響下國(guó)產(chǎn)手機(jī)放棄了自研芯片的挑戰(zhàn)，導(dǎo)致國(guó)產(chǎn)手機(jī)芯片研發(fā)進(jìn)入低潮。因此，手機(jī)廠(chǎng)商選擇在影像方面構(gòu)建差異化，手機(jī)大模型為品牌高端化提供新角度。國(guó)產(chǎn)大模型相比國(guó)外有訓(xùn)練樣本多、標(biāo)注成本低等優(yōu)勢(shì)。可以說(shuō)，手機(jī)廠(chǎng)商的AI大模型布局部分上是應(yīng)對(duì)消費(fèi)需求疲軟的自救。