2022年末，美國人工智能公(gong)司Open AI推出了(le)(le)(le)ChatGPT對(dui)話(hua)模型(xing)，迅速(su)風靡全球并(bing)快速(su)迭代(dai)，其在不到4個(ge)月后又發布了(le)(le)(le)能(neng)力(li)更強(qiang)大的GPT-4，而(er)后乘(cheng)勝追擊，推出了(le)(le)(le)聯網(wang)和第三方(fang)應用插件功能(neng)，不斷(duan)刷新人們對(dui)生(sheng)成式(shi)AI強(qiang)大能(neng)力(li)的認(ren)知。毫無疑問，生(sheng)成式(shi)AI帶來的巨大機(ji)遇將成為(wei)業界變(bian)革的轉折點。
然(ran)而，隨著生成(cheng)式(shi) AI 模型使用量和(he)復(fu)雜性的(de)(de)不(bu)斷增長(chang)，僅在(zai)云端進(jin)行推理(li)并“不(bu)劃(hua)算(suan)”，因為包括硬(ying)件、場地(di)、能耗、運營、額外(wai)帶寬和(he)網絡傳(chuan)輸在(zai)內的(de)(de)數據中心基(ji)礎設施(shi)成(cheng)本也將持續增加。而將一(yi)些處理(li)從(cong)云端轉(zhuan)移到邊緣終(zhong)端，則可以減(jian)輕云基(ji)礎設施(shi)的(de)(de)壓(ya)力并減(jian)少開(kai)支。這也是為何混(hun)合(he) AI 對生成(cheng)式(shi) AI 的(de)(de)規模化應用至關(guan)重(zhong)要。
高通技術公司作為終端側AI領導者，面向包括手機、汽車、XR頭顯與眼鏡、PC和物聯網等(deng)在(zai)(zai)內的(de)數(shu)十億邊緣終端，可(ke)以(yi)提供行業(ye)領先的(de)硬件(jian)和軟件(jian)解決方(fang)案，對推動混合(he)AI規模(mo)(mo)化擴(kuo)展獨具優(you)勢(shi)。6月16日，高通正式(shi)發布了白皮書(shu)《混合(he)AI是AI的(de)未(wei)來》，進(jin)一步(bu)闡(chan)釋了混合(he)AI在(zai)(zai)大模(mo)(mo)型時代(dai)的(de)優(you)勢(shi)，以(yi)及高通如何憑借終端側(ce)AI領導力、全球化規模(mo)(mo)和生態系統(tong)賦能，讓混合(he)AI成(cheng)為現實。
“混合AI是AI的未來”
所謂(wei)的(de)(de)混合(he)AI是指終端(duan)(duan)(duan)(duan)和(he)(he)云(yun)(yun)端(duan)(duan)(duan)(duan)協同(tong)工(gong)作，在適當的(de)(de)場景和(he)(he)時(shi)間下(xia)分(fen)(fen)配AI計算的(de)(de)工(gong)作負載，以提供更好的(de)(de)體驗(yan)，并高效利用資源。在一些(xie)場景下(xia)，計算將主要以終端(duan)(duan)(duan)(duan)為中心，在必要時(shi)向云(yun)(yun)端(duan)(duan)(duan)(duan)分(fen)(fen)流(liu)任務(wu)。在以云(yun)(yun)為中心的(de)(de)場景下(xia)，終端(duan)(duan)(duan)(duan)將根據自身能力，在可(ke)能的(de)(de)情(qing)況下(xia)從云(yun)(yun)端(duan)(duan)(duan)(duan)分(fen)(fen)擔一些(xie)AI工(gong)作負載。而混合(he)AI架構可(ke)以根據模型和(he)(he)查詢需求的(de)(de)復雜(za)度等因素(su)，選擇不同(tong)方式在云(yun)(yun)端(duan)(duan)(duan)(duan)和(he)(he)終端(duan)(duan)(duan)(duan)側(ce)(ce)之間分(fen)(fen)配處理負載。例(li)如，如果(guo)模型大小、提示(prompt)和(he)(he)生(sheng)成長度小于某個(ge)限定值，并且能夠提供可(ke)接受的(de)(de)精確(que)度，推(tui)理即可(ke)完(wan)全在終端(duan)(duan)(duan)(duan)側(ce)(ce)進行。如果(guo)是更復雜(za)的(de)(de)任務(wu)，模型則可(ke)以跨云(yun)(yun)端(duan)(duan)(duan)(duan)和(he)(he)終端(duan)(duan)(duan)(duan)運(yun)行。
此外，混合(he)AI還能(neng)支持模型(xing)(xing)(xing)(xing)在(zai)終(zhong)端(duan)(duan)側(ce)和(he)(he)云(yun)(yun)(yun)端(duan)(duan)同時運行(xing)，也就是在(zai)終(zhong)端(duan)(duan)側(ce)運行(xing)輕量版模型(xing)(xing)(xing)(xing)時，在(zai)云(yun)(yun)(yun)端(duan)(duan)并(bing)行(xing)處理完整模型(xing)(xing)(xing)(xing)的(de)多(duo)個(ge)標記(token)，并(bing)在(zai)需(xu)要(yao)時更正終(zhong)端(duan)(duan)側(ce)的(de)處理結(jie)果(guo)。更重要(yao)的(de)是，隨(sui)著強大的(de)生成式(shi)AI模型(xing)(xing)(xing)(xing)不(bu)斷縮小，以及終(zhong)端(duan)(duan)側(ce)處理能(neng)力的(de)持續(xu)提升，混合(he)AI的(de)潛力將(jiang)(jiang)會進一步增長。參數(shu)超(chao)過10億的(de)AI模型(xing)(xing)(xing)(xing)已經(jing)能(neng)夠(gou)在(zai)手機(ji)上(shang)運行(xing)，且(qie)性(xing)(xing)能(neng)和(he)(he)精度達到與云(yun)(yun)(yun)端(duan)(duan)相(xiang)似(si)的(de)水平。不(bu)久的(de)將(jiang)(jiang)來(lai)，擁(yong)有(you)100億或(huo)更高(gao)參數(shu)的(de)模型(xing)(xing)(xing)(xing)將(jiang)(jiang)能(neng)夠(gou)在(zai)終(zhong)端(duan)(duan)上(shang)運行(xing)。混合(he)AI可以說(shuo)是能(neng)夠(gou)適用于幾乎所(suo)有(you)生成式(shi)AI應用和(he)(he)終(zhong)端(duan)(duan)領域(yu)，包括手機(ji)、筆記本電腦、XR頭顯(xian)、汽車和(he)(he)物聯(lian)網，并(bing)在(zai)成本、能(neng)耗、性(xing)(xing)能(neng)、隱私、安全(quan)和(he)(he)個(ge)性(xing)(xing)化體驗方面(mian)更具優勢。
例如，在成(cheng)本(ben)方(fang)面，生成(cheng)式 AI 搜(sou)索可以(yi)提供更(geng)加(jia)出色的用戶體驗(yan)和搜(sou)索結果，但每一次搜(sou)索查詢(xun) ，其成(cheng)本(ben)是傳統搜(sou)索方(fang)法(fa)的10倍(bei)。所以(yi)，當前面向大語言模型推(tui)理的云計算架構，將導(dao)致搜(sou)索引擎企業的運(yun)營成(cheng)本(ben)升(sheng)高。但混合AI能(neng)(neng)夠利用現已部署(shu)的、具備 AI 能(neng)(neng)力的數(shu)十(shi)億(yi)邊緣終(zhong)端，以(yi)及未來還將具備更(geng)高處理能(neng)(neng)力的數(shu)十(shi)億(yi)終(zhong)端，在一定程度上減(jian)輕運(yun)營成(cheng)本(ben)壓力。
在能(neng)耗(hao)方(fang)面，邊(bian)緣終端(duan)能(neng)夠以很低的能(neng)耗(hao)運(yun)行生(sheng)(sheng)成式(shi)AI模型，尤(you)其是將處理和數據傳輸相結合時(shi)(shi)。而(er)在時(shi)(shi)延方(fang)面，當生(sheng)(sheng)成式(shi) AI 查詢對于云的需(xu)求達到高峰期時(shi)(shi)，會產生(sheng)(sheng)大量排隊(dui)等待和高時(shi)(shi)延，甚至可能(neng)出現拒(ju)絕服(fu)務的情況，向邊(bian)緣終端(duan)轉移(yi)計算負載(zai)可防止這(zhe)一現象(xiang)發(fa)生(sheng)(sheng)。
高通全棧AI優化
眾(zhong)所周知(zhi)，高通已(yi)經(jing)(jing)將(jiang)其AI能(neng)力帶入(ru)了(le)包括(kuo)智能(neng)手(shou)機、筆(bi)記本(ben)電腦、PC、汽車(che)在(zai)內的(de)(de)(de)眾(zhong)多終(zhong)端產(chan)品(pin)(pin)中，其終(zhong)端側(ce)AI技術(shu)在(zai)大模(mo)(mo)型(xing)時代下(xia)也將(jiang)成為推動混(hun)合AI規(gui)模(mo)(mo)化落地(di)的(de)(de)(de)重要推力。據高通技術(shu)公(gong)司(si)產(chan)品(pin)(pin)管理(li)(li)高級副總裁兼AI負責人Ziad Asghar介紹(shao)，高通已(yi)經(jing)(jing)在(zai)飛行模(mo)(mo)式下(xia)實現了(le)全(quan)(quan)球(qiu)首個Android手(shou)機上的(de)(de)(de)Stable Diffusion終(zhong)端側(ce)演示。Stable Diffusion是(shi)一個參數超(chao)過10億的(de)(de)(de)超(chao)大神經(jing)(jing)網絡基礎模(mo)(mo)型(xing)，能(neng)夠基于輸入(ru)的(de)(de)(de)文本(ben)提(ti)示生成圖片。而通過高通的(de)(de)(de)全(quan)(quan)棧AI優化，這一模(mo)(mo)型(xing)能(neng)夠完全(quan)(quan)在(zai)終(zhong)端側(ce)運行，實現在(zai)15秒內完成20步推理(li)(li)，生成飽含(han)細節的(de)(de)(de)圖像。
Ziad Asghar也直言，雖然高通目(mu)前(qian)已(yi)經能夠(gou)支(zhi)持(chi)Stable Diffusion這一超過10億(yi)參(can)數的(de)模(mo)型(xing)在(zai)終(zhong)端(duan)側(ce)(ce)運(yun)行，但許多關鍵的(de)生成(cheng)(cheng)式(shi)AI模(mo)型(xing)的(de)規模(mo)可以達到(dao)10億(yi)到(dao)100億(yi)參(can)數之(zhi)間，例如文本生成(cheng)(cheng)圖像(xiang)、自(zi)然語言處(chu)理、編程、圖像(xiang)理解、圖像(xiang)創作等。所(suo)以，在(zai)未來幾個(ge)月內，高通將(jiang)有望支(zhi)持(chi)參(can)數超過100億(yi)的(de)模(mo)型(xing)在(zai)終(zhong)端(duan)側(ce)(ce)運(yun)行。而這無(wu)疑也將(jiang)成(cheng)(cheng)為(wei)基于高通技術的(de)產品的(de)重要差異(yi)化優(you)勢(shi)。
此(ci)外，通過(guo)高(gao)通AI軟件棧，高(gao)通已(yi)經實現(xian)在(zai)搭載驍龍(long)計(ji)算平臺(tai)的(de)筆記本電腦(nao)上(shang)運行(xing)(xing)Stable Diffusion。憑(ping)借行(xing)(xing)業領(ling)先的(de)高(gao)通AI引(yin)擎，基于(yu)驍龍(long)計(ji)算平臺(tai)的(de)筆記本電腦(nao)在(zai)MLCommons V3.0上(shang)率(lv)先實現(xian)了出色的(de)MLPerf基準測試結果。同時(shi)，高(gao)通也(ye)是唯(wei)一一家能(neng)夠(gou)在(zai)MLCommons V3.0的(de)筆記本電腦(nao)品類中獲得測試結果的(de)公司，這也(ye)正是因(yin)為其(qi)擁有能(neng)夠(gou)在(zai)終(zhong)端側運行(xing)(xing)如此(ci)大規模AI用例的(de)硬件引(yin)擎。
其(qi)(qi)實，早在2022年6月，高(gao)(gao)(gao)通就(jiu)(jiu)推出了專門(men)面向邊緣側AI的(de)(de)領先軟(ruan)(ruan)件棧產(chan)品(pin)——高(gao)(gao)(gao)通AI軟(ruan)(ruan)件棧，將其(qi)(qi)所有相(xiang)關的(de)(de) AI 軟(ruan)(ruan)件產(chan)品(pin)集成(cheng)在統一的(de)(de)解決方(fang)案中。OEM 廠商和開(kai)發(fa)者(zhe)可在其(qi)(qi)產(chan)品(pin)上創建、優化和部署 AI 應用，充分利用高(gao)(gao)(gao)通 AI 引擎(qing)性能，讓 AI 開(kai)發(fa)者(zhe)創建一次 AI模型(xing)，即(ji)可跨高(gao)(gao)(gao)通所有硬(ying)件運行 AI 負載。談及高(gao)(gao)(gao)通AI軟(ruan)(ruan)件棧的(de)(de)核(he)心優勢，Ziad Asghar表示，基于高(gao)(gao)(gao)通AI軟(ruan)(ruan)件棧的(de)(de)模型(xing)一旦開(kai)發(fa)出來(lai)，就(jiu)(jiu)可以在不同地方(fang)使(shi)用，再與(yu)混合AI部署相(xiang)結合，形成(cheng)殺手級的(de)(de)組(zu)合，將幫(bang)助生成(cheng)式AI在不同終端上進行規模化擴展，實現生成(cheng)式AI的(de)(de)普及。
未(wei)來，高通將不斷提高邊緣側支持(chi)的(de)模型參數閾(yu)值，Ziad Asghar提出(chu)，在不久的(de)將來，擁有100億或更大參數的(de)生成式AI模型將能夠在終端上運行。
