2022年末，美國人工智能公司Open AI推出了(le)(le)ChatGPT對話(hua)模型(xing)，迅(xun)速風靡(mi)全(quan)球并快速迭代，其在不(bu)到(dao)4個(ge)月后(hou)又發布了(le)(le)能力(li)更強大的GPT-4，而后(hou)乘勝追擊(ji)，推出了(le)(le)聯(lian)網和(he)第三方(fang)應用插件(jian)功能，不(bu)斷(duan)刷新人們(men)對生(sheng)(sheng)成式AI強大能力(li)的認知。毫無疑問，生(sheng)(sheng)成式AI帶來的巨大機遇將成為業(ye)界變革的轉折點。
然而(er)，隨著生成式(shi) AI 模型使用量和(he)復雜(za)性的(de)(de)不(bu)斷增(zeng)長，僅在云端(duan)進行推理并(bing)“不(bu)劃(hua)算(suan)”，因為包(bao)括硬件(jian)、場地(di)、能耗、運營、額(e)外帶(dai)寬(kuan)和(he)網絡(luo)傳輸(shu)在內的(de)(de)數據(ju)中心基礎(chu)設施成本也將持續增(zeng)加(jia)。而(er)將一些處理從(cong)云端(duan)轉移到邊緣終端(duan)，則可以減輕(qing)云基礎(chu)設施的(de)(de)壓力并(bing)減少開支。這也是為何(he)混合 AI 對生成式(shi) AI 的(de)(de)規模化應用至關重(zhong)要。
高通技術公司作為終端側AI領導者，面向包括手機、汽車、XR頭顯與眼鏡、PC和物聯網等(deng)在內的數十億邊緣終(zhong)端(duan)，可以提供行業領先的硬件(jian)和(he)軟件(jian)解決方(fang)案(an)，對推動混合AI規模(mo)化擴展獨具優(you)(you)勢。6月16日，高通正式發布了(le)白皮書(shu)《混合AI是AI的未來》，進一(yi)步闡釋了(le)混合AI在大(da)模(mo)型時(shi)代的優(you)(you)勢，以及高通如何憑借(jie)終(zhong)端(duan)側AI領導力、全(quan)球化規模(mo)和(he)生(sheng)態(tai)系統賦能，讓(rang)混合AI成為現實。
“混合AI是AI的未來”
所謂的混(hun)合(he)AI是指終(zhong)(zhong)端(duan)(duan)(duan)和(he)(he)(he)云(yun)(yun)端(duan)(duan)(duan)協同工作(zuo)，在(zai)適當的場(chang)景和(he)(he)(he)時間下(xia)(xia)分(fen)(fen)配AI計算(suan)的工作(zuo)負載，以(yi)提供更(geng)好的體驗(yan)，并高效利用資(zi)源(yuan)。在(zai)一(yi)些(xie)場(chang)景下(xia)(xia)，計算(suan)將主要以(yi)終(zhong)(zhong)端(duan)(duan)(duan)為中(zhong)心(xin)，在(zai)必要時向云(yun)(yun)端(duan)(duan)(duan)分(fen)(fen)流任(ren)務(wu)(wu)。在(zai)以(yi)云(yun)(yun)為中(zhong)心(xin)的場(chang)景下(xia)(xia)，終(zhong)(zhong)端(duan)(duan)(duan)將根據(ju)自身能力(li)，在(zai)可(ke)能的情(qing)況(kuang)下(xia)(xia)從云(yun)(yun)端(duan)(duan)(duan)分(fen)(fen)擔(dan)一(yi)些(xie)AI工作(zuo)負載。而(er)混(hun)合(he)AI架構可(ke)以(yi)根據(ju)模型和(he)(he)(he)查(cha)詢需求的復雜(za)度等(deng)因素，選擇不同方(fang)式在(zai)云(yun)(yun)端(duan)(duan)(duan)和(he)(he)(he)終(zhong)(zhong)端(duan)(duan)(duan)側之間分(fen)(fen)配處理負載。例如，如果模型大小、提示(prompt)和(he)(he)(he)生成(cheng)長度小于某(mou)個(ge)限定值(zhi)，并且(qie)能夠提供可(ke)接受的精確度，推理即可(ke)完(wan)全在(zai)終(zhong)(zhong)端(duan)(duan)(duan)側進行。如果是更(geng)復雜(za)的任(ren)務(wu)(wu)，模型則可(ke)以(yi)跨云(yun)(yun)端(duan)(duan)(duan)和(he)(he)(he)終(zhong)(zhong)端(duan)(duan)(duan)運行。
此外，混(hun)合AI還能(neng)(neng)(neng)支持(chi)(chi)模型在終(zhong)端(duan)(duan)側和云端(duan)(duan)同時(shi)運(yun)行，也(ye)就是在終(zhong)端(duan)(duan)側運(yun)行輕量版模型時(shi)，在云端(duan)(duan)并行處(chu)理(li)完(wan)整模型的(de)(de)多個標(biao)記(token)，并在需要時(shi)更正(zheng)終(zhong)端(duan)(duan)側的(de)(de)處(chu)理(li)結(jie)果。更重要的(de)(de)是，隨著強大的(de)(de)生成(cheng)式AI模型不斷縮小，以(yi)(yi)及終(zhong)端(duan)(duan)側處(chu)理(li)能(neng)(neng)(neng)力的(de)(de)持(chi)(chi)續提升(sheng)，混(hun)合AI的(de)(de)潛力將(jiang)會進(jin)一步增(zeng)長。參數(shu)超過10億的(de)(de)AI模型已經能(neng)(neng)(neng)夠在手(shou)機上(shang)運(yun)行，且性能(neng)(neng)(neng)和精度達到與(yu)云端(duan)(duan)相似的(de)(de)水平。不久的(de)(de)將(jiang)來(lai)，擁有100億或更高參數(shu)的(de)(de)模型將(jiang)能(neng)(neng)(neng)夠在終(zhong)端(duan)(duan)上(shang)運(yun)行。混(hun)合AI可以(yi)(yi)說是能(neng)(neng)(neng)夠適用于幾乎所(suo)有生成(cheng)式AI應用和終(zhong)端(duan)(duan)領域，包括手(shou)機、筆記本電腦、XR頭顯、汽車(che)和物聯(lian)網，并在成(cheng)本、能(neng)(neng)(neng)耗(hao)、性能(neng)(neng)(neng)、隱私、安全和個性化體驗(yan)方面更具(ju)優勢。
例如，在成本方面(mian)，生成式 AI 搜索(suo)可以提供更(geng)加出色的(de)(de)用戶體驗和搜索(suo)結果，但(dan)每一(yi)次搜索(suo)查詢 ，其成本是傳統(tong)搜索(suo)方法的(de)(de)10倍(bei)。所以，當前面(mian)向大語言模(mo)型推理的(de)(de)云計算架(jia)構，將導致搜索(suo)引擎企業的(de)(de)運營成本升高。但(dan)混(hun)合AI能(neng)夠利用現已部署(shu)的(de)(de)、具備 AI 能(neng)力的(de)(de)數(shu)十億邊緣終(zhong)端(duan)，以及(ji)未來還將具備更(geng)高處理能(neng)力的(de)(de)數(shu)十億終(zhong)端(duan)，在一(yi)定程度上減輕運營成本壓力。
在(zai)能耗方(fang)面，邊緣(yuan)終端能夠(gou)以很低的(de)能耗運行生成(cheng)(cheng)式AI模型，尤其(qi)是(shi)將(jiang)處(chu)理和數據傳輸(shu)相結合時。而在(zai)時延(yan)(yan)方(fang)面，當生成(cheng)(cheng)式 AI 查詢(xun)對于云的(de)需(xu)求(qiu)達到高峰(feng)期(qi)時，會產生大量排隊(dui)等待和高時延(yan)(yan)，甚至可(ke)能出現拒絕服務的(de)情況，向邊緣(yuan)終端轉移計算負載可(ke)防止這一現象發(fa)生。
高通全棧AI優化
眾(zhong)所周知，高通(tong)已經將其(qi)AI能力(li)(li)帶入了(le)(le)包括智能手(shou)機、筆記本電腦、PC、汽車(che)在(zai)(zai)內(nei)的(de)(de)眾(zhong)多終端(duan)(duan)產品(pin)中(zhong)，其(qi)終端(duan)(duan)側AI技(ji)術(shu)在(zai)(zai)大模(mo)型時代下(xia)也將成(cheng)(cheng)為推(tui)(tui)動混合AI規模(mo)化(hua)落地的(de)(de)重要推(tui)(tui)力(li)(li)。據高通(tong)技(ji)術(shu)公司產品(pin)管理高級副(fu)總裁兼AI負(fu)責人Ziad Asghar介紹(shao)，高通(tong)已經在(zai)(zai)飛行(xing)模(mo)式下(xia)實(shi)現(xian)了(le)(le)全球首個Android手(shou)機上的(de)(de)Stable Diffusion終端(duan)(duan)側演(yan)示。Stable Diffusion是一(yi)個參數超(chao)過(guo)10億的(de)(de)超(chao)大神經網絡基礎模(mo)型，能夠基于輸入的(de)(de)文本提示生成(cheng)(cheng)圖片。而(er)通(tong)過(guo)高通(tong)的(de)(de)全棧AI優化(hua)，這一(yi)模(mo)型能夠完全在(zai)(zai)終端(duan)(duan)側運行(xing)，實(shi)現(xian)在(zai)(zai)15秒內(nei)完成(cheng)(cheng)20步推(tui)(tui)理，生成(cheng)(cheng)飽含細節的(de)(de)圖像。
Ziad Asghar也直言，雖然高通目前已經(jing)能(neng)夠(gou)支持(chi)Stable Diffusion這(zhe)一超過(guo)10億(yi)參數(shu)的模(mo)型(xing)在終(zhong)(zhong)端側(ce)運(yun)行，但許多關鍵的生成式AI模(mo)型(xing)的規模(mo)可以達到10億(yi)到100億(yi)參數(shu)之(zhi)間(jian)，例如文本生成圖(tu)像、自然語言處理(li)、編程、圖(tu)像理(li)解、圖(tu)像創(chuang)作(zuo)等。所(suo)以，在未來(lai)幾個月內(nei)，高通將(jiang)有望支持(chi)參數(shu)超過(guo)100億(yi)的模(mo)型(xing)在終(zhong)(zhong)端側(ce)運(yun)行。而這(zhe)無疑也將(jiang)成為基于高通技術的產品的重要(yao)差異化優(you)勢。
此外，通過(guo)高(gao)通AI軟件(jian)棧，高(gao)通已經實(shi)現(xian)在(zai)搭載驍龍(long)計算平(ping)臺的(de)筆(bi)記本電(dian)腦(nao)上運行(xing)Stable Diffusion。憑借(jie)行(xing)業領先(xian)的(de)高(gao)通AI引擎(qing)，基于驍龍(long)計算平(ping)臺的(de)筆(bi)記本電(dian)腦(nao)在(zai)MLCommons V3.0上率先(xian)實(shi)現(xian)了出色的(de)MLPerf基準(zhun)測試(shi)結果。同時，高(gao)通也(ye)是唯一一家能夠在(zai)MLCommons V3.0的(de)筆(bi)記本電(dian)腦(nao)品類中獲得(de)測試(shi)結果的(de)公司，這也(ye)正是因為其擁(yong)有能夠在(zai)終端側(ce)運行(xing)如此大規(gui)模AI用(yong)例的(de)硬件(jian)引擎(qing)。
其實，早在(zai)2022年6月，高(gao)通(tong)就推(tui)出了專門面(mian)向邊緣側AI的(de)(de)(de)領先(xian)軟(ruan)件棧產(chan)品——高(gao)通(tong)AI軟(ruan)件棧，將其所有相關(guan)的(de)(de)(de) AI 軟(ruan)件產(chan)品集成在(zai)統一的(de)(de)(de)解決方案(an)中。OEM 廠(chang)商和(he)開(kai)發(fa)者可(ke)在(zai)其產(chan)品上創建、優(you)(you)化和(he)部署(shu) AI 應用，充分(fen)利用高(gao)通(tong) AI 引(yin)擎性能，讓 AI 開(kai)發(fa)者創建一次(ci) AI模型(xing)(xing)，即可(ke)跨高(gao)通(tong)所有硬(ying)件運行 AI 負載(zai)。談及高(gao)通(tong)AI軟(ruan)件棧的(de)(de)(de)核心優(you)(you)勢，Ziad Asghar表示，基于(yu)高(gao)通(tong)AI軟(ruan)件棧的(de)(de)(de)模型(xing)(xing)一旦開(kai)發(fa)出來，就可(ke)以在(zai)不同地(di)方使用，再與混合(he)AI部署(shu)相結合(he)，形(xing)成殺手級的(de)(de)(de)組合(he)，將幫助生成式AI在(zai)不同終端上進行規模化擴展，實現(xian)生成式AI的(de)(de)(de)普及。
未(wei)來，高(gao)(gao)通將(jiang)不斷(duan)提高(gao)(gao)邊(bian)緣(yuan)側支(zhi)持(chi)的模型(xing)參數閾值，Ziad Asghar提出，在不久的將(jiang)來，擁有100億或更大參數的生(sheng)成式AI模型(xing)將(jiang)能(neng)夠在終端上(shang)運行。
