基(ji)(ji)礎模(mo)型(xing)(xing)正在(zai)席(xi)卷AI行業。基(ji)(ji)礎模(mo)型(xing)(xing)指基(ji)(ji)于(yu)(yu)海量數據(ju)進行大規模(mo)訓練的(de)大型(xing)(xing)神經(jing)網絡，進而(er)能(neng)以高(gao)(gao)性(xing)能(neng)表(biao)現適應廣泛的(de)后續任務。流行的(de)基(ji)(ji)礎模(mo)型(xing)(xing)Stable Diffusion是一個非常出色(se)的(de)從文(wen)本(ben)到(dao)圖(tu)像(xiang)的(de)生成式AI模(mo)型(xing)(xing)，能(neng)夠基(ji)(ji)于(yu)(yu)任何文(wen)本(ben)輸入，在(zai)數十秒內創作出逼真圖(tu)像(xiang)。Stable Diffusion的(de)參數超過(guo)10億，迄今為止主要限(xian)于(yu)(yu)在(zai)云端(duan)運行。接(jie)下來(lai)我將介紹高(gao)(gao)通AI Research如何利用高(gao)(gao)通AI軟件棧(zhan)(zhan)(Qualcomm AI Stack)執行全棧(zhan)(zhan)AI優化，首次在(zai)Android智能(neng)手(shou)機上部署Stable Diffusion。
通過(guo)全棧AI優化，完全在終端側高效運行Stable Diffusion。
高通AI軟件棧支持的全棧AI優化
在(zai)“AI首創”博客文(wen)章中，我(wo)們(men)提到(dao)過高(gao)通(tong)AI Research不(bu)僅在(zai)開展全新AI研究工作，也(ye)率先在(zai)商用終(zhong)端上展示概念驗證，為在(zai)現實世界中的(de)技術規模(mo)化(hua)應用鋪平道路(lu)。我(wo)們(men)的(de)全棧AI研究指跨應用、神經(jing)網絡模(mo)型(xing)、算法、軟件(jian)和(he)硬件(jian)進行(xing)(xing)優(you)(you)化(hua)，并在(zai)公(gong)司(si)內(nei)進行(xing)(xing)跨部門合作。針對Stable Diffusion，我(wo)們(men)從Hugging Face的(de)FP32 1-5版(ban)本開源(yuan)模(mo)型(xing)入(ru)手，通(tong)過量化(hua)、編譯(yi)和(he)硬件(jian)加速進行(xing)(xing)優(you)(you)化(hua)，使其能在(zai)搭(da)載第二代驍龍8移動平臺的(de)手機上運行(xing)(xing)。
為了(le)(le)把模(mo)型(xing)從FP32壓縮為INT8，我們(men)使(shi)用(yong)(yong)了(le)(le)高(gao)(gao)通AI模(mo)型(xing)增效工(gong)具(ju)包(AIMET)的(de)(de)訓練后(hou)量化。這(zhe)是基于(yu)高(gao)(gao)通AI Research創造的(de)(de)技術所開發的(de)(de)工(gong)具(ju)，目前已(yi)經集成入新發布的(de)(de)Qualcomm AI Studio中。通過讓(rang)模(mo)型(xing)在(zai)我們(men)的(de)(de)專用(yong)(yong)AI硬件上高(gao)(gao)效運(yun)行，并降低(di)內存帶寬消耗，量化不(bu)僅能(neng)(neng)夠提(ti)高(gao)(gao)性能(neng)(neng)，還可以(yi)降低(di)功耗。自適(shi)應(ying)舍(she)入(AdaRound)等先進(jin)的(de)(de)高(gao)(gao)通AIMET量化技術能(neng)(neng)夠在(zai)更(geng)低(di)精度水平保持模(mo)型(xing)準(zhun)確性，無(wu)需(xu)進(jin)行重新訓練。這(zhe)些(xie)技術能(neng)(neng)夠應(ying)用(yong)(yong)于(yu)構(gou)成Stable Diffusion的(de)(de)所有組件模(mo)型(xing)，即基于(yu)Transformer的(de)(de)文本編碼器、VAE解碼器和UNet。這(zhe)對于(yu)讓(rang)模(mo)型(xing)適(shi)合于(yu)在(zai)終端上運(yun)行至關(guan)重要。
高(gao)通AI軟件(jian)棧將最優(you)秀的(de)AI軟件(jian)產(chan)品集合(he)到一個軟件(jian)包中，幫助(zhu)OEM廠商(shang)和開發者在我(wo)們的(de)產(chan)品上創建(jian)、優(you)化(hua)和部署他們的(de)AI應用，充分利用高(gao)通AI引擎的(de)性能。
對(dui)于(yu)(yu)編(bian)(bian)譯(yi)(yi)，我們利用高(gao)通AI引擎Direct框(kuang)架將神經網絡(luo)映(ying)射到能(neng)(neng)夠在目標硬件上高(gao)效運(yun)行(xing)的(de)程序(xu)中(zhong)。高(gao)通AI引擎Direct框(kuang)架基于(yu)(yu)高(gao)通Hexagon處理器的(de)硬件架構和(he)內存(cun)(cun)層級進行(xing)序(xu)列運(yun)算，從而提升性能(neng)(neng)并最小化(hua)(hua)內存(cun)(cun)溢出(chu)。部分上述增強特性是AI優化(hua)(hua)研(yan)究(jiu)人員與編(bian)(bian)譯(yi)(yi)器工程團隊共(gong)同(tong)(tong)合作的(de)成果，以此來提升AI推理時的(de)內存(cun)(cun)管理。高(gao)通AI引擎中(zhong)所(suo)做的(de)整體優化(hua)(hua)能(neng)(neng)夠顯著降低runtime的(de)時延(yan)和(he)功耗，而這一亟需的(de)趨勢(shi)也同(tong)(tong)樣存(cun)(cun)在于(yu)(yu)Stable Diffusion上。
憑借緊(jin)密的軟硬件協同設計，集(ji)成Hexagon處(chu)理(li)器的高(gao)(gao)通(tong)AI引擎能夠釋放行(xing)業領先的邊緣側AI性能。支持微切片推理(li)的最新第二代(dai)驍龍8移動平臺有(you)能力高(gao)(gao)效運行(xing)像Stable Diffusion這(zhe)樣的大模型(xing)，并且下一(yi)代(dai)驍龍預計還將(jiang)帶來更(geng)多(duo)提升。此外，由(you)于構成Stable Diffusion的所有(you)組件模型(xing)都采用了多(duo)頭注(zhu)意力機制，為加速(su)推理(li)而面向(xiang)transformer模型(xing)(如MobileBERT)所做的技術增強發揮了關鍵作用。
這(zhe)一全棧優(you)化最終讓(rang)Stable Diffusion能夠在智能手機上(shang)(shang)運行，在15秒內執行20步推理，生成一張512x512像素的圖(tu)像。這(zhe)是在智能手機上(shang)(shang)最快的推理速度(du)，能媲美云端時(shi)延，且用戶文(wen)本輸入完(wan)全不受限制。
Qualcomm AI Studio 將我們目前的所有工具整合到(dao)一(yi)個全新的GUI中，同時(shi)還有可視化(hua)工具，以簡化(hua)開(kai)發(fa)者(zhe)的使用(yong)體驗。
上圖為Stable Diffusion利用文本提示：“野外河谷和(he)山脈間的(de)日式花園，高細節(jie)，數字插圖，ArtStation，概念藝(yi)(yi)術，磨砂，銳聚焦，插圖，戲(xi)劇性的(de)，落日，爐石，artgerm、greg rutkowski和(he)lphonse mucha的(de)藝(yi)(yi)術作品(pin)”生成(cheng)的(de)圖像
邊緣側AI的時代已經到來
隨著AI云端大模型開(kai)始轉向(xiang)在(zai)邊緣終(zhong)(zhong)端上運行，高通打造智能(neng)網(wang)聯邊緣的(de)愿景(jing)正在(zai)我們眼前加速實現，幾年前還被認為不可(ke)(ke)能(neng)的(de)事情正在(zai)成(cheng)為可(ke)(ke)能(neng)。這很有吸引力，因為通過邊緣AI進行終(zhong)(zhong)端側處理具(ju)有諸多優(you)勢，包括可(ke)(ke)靠性(xing)、時延(yan)、隱私、網(wang)絡帶寬使(shi)用效率和整體成(cheng)本。
盡管Stable Diffusion模(mo)(mo)型(xing)(xing)看(kan)起來(lai)過于龐大，但它(ta)編碼了大量語言和視覺相關知(zhi)識(shi)，幾乎可以生成任何能(neng)想象到的(de)圖(tu)片。此(ci)外，作為(wei)一(yi)款基礎模(mo)(mo)型(xing)(xing)，Stable Diffusion能(neng)做(zuo)的(de)遠不止(zhi)根據文字提(ti)示生成圖(tu)像。基于Stable Diffusion的(de)應(ying)用正在(zai)不斷增加，例如(ru)圖(tu)像編輯(ji)、圖(tu)像修復(fu)、風格(ge)轉換(huan)和超(chao)分辨(bian)率等，將帶來(lai)切實(shi)的(de)影(ying)響。能(neng)夠完全在(zai)終端上運(yun)行(xing)模(mo)(mo)型(xing)(xing)而(er)無(wu)需連接互(hu)聯網(wang)，將帶來(lai)無(wu)限(xian)的(de)可能(neng)性。
擴展邊緣側AI
在智(zhi)能手機上運行(xing)Stable Diffusion只是開始。讓這(zhe)一目(mu)標得以實現的(de)所有全棧(zhan)(zhan)研(yan)究和優化都(dou)將(jiang)融入(ru)高通(tong)AI軟(ruan)件棧(zhan)(zhan)。憑借(jie)高通(tong)的(de)統(tong)一技術(shu)路線圖(tu)，我們能夠利用(yong)單(dan)一AI軟(ruan)件棧(zhan)(zhan)并進行(xing)擴展，以適用(yong)于不(bu)同(tong)的(de)終端和不(bu)同(tong)的(de)模(mo)型。
這意味著為了讓Stable Diffusion在(zai)(zai)手機(ji)上(shang)高(gao)效運(yun)行(xing)(xing)所做的(de)(de)優化(hua)也(ye)可用(yong)于(yu)(yu)(yu)高(gao)通技(ji)術公司賦能的(de)(de)其(qi)他平(ping)臺，比如筆記本電(dian)腦、XR頭顯和(he)幾乎任何(he)其(qi)它終(zhong)端。在(zai)(zai)云端運(yun)行(xing)(xing)所有(you)AI處(chu)理(li)工(gong)作成本高(gao)昂，因此高(gao)效的(de)(de)邊緣側AI處(chu)理(li)非常重要。由于(yu)(yu)(yu)輸入文本和(he)生成圖像(xiang)始終(zhong)無(wu)需(xu)離開(kai)終(zhong)端，邊緣側AI處(chu)理(li)能在(zai)(zai)運(yun)行(xing)(xing)Stable Diffusion(和(he)其(qi)它生成式AI模型)時確保用(yong)戶(hu)隱私，這對(dui)于(yu)(yu)(yu)使(shi)用(yong)消費級和(he)企業級應用(yong)都有(you)巨大(da)的(de)(de)好處(chu)。全新AI軟件棧(zhan)優化(hua)還(huan)將有(you)助于(yu)(yu)(yu)減(jian)少未來在(zai)(zai)邊緣側運(yun)行(xing)(xing)的(de)(de)下一代基礎模型產品的(de)(de)上(shang)市時間。這就是我們如何(he)能夠實現跨終(zhong)端和(he)基礎模型進行(xing)(xing)擴展，讓邊緣側AI真正無(wu)處(chu)不(bu)在(zai)(zai)。
在高(gao)通(tong)(tong)，我們(men)在基礎研究領域實現突破，并跨終端和行業進行擴展(zhan)，以(yi)賦(fu)能(neng)智能(neng)網(wang)聯邊(bian)緣。高(gao)通(tong)(tong)AI Research與(yu)公(gong)司所(suo)有(you)團隊通(tong)(tong)力合作，將最新AI發展(zhan)成果和技術集(ji)成到我們(men)的(de)產品之(zhi)中，讓實驗室研究所(suo)實現的(de)AI進步能(neng)夠更快(kuai)交付，豐(feng)富(fu)人們(men)的(de)生活。
