最近FPGA這個市場好不(bu)熱鬧，國(guo)內FPGA第一股安路科技(ji)登陸科創板，瑞薩宣布進軍FPGA。老大賽靈思(si)和老二(er)Altera已經相繼被(bei)收購，老三Lattice近年(nian)(nian)來(lai)憑借低(di)功(gong)耗(hao)在FPGA市場闖(chuang)出一番(fan)天地。過去四(si)年(nian)(nian)來(lai)，Lattice的出貨量已達(da)10億顆，儼(yan)然(ran)成(cheng)為(wei)了全球出貨量最大的FPGA廠(chang)商(shang)。
FPGA已(yi)經(jing)存在(zai)了幾十年，發展到現(xian)(xian)在(zai)，將FPGA用(yong)于(yu)AI是(shi)一大趨勢。FPGA在(zai)加速 AI 相關(guan)工作(zuo)負載（尤其(qi)是(shi)推理）方(fang)面顯示出(chu)巨大潛力(li)。使用(yong) FPGA 加速機器學(xue)習和深度(du)學(xue)習過程的(de)(de)主(zhu)要優勢是(shi)它們的(de)(de)靈活性、自(zi)定義并行性以及(ji)為多種目的(de)(de)重(zhong)新編程的(de)(de)能力(li)。現(xian)(xian)在(zai)Lattice嗅到了邊緣計算AI推理的(de)(de)商(shang)機。
為什么選擇FPGA實現網絡邊緣AI？
目前(qian)，網絡邊(bian)緣的計(ji)(ji)算正(zheng)在快速興起。有很多新的應(ying)用(yong)(yong)(yong)都在邊(bian)緣端發展出新的應(ying)用(yong)(yong)(yong)和使用(yong)(yong)(yong)場(chang)景(jing)。據(ju)ABI的研究(jiu)調查表(biao)明，預計(ji)(ji)到2024年設備(bei)端的AI推(tui)(tui)理功能將覆蓋(gai)近60%的設備(bei)。Lattice看到了這其中(zhong)的機(ji)會(hui)，正(zheng)在將FPGA運用(yong)(yong)(yong)到邊(bian)緣計(ji)(ji)算AI推(tui)(tui)理中(zhong)。
那(nei)為什么要選擇FPGA來實現網(wang)絡邊(bian)緣的(de)(de)(de)AI呢？要知道，AI的(de)(de)(de)算(suan)(suan)(suan)法(fa)靈活(huo)多變，技術每天都在推陳出新。FPGA相對來說是更適合網(wang)絡邊(bian)緣來實現AI計算(suan)(suan)(suan)的(de)(de)(de)技術。因為FPGA硬(ying)件可編程的(de)(de)(de)最(zui)大特(te)點(dian)也可以(yi)適應(ying)快速變化的(de)(de)(de)機器學(xue)習(xi)算(suan)(suan)(suan)法(fa)。憑(ping)借本身的(de)(de)(de)特(te)點(dian)，可以(yi)做靈活(huo)的(de)(de)(de)計算(suan)(suan)(suan)資(zi)源，包括預處理、后處理、圖像處理和(he)濾波等數據(ju)。還能進行(xing)(xing)性能擴展(zhan)，可并行(xing)(xing)和(he)串行(xing)(xing)執行(xing)(xing)多個案例。
再來很重要的一點是，由于邊緣端對功耗的敏感度和尺寸的大小是有比較嚴格的要求，而小封裝和低功耗恰好是Lattice FPGA的特點。Lattice的FPGA可以在網(wang)絡邊緣(yuan)AI實現一毫(hao)瓦(wa)到低(di)于一瓦(wa)的超低(di)功(gong)(gong)耗。同時，Lattice FPGA內嵌了很多安全功(gong)(gong)能(neng)區域，具有很高(gao)的安全性。
反過來，AI技術的(de)快速創(chuang)新(xin)(xin)對可編程邏輯器件(jian)(jian)FPGA來說(shuo)是有(you)(you)利的(de)，FPGA可以(yi)配合AI技術隨時為用(yong)戶提供最佳(jia)體驗。據Lattice亞太區資(zi)深市(shi)場開拓(tuo)經理林國(guo)松的(de)深一步解釋，近(jin)十(shi)年來AI模型快速發(fa)展，從(cong)(cong)下圖中可以(yi)看到從(cong)(cong)2012年到2021年AI分類模型創(chuang)新(xin)(xin)的(de)數(shu)量在逐年遞增。由于AI技術的(de)不斷創(chuang)新(xin)(xin)，導致不斷有(you)(you)新(xin)(xin)的(de)實(shi)現方式(shi)產生(sheng)。而新(xin)(xin)的(de)實(shi)現方式(shi)的(de)產生(sheng)需(xu)要(yao)有(you)(you)更快的(de)硬件(jian)(jian)來實(shi)現，這就需(xu)要(yao)硬件(jian)(jian)和算(suan)法上(shang)的(de)優化。
對此，深諳(an)邊緣計(ji)算需求的Lattice，此次更新了其低(di)功耗、AI/ML解(jie)決方案的最新路(lu)線圖。
發布SenseAI 4.1，AI與傳感器的融合
現在客戶端計算設備越來越需要快速響應和情景感知式的用戶體驗、高質量視頻會議和協作式應用。于是Lattice將其sensAITM與Nexus?這兩個解決方案集合在(zai)一(yi)起，發布了(le)sensAI解決方案集合的最新版(ban)本4.1，來幫助OEM廠商開發智能、實時在(zai)線、具有(you)低功耗(hao)和硬(ying)件加速(su)AI功能的設備。它支持(chi)萊迪思基(ji)于AI的應用(yong)路(lu)線圖。
本次新推出的sensAI 4.1會增加支持的器件是Lattice今年剛剛推出的Nexus系列產品CetusPro-NX器件。并對這個器件進行了優化，提升了CetusPro-NX的容量，同時計算的能力和功效也會提高，在這塊器件基礎上，Lattice推出了相對應的開發版，他們稱之為聲音和視覺機器學習版。也提供了支持這塊新芯片的(de)CNN Plus加(jia)速器(qi)，以及相(xiang)對應(ying)的(de)sensAI Studio（后文有詳細(xi)介(jie)紹(shao)）。
sensAI 4.1將會提供三個參考設計，包括人員偵測、注意力追蹤和目標分類。同時，在智能家居、智慧城市、工(gong)廠、智能(neng)汽車這(zhe)些方面(mian)Lattice也都可(ke)以(yi)提供相對應的設計服務(wu)。Lattice一(yi)直使用的訓(xun)(xun)練設計的方法是通過標(biao)準的Caffe、TensorFlow、TensorFlowLite、Keras等常用培(pei)訓(xun)(xun)網(wang)絡培(pei)訓(xun)(xun)完(wan)之后，再交由(you)Lattice提供的神經網(wang)絡編(bian)譯器(qi)，編(bian)譯成(cheng)相對應的可(ke)執(zhi)行指令(ling)，這(zhe)些指令(ling)最終會由(you)Lattice的芯片調取使用。
林國(guo)松也介紹了Lattice在軟硬件方(fang)面(mian)所進行的(de)優(you)化方(fang)法。在硬件優(you)化上，主要是兩方(fang)面(mian)的(de)結合，一(yi)個是把SenseAI組件通過FPGA的(de)設計工具，將Lattice Radiant和DIAMOND結合之后，產(chan)生FPGA比特流。另一(yi)個是，把訓練(lian)后的(de)模型錄進神經網(wang)絡編譯器，這(zhe)(zhe)樣產(chan)生一(yi)個類似于中央處(chu)理器的(de)功能，而后產(chan)生的(de)量(liang)化的(de)權重和指(zhi)令更多(duo)指(zhi)向(xiang)于執行的(de)代碼，這(zhe)(zhe)兩個結合之后，最(zui)終產(chan)生機器學習的(de)框架(jia)。
在軟件(jian)設(she)計層(ceng)面，為了(le)便(bian)于(yu)大家開(kai)發設(she)計，Lattice專(zhuan)門(men)提供了(le)一個(ge)PROPEL的(de)軟件(jian)，它(ta)能(neng)(neng)對整個(ge)內部結果進行類似于(yu)C代碼(ma)的(de)控制，而不是使用(yong)比較難(nan)以上手的(de)FPGA的(de)開(kai)發代碼(ma)，便(bian)于(yu)初(chu)學者能(neng)(neng)夠調用(yong)一些基本(ben)的(de)指(zhi)(zhi)令進行一些控制。具體(ti)設(she)計參看下圖，下圖中(zhong)左側(ce)更多(duo)指(zhi)(zhi)的(de)是Lattice的(de)開(kai)發AI引擎的(de)一些架構(gou)，包括機器學習引擎，以此能(neng)(neng)夠做視覺(jue)的(de)收(shou)取(qu)，同時做軟核的(de)控制。
Lattice還推出了(le)一(yi)款(kuan)易于(yu)(yu)(yu)使用(yong)的(de)工(gong)具sensAI Studio，這是(shi)一(yi)款(kuan)基于(yu)(yu)(yu)GUI的(de)工(gong)具，擁有AI模型(xing)庫(ku)，經過配置(zhi)和訓練可適用(yong)于(yu)(yu)(yu)各類主流應用(yong)場(chang)景(jing)。林國松解釋道，之所以(yi)推出這個Studio是(shi)因為我們收到了(le)很(hen)多關于(yu)(yu)(yu)配置(zhi)機器(qi)學習培訓環(huan)境(jing)的(de)反饋，用(yong)戶(hu)在這方(fang)面會遇到一(yi)些難題，主要是(shi)由于(yu)(yu)(yu)這些培訓環(huan)境(jing)的(de)應用(yong)場(chang)景(jing)，應用(yong)軟(ruan)件更新的(de)非常快，有可能幾天就(jiu)會有一(yi)次更新，所以(yi)軟(ruan)件和軟(ruan)件之間的(de)兼容性就(jiu)很(hen)難解決。為了(le)解決這樣的(de)問題，Lattice特別推出了(le)Lattice sensAI Studio。
在具體的(de)應用中，SenseAI 4.1可以以低功耗追(zhui)蹤多個(ge)目(mu)(mu)標(biao)，例如其最(zui)新(xin)推出的(de)CrossLink-NX，在分辨率為224×224×3色RGB的(de)情(qing)況下，其速度可以達到33fps，可以進行目(mu)(mu)標(biao)分類(lei)和追(zhui)蹤多個(ge)目(mu)(mu)標(biao)，例如在條形碼檢測、瑕疵檢測及機器(qi)人導(dao)航。值得一(yi)提的(de)是(shi)，CrossLink-NX這個(ge)器(qi)件(jian)本(ben)身是(shi)作為低功耗的(de)器(qi)件(jian)，是(shi)Lattice花了很(hen)大的(de)力氣，專(zhuan)為網絡邊緣應用打造的(de)。
SenseAI助力下一代PC體驗
現在(zai)PC已經成為大家工作(zuo)(zuo)和生活中接觸時間(jian)最長的(de)電(dian)(dian)子工具之一。根(gen)據smartinsights的(de)調查，用(yong)戶習慣于(yu)在(zai)白(bai)天的(de)時候使用(yong)手提電(dian)(dian)腦(nao)，而晚上(shang)更多(duo)是使用(yong)臺式電(dian)(dian)腦(nao)。而Lattice也(ye)觀(guan)察到，下(xia)一代(dai)PC的(de)趨勢將集中在(zai)智能和感知，強大的(de)協作(zuo)(zuo)能力和輕薄的(de)外形(xing)三個方面。
Lattice sensAI的(de)(de)(de)智(zhi)能(neng)(neng)和感知(zhi)AI解決(jue)方案(an)提供了用戶檢(jian)測(ce)、注意力追蹤、旁觀者(zhe)檢(jian)測(ce)及面(mian)部取景(jing)功(gong)能(neng)(neng)。具體來(lai)看，現(xian)在(zai)多(duo)數的(de)(de)(de)電(dian)(dian)腦(nao)(nao)(nao)都是(shi)以(yi)鼠標(biao)(biao)是(shi)否移(yi)動(dong)來(lai)判定用戶是(shi)否在(zai)使用電(dian)(dian)腦(nao)(nao)(nao)的(de)(de)(de)，如(ru)果鼠標(biao)(biao)長期未移(yi)動(dong)，電(dian)(dian)腦(nao)(nao)(nao)就會(hui)息(xi)屏(ping)。Lattice更高端的(de)(de)(de)用戶檢(jian)測(ce)，通過注意力追蹤可以(yi)延(yan)長28%的(de)(de)(de)電(dian)(dian)池壽命，具體表現(xian)為在(zai)人接近電(dian)(dian)腦(nao)(nao)(nao)時(shi)自(zi)動(dong)開(kai)啟，并持(chi)續追蹤注意力，在(zai)離開(kai)時(shi)自(zi)動(dong)鎖(suo)屏(ping)；旁觀者(zhe)檢(jian)測(ce)可以(yi)保護用戶隱(yin)私數據(ju)，而面(mian)部取景(jing)也是(shi)很多(duo)協作式會(hui)議(yi)所需的(de)(de)(de)場(chang)景(jing)。
可能很多人(ren)會(hui)擔(dan)心用戶(hu)(hu)隱私的(de)問(wen)題，這(zhe)點林(lin)國松(song)也做出了解釋，sensAI是符合(he)(he)道德(de)和合(he)(he)理的(de)AI設計考量。使用Lattice sensAI可以(yi)不把圖(tu)像傳給電(dian)腦，直(zhi)接在硬(ying)件(jian)上處理。也就是通(tong)過Lattice sensAI只(zhi)會(hui)傳出一個結(jie)果(guo)，而不會(hui)傳輸圖(tu)像，這(zhe)樣的(de)話用戶(hu)(hu)的(de)肖像權就不會(hui)受(shou)到(dao)侵害。同時(shi)Lattice sensAI也專注于用戶(hu)(hu)體(ti)驗(yan)，針對不同的(de)復雜場景(jing)進行壓力測(ce)試，包括(kuo)燈光，場景(jing)及用戶(hu)(hu)面部和頭部穿戴的(de)變化。
為了能夠讓Lattice這(zhe)款產(chan)品能夠在PC上得到落實，Lattice需要(yao)和OEM、芯片廠(chang)商(shang)(shang)、操作(zuo)系統(tong)和軟件的支持，還需要(yao)傳(chuan)感器(qi)的合作(zuo)。在傳(chuan)感器(qi)方面，Lattice本身(shen)就(jiu)與很(hen)(hen)多傳(chuan)感器(qi)廠(chang)商(shang)(shang)有(you)很(hen)(hen)好的合作(zuo)，可以保(bao)證傳(chuan)感器(qi)輸出的信(xin)息能夠和不同(tong)的AP的處(chu)理(li)器(qi)進行很(hen)(hen)好的互聯。
寫在最后
在(zai)FPGA這個市場上，Lattice一直穩(wen)扎穩(wen)打，而且這幾年的(de)攻勢愈發迅猛。可以看(kan)到，近幾年Lattice推出新(xin)器件的(de)步伐明(ming)顯增快，差不多每年都(dou)(dou)會(hui)推出一款新(xin)器件，包括(kuo)CrossLink-NX，Certus-NX這兩款都(dou)(dou)是去年推出的(de)，Mach-NX、CertusPro-NX都(dou)(dou)是今(jin)年推的(de)，明(ming)年上半年還會(hui)有(you)新(xin)產品(pin)發布，同時后續的(de)一系列產品(pin)都(dou)(dou)已經在(zai)細化中。
資訊來源(yuan)：半導體行業觀察
