最近(jin)FPGA這個(ge)市場(chang)好(hao)不(bu)熱(re)鬧(nao)，國內(nei)FPGA第一股安路科(ke)技登陸科(ke)創板，瑞薩(sa)宣(xuan)布(bu)進軍FPGA。老(lao)大賽靈思和老(lao)二Altera已(yi)(yi)經相繼被收購(gou)，老(lao)三Lattice近(jin)年來憑借(jie)低(di)功耗在(zai)FPGA市場(chang)闖出(chu)一番天(tian)地。過去四年來，Lattice的(de)出(chu)貨(huo)量已(yi)(yi)達10億顆，儼然成為了全球出(chu)貨(huo)量最大的(de)FPGA廠商(shang)。
FPGA已經存(cun)在了幾(ji)十年，發展(zhan)到(dao)現在，將FPGA用(yong)于AI是一大趨勢(shi)。FPGA在加(jia)(jia)速(su) AI 相(xiang)關工作(zuo)負載（尤其是推理）方面顯示(shi)出(chu)巨大潛力。使用(yong) FPGA 加(jia)(jia)速(su)機器學習和(he)深度學習過程的(de)主要(yao)優勢(shi)是它(ta)們的(de)靈活性(xing)、自定義并(bing)行(xing)性(xing)以(yi)及為多種(zhong)目的(de)重新編程的(de)能力。現在Lattice嗅(xiu)到(dao)了邊緣計算AI推理的(de)商機。
為什么選擇FPGA實現網絡邊緣AI？
目前，網(wang)絡邊(bian)緣(yuan)的(de)(de)(de)計算正在快速興起。有很多新的(de)(de)(de)應用都在邊(bian)緣(yuan)端發展出(chu)新的(de)(de)(de)應用和使用場景。據ABI的(de)(de)(de)研(yan)究調(diao)查表明，預計到(dao)(dao)2024年(nian)設(she)備(bei)端的(de)(de)(de)AI推理功能(neng)將(jiang)覆(fu)蓋近60%的(de)(de)(de)設(she)備(bei)。Lattice看到(dao)(dao)了這其中的(de)(de)(de)機會，正在將(jiang)FPGA運(yun)用到(dao)(dao)邊(bian)緣(yuan)計算AI推理中。
那為什么要選(xuan)擇FPGA來(lai)實現(xian)網絡(luo)邊(bian)(bian)緣的(de)(de)(de)(de)AI呢？要知道，AI的(de)(de)(de)(de)算法靈活(huo)多(duo)變，技(ji)術(shu)每天都在推陳(chen)出新(xin)。FPGA相對來(lai)說是更適(shi)合網絡(luo)邊(bian)(bian)緣來(lai)實現(xian)AI計算的(de)(de)(de)(de)技(ji)術(shu)。因(yin)為FPGA硬件可編(bian)程的(de)(de)(de)(de)最大(da)特點(dian)也可以適(shi)應快速變化的(de)(de)(de)(de)機器(qi)學習算法。憑(ping)借本身的(de)(de)(de)(de)特點(dian)，可以做靈活(huo)的(de)(de)(de)(de)計算資源，包(bao)括預處(chu)理、后處(chu)理、圖像處(chu)理和(he)濾波等數(shu)據。還能(neng)進行(xing)性能(neng)擴(kuo)展，可并行(xing)和(he)串行(xing)執(zhi)行(xing)多(duo)個案例(li)。
再來很重要的一點是，由于邊緣端對功耗的敏感度和尺寸的大小是有比較嚴格的要求，而小封裝和低功耗恰好是Lattice FPGA的特點。Lattice的FPGA可以在網絡邊(bian)緣AI實現一毫瓦到低于一瓦的超(chao)低功耗。同時，Lattice FPGA內嵌了(le)很(hen)多安(an)全功能區域，具有很(hen)高的安(an)全性。
反過來，AI技術的(de)快速(su)創新對可(ke)編程邏輯器件FPGA來說(shuo)是有(you)(you)利的(de)，FPGA可(ke)以配(pei)合AI技術隨(sui)時為用戶提供(gong)最(zui)佳體驗。據Lattice亞太(tai)區資(zi)深(shen)市場開拓經理林國松(song)的(de)深(shen)一(yi)步解釋，近十年(nian)來AI模型快速(su)發展，從下(xia)圖中可(ke)以看到從2012年(nian)到2021年(nian)AI分類模型創新的(de)數量(liang)在逐年(nian)遞增。由于AI技術的(de)不(bu)斷創新，導致(zhi)不(bu)斷有(you)(you)新的(de)實現方式(shi)產(chan)生(sheng)。而(er)新的(de)實現方式(shi)的(de)產(chan)生(sheng)需(xu)要有(you)(you)更(geng)快的(de)硬件來實現，這(zhe)就(jiu)需(xu)要硬件和算法上的(de)優化。
對(dui)此，深諳(an)邊緣計算需(xu)求的Lattice，此次(ci)更新了(le)其低(di)功耗、AI/ML解決方(fang)案的最(zui)新路線(xian)圖(tu)。
發布SenseAI 4.1，AI與傳感器的融合
現在客戶端計算設備越來越需要快速響應和情景感知式的用戶體驗、高質量視頻會議和協作式應用。于是Lattice將其sensAITM與(yu)Nexus?這兩個解決方案集合在(zai)一起(qi)，發(fa)布了sensAI解決方案集合的(de)最新版本4.1，來幫助OEM廠商(shang)開發(fa)智能、實時在(zai)線(xian)、具有低功(gong)耗和硬件(jian)加速(su)AI功(gong)能的(de)設備。它支持萊(lai)迪(di)思基于AI的(de)應用路線(xian)圖。
本次新推出的sensAI 4.1會增加支持的器件是Lattice今年剛剛推出的Nexus系列產品CetusPro-NX器件。并對這個器件進行了優化，提升了CetusPro-NX的容量，同時計算的能力和功效也會提高，在這塊器件基礎上，Lattice推出了相對應的開發版，他們稱之為聲音和視覺機器學習版。也提供了支持這塊新芯片的(de)CNN Plus加速(su)器，以及(ji)相(xiang)對(dui)應的(de)sensAI Studio（后文(wen)有詳細介紹）。
sensAI 4.1將會提供三個參考設計，包括人員偵測、注意力追蹤和目標分類。同時，在智能家居、智慧城市、工廠、智能汽車(che)這些(xie)方面(mian)Lattice也都可(ke)以提(ti)供(gong)(gong)相對應的(de)設(she)計服(fu)務。Lattice一直使(shi)用(yong)的(de)訓練(lian)設(she)計的(de)方法是通過標準的(de)Caffe、TensorFlow、TensorFlowLite、Keras等常用(yong)培訓網絡培訓完之后，再交由Lattice提(ti)供(gong)(gong)的(de)神經網絡編譯器，編譯成相對應的(de)可(ke)執行指令(ling)，這些(xie)指令(ling)最終會由Lattice的(de)芯片調取使(shi)用(yong)。
林國松也介紹(shao)了Lattice在軟(ruan)硬件方(fang)(fang)(fang)面所進行(xing)的(de)(de)(de)(de)(de)優化(hua)(hua)方(fang)(fang)(fang)法(fa)。在硬件優化(hua)(hua)上，主(zhu)要(yao)是(shi)(shi)兩(liang)方(fang)(fang)(fang)面的(de)(de)(de)(de)(de)結(jie)合(he)，一(yi)個(ge)是(shi)(shi)把SenseAI組件通過FPGA的(de)(de)(de)(de)(de)設計(ji)工(gong)具，將Lattice Radiant和DIAMOND結(jie)合(he)之后，產(chan)生FPGA比特流。另一(yi)個(ge)是(shi)(shi)，把訓(xun)練(lian)后的(de)(de)(de)(de)(de)模型(xing)錄(lu)進神經(jing)網絡(luo)編(bian)譯器，這樣產(chan)生一(yi)個(ge)類似(si)于(yu)中央處理器的(de)(de)(de)(de)(de)功(gong)能，而后產(chan)生的(de)(de)(de)(de)(de)量化(hua)(hua)的(de)(de)(de)(de)(de)權重和指令(ling)更(geng)多指向(xiang)于(yu)執行(xing)的(de)(de)(de)(de)(de)代碼，這兩(liang)個(ge)結(jie)合(he)之后，最終產(chan)生機器學習的(de)(de)(de)(de)(de)框架。
在軟件設(she)計層面，為了便(bian)(bian)于大家開發設(she)計，Lattice專(zhuan)門提供了一個PROPEL的(de)(de)軟件，它能對整個內部(bu)結果(guo)進行類(lei)似(si)于C代(dai)碼的(de)(de)控制，而不是使(shi)用比較難以上(shang)手(shou)的(de)(de)FPGA的(de)(de)開發代(dai)碼，便(bian)(bian)于初學(xue)者能夠調用一些(xie)(xie)基(ji)本的(de)(de)指(zhi)令進行一些(xie)(xie)控制。具體設(she)計參看下(xia)圖，下(xia)圖中(zhong)左側更多(duo)指(zhi)的(de)(de)是Lattice的(de)(de)開發AI引擎的(de)(de)一些(xie)(xie)架構(gou)，包括機器(qi)學(xue)習引擎，以此能夠做視覺的(de)(de)收取，同時做軟核的(de)(de)控制。
Lattice還推(tui)(tui)(tui)出了(le)(le)(le)一款(kuan)易于使用(yong)(yong)(yong)的(de)工具(ju)sensAI Studio，這(zhe)(zhe)是一款(kuan)基(ji)于GUI的(de)工具(ju)，擁(yong)有(you)AI模(mo)型庫，經過配(pei)置和訓(xun)練(lian)可適用(yong)(yong)(yong)于各類主流(liu)應(ying)用(yong)(yong)(yong)場景(jing)。林國(guo)松解(jie)(jie)釋道，之所以(yi)推(tui)(tui)(tui)出這(zhe)(zhe)個Studio是因(yin)為我們收到(dao)了(le)(le)(le)很多關(guan)于配(pei)置機器學習培訓(xun)環(huan)境的(de)反饋，用(yong)(yong)(yong)戶在這(zhe)(zhe)方面會遇到(dao)一些(xie)難題，主要(yao)是由于這(zhe)(zhe)些(xie)培訓(xun)環(huan)境的(de)應(ying)用(yong)(yong)(yong)場景(jing)，應(ying)用(yong)(yong)(yong)軟(ruan)件更(geng)新的(de)非(fei)常快，有(you)可能(neng)幾天就會有(you)一次更(geng)新，所以(yi)軟(ruan)件和軟(ruan)件之間的(de)兼容性就很難解(jie)(jie)決。為了(le)(le)(le)解(jie)(jie)決這(zhe)(zhe)樣(yang)的(de)問題，Lattice特別推(tui)(tui)(tui)出了(le)(le)(le)Lattice sensAI Studio。
在(zai)具(ju)體的(de)(de)應用中，SenseAI 4.1可(ke)以(yi)(yi)(yi)以(yi)(yi)(yi)低(di)功耗追蹤多個目標，例(li)如其最新推出的(de)(de)CrossLink-NX，在(zai)分辨率為(wei)224×224×3色RGB的(de)(de)情況下(xia)，其速(su)度可(ke)以(yi)(yi)(yi)達到(dao)33fps，可(ke)以(yi)(yi)(yi)進行目標分類和追蹤多個目標，例(li)如在(zai)條形碼檢測、瑕疵(ci)檢測及機器(qi)人導航。值得(de)一提的(de)(de)是，CrossLink-NX這個器(qi)件本身(shen)是作為(wei)低(di)功耗的(de)(de)器(qi)件，是Lattice花了很(hen)大的(de)(de)力氣(qi)，專(zhuan)為(wei)網絡邊緣應用打造的(de)(de)。
SenseAI助力下一代PC體驗
現在PC已經成為大(da)家工作(zuo)和(he)生活中接觸時間最長的(de)電子工具之一。根據(ju)smartinsights的(de)調查，用(yong)戶習慣于在白天的(de)時候使用(yong)手提電腦，而(er)晚上更多(duo)是(shi)使用(yong)臺(tai)式電腦。而(er)Lattice也觀察(cha)到，下一代PC的(de)趨勢將(jiang)集中在智(zhi)能和(he)感知，強大(da)的(de)協作(zuo)能力和(he)輕薄的(de)外形三個方面。
Lattice sensAI的(de)智能(neng)和感(gan)知(zhi)AI解(jie)決方案提供了用(yong)戶檢測(ce)(ce)、注(zhu)意力追蹤(zong)、旁(pang)觀(guan)(guan)者(zhe)檢測(ce)(ce)及面部取景(jing)功能(neng)。具體來看(kan)，現在多數(shu)的(de)電(dian)腦(nao)都是(shi)以鼠(shu)標是(shi)否移(yi)動(dong)(dong)來判定用(yong)戶是(shi)否在使用(yong)電(dian)腦(nao)的(de)，如果鼠(shu)標長期(qi)未移(yi)動(dong)(dong)，電(dian)腦(nao)就會息屏。Lattice更高端的(de)用(yong)戶檢測(ce)(ce)，通過注(zhu)意力追蹤(zong)可以延(yan)長28%的(de)電(dian)池(chi)壽命，具體表現為在人接近電(dian)腦(nao)時(shi)自(zi)動(dong)(dong)開(kai)啟，并(bing)持續追蹤(zong)注(zhu)意力，在離開(kai)時(shi)自(zi)動(dong)(dong)鎖(suo)屏；旁(pang)觀(guan)(guan)者(zhe)檢測(ce)(ce)可以保(bao)護用(yong)戶隱私數(shu)據，而面部取景(jing)也是(shi)很多協作式會議所需的(de)場景(jing)。
可能很(hen)多(duo)人會(hui)(hui)擔(dan)心用(yong)戶(hu)(hu)(hu)隱私的(de)問題(ti)，這點林國(guo)松也做(zuo)出(chu)了解釋，sensAI是(shi)符合(he)道德(de)和合(he)理的(de)AI設計(ji)考(kao)量。使用(yong)Lattice sensAI可以(yi)不把圖(tu)像傳(chuan)給電(dian)腦，直接在硬(ying)件上處理。也就是(shi)通過Lattice sensAI只會(hui)(hui)傳(chuan)出(chu)一個(ge)結果，而不會(hui)(hui)傳(chuan)輸圖(tu)像，這樣的(de)話用(yong)戶(hu)(hu)(hu)的(de)肖(xiao)像權就不會(hui)(hui)受到侵害(hai)。同時Lattice sensAI也專注(zhu)于用(yong)戶(hu)(hu)(hu)體驗，針(zhen)對(dui)不同的(de)復(fu)雜場景進行壓力測試(shi)，包括(kuo)燈光，場景及用(yong)戶(hu)(hu)(hu)面部(bu)和頭部(bu)穿戴(dai)的(de)變化。
為了能夠讓Lattice這款(kuan)產品能夠在PC上得到落(luo)實，Lattice需要和OEM、芯片廠(chang)商、操作系統(tong)和軟件的(de)(de)(de)支(zhi)持(chi)，還需要傳(chuan)感(gan)器(qi)的(de)(de)(de)合作。在傳(chuan)感(gan)器(qi)方面，Lattice本身(shen)就與很多傳(chuan)感(gan)器(qi)廠(chang)商有(you)很好的(de)(de)(de)合作，可以保證(zheng)傳(chuan)感(gan)器(qi)輸出的(de)(de)(de)信息能夠和不(bu)同的(de)(de)(de)AP的(de)(de)(de)處理器(qi)進行(xing)很好的(de)(de)(de)互聯。
寫在最后
在FPGA這(zhe)(zhe)個市(shi)場上(shang)(shang)，Lattice一直穩(wen)扎穩(wen)打(da)，而且這(zhe)(zhe)幾(ji)年的攻(gong)勢(shi)愈發(fa)迅猛(meng)。可以看到，近(jin)幾(ji)年Lattice推出新(xin)器(qi)件的步伐明(ming)顯增快，差不多每年都(dou)會推出一款新(xin)器(qi)件，包(bao)括CrossLink-NX，Certus-NX這(zhe)(zhe)兩款都(dou)是去年推出的，Mach-NX、CertusPro-NX都(dou)是今年推的，明(ming)年上(shang)(shang)半年還會有新(xin)產(chan)品(pin)發(fa)布，同時后續的一系列產(chan)品(pin)都(dou)已經在細(xi)化中。
資訊來源：半(ban)導體行業觀察
