作為連接物、人和信息資源的智能系統，物聯網實現了對物理和虛擬世界信息的處理，伴隨著 5G 技術的成熟，物聯網正在快速發展并滲透到我們衣食住行的各個方面，給我們的生活帶來智能和便捷。
為了幫助更(geng)多開發者朋友了解與(yu)智(zhi)能物聯(lian)網有關的前沿技(ji)術(shu)(shu)干貨，4 月 23 日，以“智(zhi)能物聯(lian)網”為主題的百度技(ji)術(shu)(shu)沙(sha)龍(long)第(di) 98 期(qi)再次如約而至。
本(ben)次，我們邀(yao)請到了(le)(le)百(bai)度智(zhi)(zhi)能云物聯(lian)(lian)網(wang)主(zhu)任(ren)架構師李(li)樂丁、百(bai)度智(zhi)(zhi)能云物聯(lian)(lian)網(wang)高(gao)級產品(pin)(pin)經(jing)(jing)理徐偉、百(bai)度智(zhi)(zhi)能云物聯(lian)(lian)網(wang)虛擬(ni)現(xian)實技術負(fu)責人(ren)柴學智(zhi)(zhi)以(yi)及百(bai)度智(zhi)(zhi)能云物聯(lian)(lian)網(wang)產品(pin)(pin)經(jing)(jing)理杜凱，四位(wei)老師分別圍繞物聯(lian)(lian)網(wang)技術發(fa)表了(le)(le)主(zhu)題分享。除此以(yi)外(wai)，百(bai)度智(zhi)(zhi)能邊緣高(gao)級開發(fa)工(gong)程師趙(zhao)鑫、百(bai)度高(gao)級研(yan)發(fa)工(gong)程師袁振(zhen)坤以(yi)及百(bai)度智(zhi)(zhi)能云物聯(lian)(lian)網(wang)部資深研(yan)發(fa)工(gong)程師陳高(gao)飛，還(huan)結合實際產品(pin)(pin)帶領開發(fa)者一同(tong)進行(xing)實操演練。
智能物聯網的技術發展和應用實踐
開場時，百度智能(neng)云物(wu)聯(lian)網主(zhu)任架構(gou)師李樂丁(ding)首先分享了百度天(tian)工(gong) AloT 平(ping)臺的(de)應(ying)用(yong)發展(zhan)和(he)實踐。同時介紹了天(tian)工(gong) AIoT 平(ping)臺可提供(gong)完善易(yi)用(yong)的(de)物(wu)聯(lian)網基礎(chu)設施(shi)，進(jin)一(yi)步完善智能(neng)物(wu)聯(lian)網應(ying)具備(bei)的(de)三大特點，第(di)一(yi)是(shi)(shi)連接(jie)(jie)萬物(wu)，通(tong)過物(wu)聯(lian)網平(ping)臺跨越時空(kong)多維(wei)度，連接(jie)(jie)設備(bei)、數(shu)據與算力(li)(li)；第(di)二是(shi)(shi)對話萬物(wu)，提供(gong)領先的(de)視覺、語音、數(shu)據等服務，賦予萬物(wu)對話的(de)能(neng)力(li)(li)；第(di)三是(shi)(shi)智慧(hui)萬物(wu)，基于前沿的(de) AI 技術及海(hai)量數(shu)據，打造行(xing)業智慧(hui)應(ying)用(yong)，助力(li)(li)行(xing)業升級。
端(duan)邊云全面智(zhi)能(neng)(neng)化的(de)天工 AIoT 平臺，具(ju)有專業(ye)可靠(kao)的(de)設備管理、數(shu)據管理、時空交互、視覺分(fen)析、語音語義理解(jie)能(neng)(neng)力，為企業(ye)提供完(wan)整(zheng)價值鏈路。活(huo)動中，樂丁(ding)老師(shi)分(fen)別從(cong)視覺智(zhi)能(neng)(neng)、數(shu)據智(zhi)能(neng)(neng)、語音語義智(zhi)能(neng)(neng)三個角度解(jie)讀了(le)天工 AIoT 平臺的(de)核心技術。
視覺智能與百度視覺部門深度合作，提供了視覺一體終端設備、深度相機、巡檢機器人等一系列視覺中間件；數據智能可以幫助大家獲取各種數據分析模型，比如能源數據分析模型、設備分析模型、運行數據分析模型以及技術優化等，同時我們也提供創建新的模型訓練平臺，可以將物聯網原始數據進行整理和分析，獲取到一些高級策略；語音智能提供了鴻鵠的高級語音芯片，幫助我(wo)們直接構建智能的終端設備。基(ji)于這些(xie)中間件設備，我(wo)們在供熱(re)、電力、燃(ran)氣、應急、工(gong)業、物流、園區、環保、醫療、家居等(deng)各場(chang)景中都提供了綜合的服務(wu)方(fang)案。
物聯網邊緣計算與視覺智能技術
主題分享
來(lai)自百度(du)智能云的物(wu)聯網高級(ji)產品(pin)經理徐(xu)偉，在開(kai)(kai)場時(shi)引用(yong)了一(yi)組(zu)數(shu)據，據介紹，根據百度(du)和(he)波(bo)士頓(dun)咨詢的聯合調研(yan)可以看到(dao)：市場上(shang)定制(zhi)化 AI 需求占比(bi)達(da)到(dao) 86%；近三(san)年來(lai)，百度(du) AI 開(kai)(kai)放平臺定制(zhi)化模(mo)型(xing)(xing)(xing)增長超過(guo) 6 倍；同時(shi)，一(yi)份來(lai)自邊(bian)緣計算產業研(yan)究報告的數(shu)據顯(xian)示，物(wu)聯網數(shu)據在邊(bian)緣側處理占比(bi)達(da)到(dao) 45%；AI 模(mo)型(xing)(xing)(xing)邊(bian)緣部署場景比(bi)例超過(guo) 50%。由此我們可以得出一(yi)個初步結論，定制(zhi)化 AI 模(mo)型(xing)(xing)(xing)越來(lai)越多，同時(shi) AI 模(mo)型(xing)(xing)(xing)邊(bian)緣部署場景也屢創新高。
徐偉還針對 AIoT 視(shi)覺(jue)智(zhi)能(neng)(neng)整(zheng)體技(ji)術架構(gou)(gou)做了(le)介紹，百(bai)度(du)提(ti)(ti)供面向不同用(yong)戶的(de)(de)(de) AI 開(kai)發平臺(tai)，EasyDL 是零門檻 AI 開(kai)發平臺(tai)，平臺(tai)可(ke)以(yi)覆蓋圖像、視(shi)頻、文本、語音、OCR、結構(gou)(gou)化數據、商(shang)品檢測等(deng)七大方向的(de)(de)(de)數據來(lai)源，通過(guo)零代碼的(de)(de)(de)交互方式，能(neng)(neng)夠產出(chu)可(ke)以(yi)部(bu)署在公(gong)有云(yun)、設備端(duan) SDK、軟硬一(yi)體和本地服務(wu)器等(deng)多種不同方式下的(de)(de)(de)靈活的(de)(de)(de)部(bu)署包(bao)；BML 是面向算(suan)法工(gong)(gong)程師(shi)的(de)(de)(de)全功能(neng)(neng) AI 開(kai)發平臺(tai)，提(ti)(ti)供了(le)從數據采集、數據清洗、數據擴充、數據標注、模型構(gou)(gou)建到(dao)模型管(guan)理、云(yun)端(duan)及(ji)離線(xian)推(tui)理服務(wu)管(guan)理等(deng) AI 開(kai)發過(guo)程的(de)(de)(de)全生命周(zhou)期(qi)管(guan)理功能(neng)(neng)。在完成模型開(kai)發以(yi)后，百(bai)度(du)提(ti)(ti)供的(de)(de)(de) EasyEdge 模型轉化工(gong)(gong)具可(ke)以(yi)讓云(yun)端(duan)模型適配邊緣異構(gou)(gou)設備，最(zui)終通過(guo)百(bai)度(du)天工(gong)(gong) AIoT 智(zhi)能(neng)(neng)邊緣平臺(tai)的(de)(de)(de)應用(yong)管(guan)理、應用(yong)編排(pai)和應用(yong)部(bu)署能(neng)(neng)力來(lai)打通視(shi)覺(jue)智(zhi)能(neng)(neng)交付的(de)(de)(de)最(zui)后一(yi)公(gong)里。
天工智能邊緣 AI 視頻推斷實戰演練
為了(le)加(jia)深開(kai)發(fa)者朋友們的(de)體驗，百(bai)度(du)智能邊緣(yuan)高級(ji)開(kai)發(fa)工程師趙鑫(xin)現場帶領大家進行了(le)實戰演(yan)練。
在演(yan)練之前，他首先(xian)給我(wo)(wo)們(men)假設了一個場(chang)景：如果(guo)需(xu)要把(ba)(ba)一個應(ying)(ying)用(yong)(yong)(yong)部(bu)署到(dao)(dao)設備(bei)上(shang)(shang)，我(wo)(wo)們(men)需(xu)要怎(zen)么(me)做(zuo)？常規(gui)來看，可以把(ba)(ba)應(ying)(ying)用(yong)(yong)(yong)在設備(bei)上(shang)(shang)進(jin)(jin)行安裝，如果(guo)應(ying)(ying)用(yong)(yong)(yong)有更新(xin)需(xu)求，就(jiu)重新(xin)進(jin)(jin)行安裝、部(bu)署、更新(xin)以及啟動。但如果(guo)是一個路邊的(de)智(zhi)能設備(bei)，我(wo)(wo)們(men)不方便手動地(di)把(ba)(ba)應(ying)(ying)用(yong)(yong)(yong)進(jin)(jin)行復制，那我(wo)(wo)們(men)需(xu)要考慮(lv)什么(me)事呢？這時就(jiu)需(xu)要引入一個云端(duan)和控制臺(tai)的(de)概(gai)念，只(zhi)需(xu)要把(ba)(ba)應(ying)(ying)用(yong)(yong)(yong)提交到(dao)(dao)云端(duan)控制臺(tai)，控制臺(tai)發(fa)給后方的(de)服務，服務于端(duan)上(shang)(shang)構(gou)建一條連接(jie)，就(jiu)可以實現應(ying)(ying)用(yong)(yong)(yong)的(de)遠程下發(fa)。
這便(bian)是邊緣計(ji)算核心的(de)(de)工作流(liu)程：完成端(duan)上狀態(tai)的(de)(de)上報(bao)，以及云端(duan)遠程應用的(de)(de)下發、更新(xin)、部署能力。在(zai)介紹完邊緣計(ji)算的(de)(de)基(ji)礎概(gai)念以及基(ji)本模(mo)塊(kuai)的(de)(de)使用方法后，趙鑫帶領開發者朋友進行了實(shi)操演練。
虛擬現實核心技術剖析與實踐
主題分享
百(bai)度智(zhi)能云物聯網虛(xu)擬(ni)(ni)現(xian)實(shi)(shi)技(ji)(ji)術(shu)負責人(ren)柴(chai)學(xue)智(zhi)通過虛(xu)擬(ni)(ni)現(xian)實(shi)(shi)技(ji)(ji)術(shu)發展史及(ji)趨勢(shi)、虛(xu)擬(ni)(ni)現(xian)實(shi)(shi)核心技(ji)(ji)術(shu)要素剖析及(ji)百(bai)度 VR 產(chan)品(pin)技(ji)(ji)術(shu)實(shi)(shi)踐三個(ge)部分(fen)介(jie)紹了虛(xu)擬(ni)(ni)現(xian)實(shi)(shi)技(ji)(ji)術(shu)。
虛擬現實(shi)產(chan)業的(de)(de)(de)本質(zhi)是(shi) VR 內(nei)(nei)容(rong)的(de)(de)(de)生產(chan)和消(xiao)費。基于此(ci)，虛擬現實(shi)的(de)(de)(de)三大核心技(ji)術包括數據(ju)三維化、交(jiao)互(hu)多(duo)人化以及(ji)渲染云端化。在這(zhe)個(ge)業務模式下，柴學智還介紹了(le)百度(du) VR 整體技(ji)術框架的(de)(de)(de)三個(ge)顯著(zhu)特點(dian)：首先是(shi)能(neng)力開放，VR 整體技(ji)術架構(gou)背(bei)靠(kao)百度(du)智能(neng)云與百度(du)大腦，在點(dian)直播(bo)、云 VR、多(duo)人互(hu)動、三維重建、VR 編輯、內(nei)(nei)容(rong)交(jiao)互(hu)場景(jing)下，有著(zhu)行業領先的(de)(de)(de)技(ji)術積(ji)累(lei)；其次是(shi)平(ping)(ping)臺通用，我們夯實(shi)了(le) VR 內(nei)(nei)容(rong)平(ping)(ping)臺的(de)(de)(de)全(quan)平(ping)(ping)臺屬(shu)性(xing)，讓 VR 內(nei)(nei)容(rong)的(de)(de)(de)生產(chan)更(geng)(geng)加(jia)便利高效，讓 VR 內(nei)(nei)容(rong)的(de)(de)(de)消(xiao)費通路更(geng)(geng)加(jia)順暢(chang)；最后是(shi)場景(jing)豐富(fu)，依靠(kao)豐富(fu)的(de)(de)(de)產(chan)品矩陣和深厚的(de)(de)(de)技(ji)術沉(chen)淀，百度(du) VR 團隊在教育、營(ying)銷(xiao)、政企、工業等(deng)諸多(duo)方(fang)向，為電商、廣告(gao)、會展、黨建等(deng)場景(jing)擴(kuo)展了(le)新(xin)的(de)(de)(de)價(jia)值與用戶(hu)體驗。
百度 VR Suite（VR 開發者套件）實戰
在(zai)全面地了解百(bai)度 VR 技(ji)術(shu)以后，來自百(bai)度的(de)高(gao)級研發工程師袁振坤又(you)結合(he)實操演練，為開發者們深入介(jie)紹了百(bai)度 VR Suite 在(zai)虛(xu)擬(ni)現實領域的(de)技(ji)術(shu)生態以及它的(de)實現和應用實踐。
據他介(jie)紹，百(bai)度 VR Suite 是百(bai)度 VR 核心的(de)技術(shu)套件(jian)，是一(yi)種渲染(ran)與(yu)展示 VR 內容的(de)技術(shu) SDK；可以渲染(ran) 3D 環物(wu)、3D 模型、全景圖(tu)、全景視頻、景深漫游等多(duo)(duo)種品(pin)類，應用于(yu) VR 電商、VR 看房(fang)、VR 看車等多(duo)(duo)個領域，解決跨平臺(tai)支持(chi)、多(duo)(duo)品(pin)類渲染(ran)的(de)難點，助力(li)開發者實現全平臺(tai)、全內容、高性能地展示與(yu)管理 VR 內容。
鴻鵠芯片及語音語義一體化
主題分享
百度(du)智能云物聯網產(chan)品(pin)經理杜凱介紹了(le)度(du)家語(yu)音語(yu)義平臺架(jia)構采用了(le)端(duan)到端(duan)的設計分為鴻鵠芯片、語(yu)音技術(shu)以及語(yu)義解析(xi)三部分，同時(shi)，度(du)家平臺也會接入(ru)百度(du)天工 AIoT 平臺進行設備管理和數據處理。
在硬件方面，鴻鵠語音芯片是專門為智能家居和車載語音交(jiao)互場景(jing)設計的遠場語音交(jiao)互芯片，具有遠場陣列信號實(shi)時(shi)處理(li)、高精度超(chao)低誤報語音喚醒、離(li)線語音識別(bie)、低功(gong)耗等核心能力；在產(chan)品方案設計方面，它可以支持安卓、Linux 系統(tong)等不同平(ping)臺；在語義(yi)能力方面，度家(jia)語音語義(yi)平(ping)臺除了(le)可以提(ti)供(gong)智能問答、天(tian)氣(qi)、笑話(hua)、翻(fan)譯等功(gong)能，還特別(bie)針對控制類需求設計開發了(le)一套(tao)物(wu)模(mo)型的產(chan)品。
實戰演練
學習了理論(lun)知識(shi)，百度智(zhi)能云物聯網部(bu)資深研發工程(cheng)師陳高飛，基于鴻(hong)鵠(hu)芯片(pian)帶領開發者朋友做了一個實(shi)戰(zhan)演練。用戶(hu)通(tong)過購買度家(jia)語(yu)(yu)音語(yu)(yu)義一體(ti)化服務以及鴻(hong)鵠(hu)芯片(pian)開發板后，便可跟隨實(shi)戰(zhan)演練的步驟，感受端云一體(ti)化的演示實(shi)例。
