1994年(nian)，滾(gun)石(shi)樂(le)隊首次決定(ding)對他們(men)的(de)演唱會進行網絡直播，在滾(gun)石(shi)登場前(qian)的(de)半(ban)小時，處在不同城(cheng)市(shi)的(de)Severe Tire Damage(STD)樂(le)隊似乎(hu)是作為暖場嘉賓出現的(de)，他們(men)表(biao)演了20分鐘(zhong)，并且(qie)完成了很好的(de)直播音畫效果，自此被記錄為世界上第一支(zhi)現場音樂(le)流(liu)，有關(guan)實時音視頻(pin)技術(shu)的(de)迭(die)代(dai)與商業應用(yong)自此開啟(qi)。
如今隨著物聯網帶(dai)來巨(ju)大產(chan)業(ye)機遇，實時(shi)音(yin)視頻在解(jie)決“人與(yu)硬件設備”交流溝通方面同樣持續獲得成果，不同種類(lei)的音(yin)視頻智能硬件滲透(tou)到了人們生活的方方面面，并且它們仍(reng)在更新(xin)迭代，時(shi)刻刷新(xin)智能時(shi)代的產(chan)業(ye)面貌(mao)。
10月24-25日，RTE2023第九屆實時互聯網大會在北京隆重召開，其中25日上午舉行的IoT專場以「RTC+IoT構建萬物互聯互動底座」為主題，邀請了中國信通院汽車云工作組組長馬龍飛、聲網IoT行業產品總監馮曉東、賦之大產品線與業務負責人夏大偉、移遠通信云產品部高級產品經理方飛、聲網平行操控技術負責人張樂陶、低速無人駕駛聯盟秘書長李進科、馭勢戰略產品部負責人蔡堯、九號機器人自動駕駛與AI產品線負責人胡哲華等行業大咖出席并參與分享，分享主題涵蓋消費端智能家居、產業端平行操控兩大(da)領域，全面展現RTC與IoT融合的價值與魅力。
智能(neng)家居下(xia)半場 進入真(zhen)互動時代
隨(sui)著各類(lei)型的(de)音視頻硬(ying)件設(she)備(bei)充斥生活，聲(sheng)(sheng)網IoT行業產(chan)品總(zong)監馮(feng)曉東(dong)表示智(zhi)能硬(ying)件已進(jin)入真互(hu)動(dong)時(shi)代(dai)。在(zai)“人(ren)與物”的(de)互(hu)動(dong)形式基礎(chu)上，人(ren)們(men)對互(hu)動(dong)體驗的(de)要求變得更(geng)加豐富、更(geng)加細致，比如(ru)期待能隨(sui)時(shi)隨(sui)地、遠距離(li)、多(duo)(duo)角度、多(duo)(duo)人(ren)完成互(hu)動(dong);比如(ru)希望感受更(geng)低的(de)延遲、更(geng)高清(qing)的(de)畫面、更(geng)高保真/立體的(de)聲(sheng)(sheng)音。
在用戶(hu)需求(qiu)升(sheng)級的推動下，智(zhi)能(neng)家居場景的設備也呈現出普(pu)遍的進化(hua)方向，即通過增加(jia)攝像頭(tou)和屏(ping)幕(mu)來加(jia)強實時互動，最典(dian)型的是帶貓眼(yan)和屏(ping)幕(mu)的智(zhi)能(neng)門鎖廣受歡迎，其(qi)他(ta)品類(lei)如智(zhi)能(neng)手表、智(zhi)能(neng)音箱、智(zhi)能(neng)寵物喂食(shi)器等也都有增加(jia)攝像頭(tou)或屏(ping)幕(mu)的新(xin)品推向市(shi)場。
馮曉東介紹，過(guo)(guo)去硬(ying)件(jian)本(ben)身的(de)(de)(de)性能可(ke)能決(jue)定(ding)了用戶體驗的(de)(de)(de)上限(xian)，但聲網的(de)(de)(de)IoT解決(jue)方(fang)案(an)通過(guo)(guo)軟件(jian)算(suan)法打破(po)硬(ying)件(jian)上限(xian)，在不(bu)增(zeng)加硬(ying)件(jian)成本(ben)的(de)(de)(de)情況下，通過(guo)(guo)客戶端(duan)的(de)(de)(de)視(shi)頻增(zeng)強方(fang)式，基于深度學習的(de)(de)(de)自研超(chao)分算(suan)法，可(ke)以(yi)支持1.5倍、2倍、3倍的(de)(de)(de)移動端(duan)實時超(chao)分，幫(bang)助硬(ying)件(jian)從360P增(zeng)加到720P，提升(sheng)畫質清晰度。
不僅(jin)如(ru)此(ci)，聲(sheng)(sheng)網的多項音(yin)視(shi)頻(pin)黑科(ke)技不斷刷(shua)新用戶(hu)互動(dong)體(ti)(ti)驗天(tian)花板(ban)，有專(zhuan)為實(shi)時(shi)互動(dong)打造的自研高(gao)清(qing)(qing)語音(yin)引擎、視(shi)頻(pin)增強(qiang)策略、實(shi)時(shi)美聲(sheng)(sheng)算法、AI降噪和回聲(sheng)(sheng)消除能力等技術(shu)，讓(rang)用戶(hu)擁有更(geng)高(gao)保真、更(geng)趣(qu)味、更(geng)高(gao)清(qing)(qing)畫質的音(yin)視(shi)頻(pin)體(ti)(ti)驗。
在門(men)(men)鈴門(men)(men)鎖場景(jing)，聲網聯(lian)合(he)(he)信通院(yuan)泰爾實驗室聯(lian)合(he)(he)發布門(men)(men)鈴門(men)(men)鎖新標準，為品牌廠商提供(gong)了從定義(yi)體驗指標到(dao)測試(shi)體驗指標的參考依據。
此外，聲網(wang)的(de)IoT解決方案擁(yong)有顯著的(de)跨(kua)平臺互聯互通能力，包括對Linux、Android、Harmony、FreeRTOS、AliOS、LiteOS等各類型操作系(xi)統都完成了深度適配(pei)，以及(ji)支持與Native、Web、小程序、Amazon Alexa、Google Assistant的(de)互通。
用實時互動硬件設備 增強家庭情感(gan)連接
賦之科技選擇切入(ru)家庭機(ji)器人賽道也是因為時(shi)下技術、需求和場景的推(tui)動。
在(zai)這(zhe)之中(zhong)，由于全球(qiu)范(fan)圍內(nei)寵物數量上升(sheng)及整體(ti)消費能力升(sheng)級(ji)，賦之科技首先(xian)推出寵物守護機器人，目前憑EBO Air、EBO SE兩款成熟產品在(zai)全球(qiu)獲(huo)得35萬用(yong)戶(hu)(hu)，其中(zhong)近(jin)80% 的用(yong)戶(hu)(hu)為(wei)寵物主，剩余(yu)部(bu)分用(yong)戶(hu)(hu)使用(yong)該類產品滿足輕(qing)安(an)防需(xu)求。
另外，賦(fu)之科技也(ye)計劃把家庭(ting)機器人的服務(wu)場景擴大(da)到(dao)所有成員，因此推出了EBO X 綜合型(xing)家庭(ting)服務(wu)機器人，用戶包括老人、兒童(tong)、寵物等。
EBO X的功能(neng)包(bao)括三大類：1)安(an)全守護，支(zhi)持老人跌(die)倒提(ti)醒(xing)、嬰兒(er)/兒(er)童(tong)哭聲&呼(hu)救聲提(ti)醒(xing)、特定(ding)(ding)區域闖入提(ti)醒(xing)、定(ding)(ding)點&移動巡航安(an)防;2)溫暖陪伴，支(zhi)持遠程雙向實時(shi)通訊、多(duo)人共享登(deng)錄、私人智(zhi)能(neng)助理(li)、寵(chong)物陪玩(wan);3)娛(yu)樂酷玩(wan)，支(zhi)持哈曼(man)音(yin)質、豐富燈效、海(hai)量互聯網內容服務(wu)等。賦之(zhi)大產品線與業務(wu)負責人夏大偉(wei)表示：“在涉及產品音(yin)視頻通話能(neng)力(li)方面，聲網為(wei)賦之(zhi)科技提(ti)供了重要的經驗分(fen)享和技術支(zhi)撐。”
IoT+RTC 完整(zheng)解決(jue)方案將推動產業升(sheng)級(ji)
在智(zhi)能硬(ying)件(jian)(jian)誕(dan)生的過程中，為設備(bei)獲取(qu)通(tong)(tong)信(xin)(xin)能力都是必要的。此(ci)次大會上，移遠(yuan)通(tong)(tong)信(xin)(xin)云產(chan)(chan)品部高級產(chan)(chan)品經理方(fang)飛介紹了移遠(yuan)通(tong)(tong)信(xin)(xin)智(zhi)能模組產(chan)(chan)品已經滲透到大多數智(zhi)能硬(ying)件(jian)(jian)和智(zhi)能設備(bei)中，并同時為客戶提供(gong)開發者中心(IoTHub)、APP、SaaS垂(chui)直行業應用(yong)解決方(fang)案等(deng)一系列軟件(jian)(jian)服務，全方(fang)位幫助智(zhi)能硬(ying)件(jian)(jian)快速升級。
此外，方飛以移遠(yuan)(yuan)通信低功耗可(ke)視門鎖解決方案為例(li)，表(biao)示智能(neng)硬件的(de)完整功能(neng)構建需要(yao)(yao)IoT技術和RTC技術的(de)互相融合。方飛表(biao)示，該門鎖解決方案支持可(ke)視對講、遠(yuan)(yuan)程(cheng)開門、異常(chang)告警(jing)、低功耗、設備分享、設備管理、設備OTA、云存儲等，既需要(yao)(yao)移遠(yuan)(yuan)模組及移遠(yuan)(yuan)IoT基座能(neng)力(li)，也需要(yao)(yao)聲網專(zhuan)業(ye)的(de)全場景實(shi)時音視頻(pin)互動能(neng)力(li)。
應用(yong)在家居安防、戶外監控、在崗門(men)衛、商超看(kan)店、梯(ti)控對講(jiang)等其(qi)他(ta)場景，IoT結合RTC都將為(wei)智能硬件(jian)創造新的功能和體驗，IoT+RTC的融合范(fan)圍實則非常廣泛。
方(fang)飛形(xing)容(rong)：“如(ru)果我們把(ba)整個(ge)數字世界比作一個(ge)人，IoT是屬于(yu)人的(de)感(gan)官和認(ren)知，它(ta)去感(gan)知并連(lian)接(jie)物理世界;RTC就是關鍵環節中的(de)血(xue)脈和神經，通過(guo)實時(shi)高密度的(de)媒體數據來連(lian)接(jie)人和物理世界。”
RTC結(jie)合智能網(wang)聯汽(qi)車 以(yi)標準規范產業發展
除了智(zhi)能(neng)(neng)(neng)家居場景(jing)，本場大會(hui)的(de)(de)(de)另一主(zhu)題場景(jing)是平(ping)(ping)行(xing)操控。在提(ti)及(ji)與“車”相關的(de)(de)(de)話題時，中國信(xin)通(tong)院汽(qi)車云(yun)工(gong)作組組長馬龍飛表示汽(qi)車工(gong)業(ye)正在經歷(li)新四(si)化(hua)變(bian)革(電氣化(hua)、智(zhi)能(neng)(neng)(neng)化(hua)、網(wang)聯(lian)化(hua)、共(gong)享化(hua))，隨著自(zi)動駕駛技術的(de)(de)(de)不(bu)(bu)斷發(fa)展(zhan)(zhan)(zhan)以及(ji)云(yun)計算、5G等通(tong)信(xin)技術的(de)(de)(de)廣泛應用，智(zhi)能(neng)(neng)(neng)網(wang)聯(lian)汽(qi)車已經成為汽(qi)車行(xing)業(ye)的(de)(de)(de)重要發(fa)展(zhan)(zhan)(zhan)趨勢(shi)。隨著智(zhi)能(neng)(neng)(neng)網(wang)聯(lian)汽(qi)車行(xing)業(ye)的(de)(de)(de)快(kuai)速發(fa)展(zhan)(zhan)(zhan)，汽(qi)車云(yun)上遠(yuan)程(cheng)運(yun)維(wei)能(neng)(neng)(neng)力(li)的(de)(de)(de)需(xu)求(qiu)日益凸(tu)顯，各(ge)(ge)種遠(yuan)程(cheng)運(yun)維(wei)平(ping)(ping)臺如雨后春筍(sun)般涌現(xian)，但由于(yu)行(xing)業(ye)內缺乏統一的(de)(de)(de)標(biao)準，導(dao)致行(xing)業(ye)內大部分平(ping)(ping)臺在技術、能(neng)(neng)(neng)力(li)上存(cun)在較大差異，進而各(ge)(ge)大車廠遠(yuan)程(cheng)運(yun)維(wei)能(neng)(neng)(neng)力(li)參(can)差不(bu)(bu)齊，其(qi)安全(quan)性和可靠(kao)性也(ye)難以保(bao)障。
在此背景下，由信通院牽頭，聯合頭部(bu)整車廠、軟件開(kai)發商、解決方案商、學術產(chan)業共同(tong)參與的(de)《智能(neng)(neng)網(wang)聯汽(qi)車遠程運維能(neng)(neng)力總體要求》公開(kai)面世，《要求》分(fen)(fen)為(wei)功能(neng)(neng)性和保(bao)障(zhang)性兩大(da)部(bu)分(fen)(fen)，其中功能(neng)(neng)性的(de)包括車輛監測、遠程排障(zhang)遠程干能(neng)(neng)預三項能(neng)(neng)力，保(bao)障(zhang)性的(de)包括平臺管(guan)理(li)和安(an)全(quan)管(guan)理(li)兩項能(neng)(neng)力。
功能(neng)性(xing)能(neng)力(li)要求主要關注遠(yuan)程運維(wei)平臺直(zhi)接服(fu)務(wu)于(yu)終端用(yong)(yong)戶(hu)的(de)(de)能(neng)力(li)，包括讓用(yong)(yong)戶(hu)“隨時可(ke)看”的(de)(de)車輛監測能(neng)力(li)、讓用(yong)(yong)戶(hu)在(zai)“運營結束后可(ke)管”的(de)(de)遠(yuan)程排(pai)障(zhang)能(neng)力(li)和在(zai)“運營過程中可(ke)控”的(de)(de)遠(yuan)程干預能(neng)力(li)。
保(bao)障性(xing)能(neng)力要(yao)求則(ze)主要(yao)關注如何保(bao)障上述(shu)功(gong)能(neng)性(xing)能(neng)力可以(yi)在(zai)終端用(yong)戶的(de)基礎設(she)施中被安全地和可靠(kao)(kao)地使用(yong)，包(bao)括支撐運維服務運轉的(de)平臺基礎系統(tong)能(neng)力，保(bao)障運維功(gong)能(neng)模塊可靠(kao)(kao)高效運行的(de)平臺管(guan)理(li)能(neng)力，以(yi)及(ji)確保(bao)運維過(guo)程和數據安全的(de)安全管(guan)理(li)能(neng)力。
馬龍飛進(jin)一步表示，聲網(wang)(wang)在遠程(cheng)駕駛車輛的(de)功(gong)能和分(fen)級(ji)指(zhi)標等方面為《要求》做(zuo)出了貢獻，主(zhu)要有：1)通過(guo)回(hui)傳視頻查看現場實(shi)時(shi)畫(hua)面，并通過(guo)信令(ling)通道對車輛進(jin)行遠程(cheng)控制，以實(shi)現遠程(cheng)駕駛車輛的(de)功(gong)能;2)建立3級(ji)指(zhi)標，根據(ju)在弱網(wang)(wang)、延(yan)遲(chi)、卡頓率(lv)、畫(hua)質、車速、指(zhi)令(ling)延(yan)時(shi)等不同(tong)范圍，提供標準支持(chi)。
超低延時助力平行(xing)操(cao)控極致體驗
在現(xian)場，聲網平(ping)行操控技術(shu)負責人張樂(le)陶從低延時的技術(shu)層面，全方面講述了平(ping)行操控的意(yi)義(yi)、應用場景與創新方案。
平行操控，指遠(yuan)程操控，通過超(chao)低延時視頻(pin)傳輸技(ji)術結合(he)實時信令技(ji)術，遠(yuan)程操控遠(yuan)端的無人車或者機械設備,使用戶突破距離限制(zhi)，可以操作幾百甚(shen)至(zhi)上千公(gong)里外的設備。
目(mu)前，平行操控的應用場(chang)景集中在(zai)機(ji)(ji)場(chang)、港口(kou)、物流配送等應急接(jie)管場(chang)景;礦區、化(hua)工等高(gao)危(wei)/惡劣環(huan)境場(chang)景;以及云賽車、無人機(ji)(ji)、機(ji)(ji)器人操控等遠程(cheng)服務場(chang)景。運維形式(shi)基本是機(ji)(ji)器替代(dai)人在(zai)當時場(chang)景下高(gao)可靠、高(gao)穩定地完成部(bu)分或全部(bu)作(zuo)業。
聲網(wang)平行操(cao)(cao)控(kong)(kong)(kong)(kong)技術負責人張樂陶介紹，網(wang)絡的(de)差異(yi)性和多(duo)樣(yang)化給遠程駕駛和操(cao)(cao)控(kong)(kong)(kong)(kong)帶了(le)很大(da)的(de)挑戰(zhan)，為保證車輛的(de)安全(quan)運行，業務(wu)場景對(dui)音視頻的(de)延時需(xu)求較高。對(dui)此(ci)聲網(wang)的(de)平行操(cao)(cao)控(kong)(kong)(kong)(kong)解(jie)決(jue)方(fang)(fang)案(an)給出了(le)端(duan)到端(duan)的(de)全(quan)鏈(lian)路延時優化方(fang)(fang)案(an)，涵蓋了(le)設(she)備端(duan)的(de)深度適配(pei)、底(di)層傳輸大(da)網(wang)、操(cao)(cao)控(kong)(kong)(kong)(kong)端(duan)多(duo)端(duan)支持等全(quan)套解(jie)決(jue)方(fang)(fang)案(an)。
在(zai)設(she)備端(duan)(duan)，深度適配(pei)了Nvidia Jetson生(sheng)態，提供(gong)從采集、編碼到傳(chuan)輸全套(tao)功能，支持(chi)車(che)規級(ji)GMSL攝像頭的(de)(de)采集，支持(chi)超低延(yan)時(shi)信令。在(zai)操控端(duan)(duan)，基于Native深度優(you)化(hua)，提供(gong)主流(liu)終(zhong)端(duan)(duan)平臺(tai)的(de)(de)SDK。而依靠聲(sheng)網(wang)自研的(de)(de)SD-RTN傳(chuan)輸大網(wang)，能實現(xian)全球端(duan)(duan)到端(duan)(duan)延(yan)時(shi)中(zhong)位數76ms，能高質量保障遠程(cheng)操控過程(cheng)中(zhong)車(che)輛(liang)畫(hua)面的(de)(de)低延(yan)時(shi)傳(chuan)輸。此外，該解決方案(an)提供(gong)云端(duan)(duan)錄制(zhi)服務，支持(chi)記(ji)錄用戶(hu)每次遠程(cheng)遙控的(de)(de)全過程(cheng)并提供(gong)回看。在(zai)部署(shu)(shu)形式(shi)上(shang)，方案(an)支持(chi)公(gong)網(wang)和私有化(hua)部署(shu)(shu)兩種類型(xing)。
“聲網的平(ping)行(xing)操(cao)控(kong)方案，在大量(liang)實際(ji)常規場景下(xia)的性能表現為：在4G路測(ce)弱網環境，視(shi)頻(pin)端到端延時低至100ms，95分位(wei)數(shu)為180ms，充分滿足脫(tuo)困(kun)場景下(xia)延時不(bu)能高(gao)于200毫秒的行(xing)業要(yao)求(qiu)。”張樂陶介(jie)紹。
圓桌會議：平行操控如何助力無(wu)人車(che)體(ti)驗升級(ji)?
大會最后的圓(yuan)桌環節由低速無人駕駛聯盟秘書長(chang)李進科擔任主持(chi)，中國信通信院(yuan)汽(qi)車云工作(zuo)組組長(chang)馬龍飛、聲網IoT行業產品(pin)總(zong)監馮曉(xiao)東、馭勢戰略產品(pin)部負責人蔡堯、九號(hao)機器人自動駕駛與AI產品(pin)線負責人胡哲(zhe)華作(zuo)為嘉賓分享(xiang)了一系列前沿觀點和(he)實踐經(jing)驗。
馮曉東(dong)：“從我(wo)們的角(jiao)度來看(kan)，目(mu)前無人車體驗上(shang)最(zui)關注兩(liang)點要求，一是盡可能低時(shi)延獲取(qu)實(shi)(shi)時(shi)畫面，二是在弱網(wang)情況下也能做到實(shi)(shi)時(shi)傳輸。”
蔡(cai)堯：“在(zai)技(ji)術(shu)商業化過程中，除了平行駕駛(shi)技(ji)術(shu)和網絡(luo)條件(jian)，實際(ji)可(ke)能(neng)(neng)還會引入更多策(ce)略。比如在(zai)極端網絡(luo)條件(jian)下，系統(tong)有意識選擇(ze)特定的攝(she)像頭(tou)進行監控，關閉(bi)其他短時非必(bi)要的視頻流來減(jian)少帶寬;又(you)比如在(zai)車(che)端增加(jia)基(ji)礎的感(gan)知(zhi)和邊緣(yuan)計算能(neng)(neng)力，確保(bao)在(zai)網絡(luo)失效情況下也能(neng)(neng)保(bao)證基(ji)礎安全(quan)。”
馬龍飛(fei)：“無人駕駛場景的(de)落地首(shou)先是(shi)涉及到數(shu)據(ju)采集(ji)，目前(qian)行業內標準化的(de)動作和政策指導還(huan)(huan)不(bu)是(shi)特別完備，還(huan)(huan)需要做更好的(de)分級規范。”
胡(hu)哲華(hua)：“無人車(che)一定(ding)需要根(gen)據(ju)當地環境做很多本(ben)地化的工作，無論是氣(qi)候溫度、網絡基礎設施條件、社(she)會穩定(ding)狀況等(deng)，都(dou)可能會對無人車(che)的運(yun)行效(xiao)果產(chan)生影響。”
