隨著各類(lei)智(zhi)能終端(duan)的普(pu)及和網絡帶寬的持續提(ti)升(sheng)，音視頻技術(shu)已成為連接世界的關(guan)鍵橋梁。
在消(xiao)費互(hu)聯網(wang)側，據中(zhong)(zhong)國(guo)互(hu)聯網(wang)絡信息中(zhong)(zhong)心發(fa)布的第53次《中(zhong)(zhong)國(guo)互(hu)聯網(wang)絡發(fa)展狀(zhuang)況(kuang)統計(ji)報告(gao)》顯示，截至2023 年(nian)底，我國(guo)網(wang)絡視頻用戶規(gui)(gui)模為10.67 億人，占網(wang)民整體的97.7%，短視頻用戶規(gui)(gui)模為10.53 億人，占網(wang)民整體的96.4%，網(wang)絡直播用戶規(gui)(gui)模達8.16 億人，占網(wang)民整體的74.7%。
在物聯網側，2023年底，蜂窩物聯網終端用戶數達到23.32億，其中智慧零售和智慧家居的規模分別達到了4.54億和3.35億。IDC預測，智能家居及(ji)可穿戴(dai)設備是未來物聯網的(de)(de)主要增長(chang)點，預計2026年連接數量(liang)接近60億(yi)個(ge)。視覺(jue)作為(wei)智(zhi)能家居(ju)行業(ye)的(de)(de)核心端口(kou)，成為(wei)落地最(zui)快(kuai)、覆蓋度最(zui)高的(de)(de)主流(liu)設備。
螢石作為領先的物聯網云平臺提供商，在音視頻領域持續引領，以云服務為依托，驅動智能家居行業及以零售連鎖為代表的更多行業實現視覺智能應用升級，幫助企業客戶降本增效。
目前，螢石云在智慧(hui)連鎖、智慧(hui)建筑、教育教學、應急管理、醫療養老、娛樂(le)競技、智能制造(zao)等(deng)多個領域與優秀的開發者(zhe)(zhe)合作伙伴共(gong)同實現(xian)了一系列豐富(fu)的視覺應用解決方(fang)案。截至(zhi)2023年底(di)，螢石云已(yi)經(jing)擁有(you)超過1.57億(yi)全球消費者(zhe)(zhe)，31萬以上的開發者(zhe)(zhe)客(ke)戶(hu)，月活(huo)躍(yue)用戶(hu)超過5400萬，全球接入IoT設備數(shu)量(liang)達到2.5億(yi)以上。
隨著行(xing)業需求的不斷深化和(he)挑戰，螢石云也在不斷迭代和(he)提升其平臺(tai)開發能力。
螢石開放平臺(tai)再升級，以AI助力自助服務場(chang)景(jing)
作為螢石(shi)業務開(kai)展早期便采取開(kai)放服(fu)務模式(shi)的螢石(shi)開(kai)放平(ping)臺，一直在將沉淀(dian)、驗證的PaaS組件能(neng)力輸(shu)出(chu)給(gei)行(xing)業，促進行(xing)業解決方(fang)案(an)實現視頻化、智(zhi)能(neng)化。
目前，螢石云物聯(lian)網平臺(tai)已(yi)經(jing)實現南(nan)北(bei)(bei)向都開(kai)(kai)放，南(nan)向為設備制造商提供云接(jie)入能(neng)(neng)(neng)力，已(yi)經(jing)有超過10萬款(kuan)設備型號(hao)內(nei)置了螢石云協(xie)議。北(bei)(bei)向為行業開(kai)(kai)發者開(kai)(kai)放云上沉淀的物聯(lian)音視頻能(neng)(neng)(neng)力，去(qu)輔助開(kai)(kai)發者構建自己(ji)的行業解決方案。平臺(tai)已(yi)經(jing)累計(ji)(ji)發布了共計(ji)(ji)超過1000個(ge)開(kai)(kai)放接(jie)口，涉及接(jie)入、直播、通話、存儲、AI、信令和用戶連接(jie)7個(ge)類別，31組原(yuan)子能(neng)(neng)(neng)力，以及20多款(kuan)aPaaS場(chang)景化集成組件。
近年來，隨著音視頻技術的(de)不斷發展(zhan)和年輕一代(dai)對便捷(jie)自(zi)主消費(fei)(fei)方式的(de)偏好，使得(de)自(zi)助消費(fei)(fei)成為了(le)(le)一種趨勢，節省了(le)(le)消費(fei)(fei)者時間的(de)同時也幫助商家(jia)降低(di)了(le)(le)運營成本(ben)。
基于對客戶場景的觀察，螢石發現遠程化巡檢能力、及時響應的連線服務能力和低成本運維能力對于客戶物聯系統的支撐起到越來越關鍵的作用。
首(shou)先是遠(yuan)程化(hua)巡檢(jian)(jian)能力。隨著人(ren)工(gong)成(cheng)本越來(lai)越高，利用現場攝像機疊(die)加AI算法(fa)進行視頻巡檢(jian)(jian)，已經成(cheng)為一(yi)種趨勢。但是傳統的小模(mo)型(xing)算法(fa)誤報率較高，需(xu)要(yao)投入大量人(ren)工(gong)進行糾(jiu)偏，這樣一(yi)來(lai)，巡檢(jian)(jian)省下的人(ren)工(gong)成(cheng)本又(you)體現在(zai)了算法(fa)糾(jiu)偏上。
其次是(shi)及時響(xiang)應的(de)連線服務能力。真人語音和視頻化的(de)云店(dian)(dian)員方(fang)案(an)，正在代(dai)替(ti)過去線下店(dian)(dian)員提(ti)供給顧客的(de)及時反饋服務。在這種場景(jing)下，用戶體驗很大程度上取決于云店(dian)(dian)員的(de)智能程度。
最(zui)后(hou)是低成本(ben)運維(wei)能力。這主要體(ti)現為系統出現問題后(hou)，如(ru)何快(kuai)速恢(hui)復。通常，為了保障時效性，運維(wei)工作都(dou)交由本(ben)地化團隊(dui)，但是大(da)量物(wu)聯(lian)設備的應(ying)用(yong)，讓物(wu)聯(lian)系統的復雜度急劇上升，從而導致人工的學習成本(ben)急劇上升。
大模型技(ji)術的突破(po)，為(wei)應對上述(shu)問(wen)題、實現和升級(ji)相(xiang)關能(neng)力提(ti)供了良好契機。
6月27日，在以“AI達百業，視之所向”為主題的2024ECDC螢石云開發者大會上，螢石基于自研大模型(xing)技(ji)術(shu)對其開(kai)放(fang)平臺(tai)進行了重磅升級(ji)，推出(chu)了更優(you)的開(kai)發者集成方案，包括智(zhi)能視覺巡檢組(zu)件、智(zhi)能視頻(pin)客服組(zu)件，以(yi)及(ji)遠(yuan)程排(pai)障(zhang)專(zhuan)家(jia)工具，幫助企(qi)業快速升級(ji)智(zhi)能化(hua)能力(li)，保障(zhang)項目盡快上線。
智能視頻巡檢組件。為了提升遠程巡檢能力，螢石基于其自研大模型技術，對其智能視頻巡檢組件進行了升級。一方面，延續了端云一體化設計，保障了視頻輪換、內容抓取和存儲及算法執行的性能和靈活性。大模型則提升了準確度，也大幅降低了初始化訓練的樣本。借助知識蒸餾技術，可以不斷升級設備中的各種算法，實現持續進化，從而更好地控制長期使用成本。該組(zu)件適用于(yu)各種行業的遠程視頻巡(xun)檢場景，如臺球廳、收銀(yin)防(fang)飛單、餐飲(yin)規范治理及無(wu)人服務防(fang)糾(jiu)紛等。
智能視頻客服組件。通(tong)過自研大模型的(de)(de)(de)數字分身復刻(ke)能力和(he)大語(yu)言模型能力，可(ke)以實(shi)現全天候不(bu)間斷的(de)(de)(de)連線(xian)服(fu)務。通(tong)過這一組件，開發者還(huan)可(ke)以維護自己(ji)所處行業擅長(chang)的(de)(de)(de)營銷(xiao)服(fu)務相關語(yu)料，實(shi)現更加(jia)個性(xing)化的(de)(de)(de)服(fu)務。
遠程排障專家工具。該工具(ju)能(neng)(neng)夠主動(dong)收集(ji)設備的狀(zhuang)態和指標，及時(shi)發現潛在(zai)問題。還可以(yi)通過端云一體化的遠程手段(duan)實現問題定位和恢復(fu)。更重要的是，通過自研大(da)模型(xing)基于智能(neng)(neng)家(jia)居場景訓練的智能(neng)(neng)排(pai)障(zhang)服務專(zhuan)家(jia)模型(xing)，可以(yi)通過圖文、語音(yin)、視頻連線等形(xing)式(shi)為客戶提(ti)供排(pai)障(zhang)咨詢和幫助，大(da)幅提(ti)升了運維效率，降低了維護成本。
藍海大模型(xing)，讓音視頻開(kai)發工(gong)作更智能
此次螢石開放平臺升級背后的功臣，首推螢石自研的藍海大模型。藍海大模型是螢石自研的針對垂直物聯網場景的具身智能大模型，可以接入各類感知設備，處理和理解多模態數據，最終實現智能化的行動規劃。
螢石的AI技術策略旨在強化IoT與物理世界感知，構建具身大腦，實現多智能體端云聯動。根據復雜度對AI進行能力層級定義，從L0到L4，依次為專有算法、單模態交互、多模態交互、具身式交互以及具身智能體。
藍(lan)海大(da)模(mo)型具(ju)有以下特點：在(zai)開(kai)發(fa)開(kai)放方面，提(ti)供原子級(ji)算法，各層級(ji)能(neng)力可端云協同，大(da)模(mo)型私有化；在(zai)基礎(chu)交(jiao)互方面，支持IoT控制、語(yu)音(yin)問(wen)答(da)、多模(mo)態問(wen)答(da)、多模(mo)態生成等(deng)功能(neng)；在(zai)具(ju)身代理方面，提(ti)供開(kai)發(fa)助手、陪伴(ban)助手、會議助手、安防助手等(deng)多種智能(neng)應用。
螢(ying)石AI開放技術提供智能物(wu)聯場景百(bai)余種算(suan)法(fa)，包括29大類93種原子算(suan)法(fa)，涉(she)及數據(ju)治理(li)、音視(shi)頻(pin)處理(li)和模型部署；73種L0深度算(suan)法(fa)，涵(han)蓋文本(ben)、音頻(pin)和圖像視(shi)頻(pin)算(suan)法(fa)；26種L1-L3交(jiao)互算(suan)法(fa)，支持語音交(jiao)互、多模態交(jiao)互、圖像生成和具身代理(li)。螢(ying)石正在依照法(fa)律法(fa)規要求履行相關算(suan)法(fa)的(de)安全測評、備(bei)案等(deng)手續。
新(xin)一(yi)代(dai)HomePlay OS架構，提升大模(mo)型使用效率
為降低大模型的使用門檻，保持成本可控，螢石推出了新一代架構——HomePlay OS。該架構以提升用戶的生活和工作體驗為核心，專注于人、家庭及商業環境，提供智能代理和以視覺為核心的AI能力，使開發者能夠以快速、靈活、低成本的方式開發智能場景或應用。
首先，HomePlay OS采用(yong)(yong)AI核心，具備類比人類能(neng)(neng)力完(wan)成任務的特性，能(neng)(neng)夠感知、計算和(he)反饋(kui)，并通過用(yong)(yong)戶(hu)學(xue)習(xi)和(he)自我(wo)學(xue)習(xi)實現(xian)短(duan)期記憶(yi)與用(yong)(yong)戶(hu)交互。
其次，代(dai)理封裝(zhuang)功能使得開發者(zhe)更易(yi)于使用，通過代(dai)理角色(se)服(fu)務(wu)用戶，并封裝(zhuang)協調復雜(za)的模型和(he)服(fu)務(wu)交互(hu)。
再(zai)次，端云(yun)協同能(neng)夠(gou)更高效地完成任(ren)務，包括(kuo)初(chu)略和(he)(he)精細(xi)過(guo)濾模式、粗加工和(he)(he)精加工模式以(yi)及簡單和(he)(he)復雜規劃(hua)的結(jie)合。隱私(si)保護方面，系(xi)統(tong)通過(guo)數據(ju)(ju)端到端內容加密、訓練數據(ju)(ju)閉環受(shou)控和(he)(he)近(jin)場計算優先等措施，確保用戶(hu)數據(ju)(ju)的安全性(xing)和(he)(he)隱私(si)性(xing)。
最后(hou)，HomePlay OS強調(diao)全棧開(kai)放(fang)性，支(zhi)持多層(ceng)不同(tong)形式(shi)的開(kai)放(fang)性，包(bao)括算法(fa)開(kai)放(fang)、硬件接(jie)入、模型(xing)和服(fu)務組合，支(zhi)持開(kai)發專(zhuan)屬代理以及低門檻(jian)使用，滿足不同(tong)開(kai)發者的需(xu)求，促進創(chuang)新和發展。
落地案例(li)印(yin)證螢石開放平臺AI能力
以AI技術推動服務升級，最終的效果如何需要通過客戶體驗來判定。如果(guo)沒有用戶的(de)積極(ji)反(fan)饋和認(ren)可，所有的(de)技術創新(xin)都(dou)是(shi)一廂(xiang)情愿的(de)無效(xiao)努力。
談小娛是自(zi)助臺球(qiu)開創(chuang)者，已在(zai)(zai)全國布局300多(duo)(duo)個(ge)城(cheng)市，超過5000家門店，覆(fu)蓋用戶800多(duo)(duo)萬人，談小娛輕裝上陣，利用視(shi)覺(jue)(jue)能(neng)力，讓監控、運(yun)營(ying)、營(ying)銷等重人力環(huan)節高(gao)效釋放，持(chi)續為業(ye)務擴張(zhang)提供動(dong)(dong)力。基于螢石云服務能(neng)力，談小娛創(chuang)新性(xing)(xing)打造了(le)視(shi)頻內容(rong)生產和用戶直播功能(neng)，通過自(zi)動(dong)(dong)獲(huo)取(qu)精(jing)彩(cai)瞬間、低延時直播等方式，進一步放大臺球(qiu)在(zai)(zai)短視(shi)頻時代(dai)的(de)社(she)交屬性(xing)(xing)。雙(shuang)方在(zai)(zai)AI 應用上合作精(jing)進，已上線AI短視(shi)頻剪輯(ji)、AI視(shi)覺(jue)(jue)追蹤算法清臺、AI電(dian)子裁判及AI數據化運(yun)營(ying)等豐富的(de)運(yun)營(ying)、管理(li)方案。
酷店掌是(shi)專(zhuan)注于(yu)連鎖門店(dian)(dian)的(de)數字(zi)(zi)化運(yun)營(ying)服務商，合作終端店(dian)(dian)鋪150,000+，對(dui)傳統門店(dian)(dian)智(zhi)能化升級具備(bei)豐富的(de)實踐經(jing)(jing)驗。基(ji)于(yu)螢(ying)石云(yun)物聯底座，酷店(dian)(dian)掌(zhang)推出了(le)數字(zi)(zi)化門店(dian)(dian)運(yun)營(ying)變革方案(an)，新一代門店(dian)(dian)管(guan)理(li)已全面啟用數字(zi)(zi)化、可視化和AI 智(zhi)能化，涵蓋線上(shang)線下巡店(dian)(dian)、人員管(guan)理(li)、運(yun)營(ying)管(guan)理(li)、業務培訓、經(jing)(jing)營(ying)分析等(deng)維度(du)，不斷優(you)化門店(dian)(dian)降(jiang)本增(zeng)效的(de)新策略。24年，酷店(dian)(dian)掌(zhang)還進一步引入了(le)螢(ying)石物聯專(zhuan)有云(yun)服務，構建專(zhuan)屬的(de)視頻AIoT平臺，為自(zi)身業務不斷上(shang)漲(zhang)的(de)智(zhi)能設備(bei)管(guan)理(li)持續保(bao)駕(jia)護航。
通過與談小娛和酷店掌等領先企業的(de)(de)合作，螢(ying)石云(yun)不(bu)僅成功(gong)地將其AI能力(li)轉化為可見的(de)(de)業務(wu)成果，還(huan)通過這些合作伙伴(ban)的(de)(de)成功(gong)案例(li)，展示(shi)了AI技術在提高效率、優化成本(ben)和增(zeng)強用戶體驗方(fang)面的(de)(de)真實潛力(li)。
寫在最(zui)后(hou)
讓AI技術走出比特世界，通過與實體設備結合進而影響現實物理世界是AI技術發展的下一步。以螢石為代表的智能物聯及視覺技術服務企業，正依托于其扎實的業務基礎和對AI及行業未來趨勢的深刻理解，探索將AI技術與物聯網設備整合的新途徑。
基于(yu)藍海大模型和(he)(he)HomePlay OS架構支撐的螢石開(kai)放(fang)平臺，不僅為開(kai)發者提(ti)(ti)供了強大的工具和(he)(he)資源，也為終端用(yong)(yong)戶(hu)創造了更加智能和(he)(he)便捷的生(sheng)活方式。圍繞音視頻技(ji)(ji)術，螢石正在(zai)(zai)通過一(yi)系列從基礎算(suan)法到高級應(ying)用(yong)(yong)的技(ji)(ji)術迭(die)代，投(tou)身于(yu)一(yi)場(chang)旨在(zai)(zai)提(ti)(ti)升行業效率、增(zeng)強用(yong)(yong)戶(hu)體驗，并持(chi)續推動物聯網(wang)生(sheng)態(tai)創新(xin)的技(ji)(ji)術革命。
