隨著各類智(zhi)能終端(duan)的普及和網絡帶(dai)寬的持續提升，音視頻技術已成為連接世界(jie)的關(guan)鍵橋梁。
在消費互(hu)聯網(wang)(wang)側(ce)，據(ju)中(zhong)國(guo)互(hu)聯網(wang)(wang)絡信息中(zhong)心發布(bu)的第53次《中(zhong)國(guo)互(hu)聯網(wang)(wang)絡發展狀況(kuang)統計(ji)報告》顯示，截至(zhi)2023 年底，我(wo)國(guo)網(wang)(wang)絡視(shi)頻用戶規模(mo)為10.67 億(yi)人(ren)，占網(wang)(wang)民整(zheng)體的97.7%，短視(shi)頻用戶規模(mo)為10.53 億(yi)人(ren)，占網(wang)(wang)民整(zheng)體的96.4%，網(wang)(wang)絡直(zhi)播用戶規模(mo)達8.16 億(yi)人(ren)，占網(wang)(wang)民整(zheng)體的74.7%。
在物聯網側，2023年底，蜂窩物聯網終端用戶數達到23.32億，其中智慧零售和智慧家居的規模分別達到了4.54億和3.35億。IDC預測，智能家居及可(ke)穿戴設備是未(wei)來物聯網的(de)主要增長點(dian)，預計(ji)2026年連接數量接近60億個。視(shi)覺作為智能家居行業的(de)核心端口，成為落地最(zui)快、覆蓋度最(zui)高的(de)主流(liu)設備。
螢石作為領先的物聯網云平臺提供商，在音視頻領域持續引領，以云服務為依托，驅動智能家居行業及以零售連鎖為代表的更多行業實現視覺智能應用升級，幫助企業客戶降本增效。
目前，螢(ying)石云在(zai)智慧連鎖(suo)、智慧建筑、教育教學、應(ying)(ying)急管理(li)、醫療養老、娛樂競(jing)技(ji)、智能制造等多個領(ling)域(yu)與優秀的開發者合(he)作伙伴共(gong)同(tong)實(shi)現(xian)了一系列豐富的視覺應(ying)(ying)用解決(jue)方案。截至2023年底，螢(ying)石云已經(jing)擁有超過(guo)1.57億(yi)全(quan)球消(xiao)費者，31萬以上(shang)的開發者客戶，月活躍用戶超過(guo)5400萬，全(quan)球接入IoT設備(bei)數量達到2.5億(yi)以上(shang)。
隨著行業需求的(de)不(bu)斷(duan)深化(hua)和挑(tiao)戰，螢石(shi)云也在不(bu)斷(duan)迭代和提升其平臺開發能力。
螢(ying)石開(kai)放平臺(tai)再升級，以AI助力自(zi)助服務(wu)場景
作(zuo)為(wei)螢(ying)石(shi)業(ye)務開展早期便采取開放服務模(mo)式的螢(ying)石(shi)開放平臺，一直在將沉淀、驗證的PaaS組件能力輸出給行業(ye)，促進行業(ye)解決(jue)方(fang)案實現視頻化(hua)、智能化(hua)。
目前，螢(ying)石云物聯(lian)網平臺已經實(shi)現南北(bei)向都(dou)開(kai)放，南向為設(she)備制造商提供云接(jie)入(ru)能力(li)，已經有超過10萬款設(she)備型號內(nei)置(zhi)了(le)螢(ying)石云協議。北(bei)向為行業(ye)開(kai)發者開(kai)放云上沉淀的(de)物聯(lian)音視頻能力(li)，去輔助開(kai)發者構建自己(ji)的(de)行業(ye)解(jie)決方案。平臺已經累計發布(bu)了(le)共計超過1000個(ge)開(kai)放接(jie)口，涉及接(jie)入(ru)、直(zhi)播、通話、存(cun)儲(chu)、AI、信令和用(yong)戶連接(jie)7個(ge)類(lei)別，31組(zu)原(yuan)子能力(li)，以(yi)及20多款aPaaS場景化集成(cheng)組(zu)件。
近年(nian)來，隨著音視頻(pin)技(ji)術的不斷發展和年(nian)輕一(yi)代(dai)對便(bian)捷自主消費(fei)方式的偏好(hao)，使得自助消費(fei)成為了(le)一(yi)種趨(qu)勢(shi)，節省(sheng)了(le)消費(fei)者時(shi)間的同時(shi)也幫助商(shang)家降低了(le)運營成本。
基于對客戶場景的觀察，螢石發現遠程化巡檢能力、及時響應的連線服務能力和低成本運維能力對于客戶物聯系統的支撐起到越來越關鍵的作用。
首先是遠(yuan)程化巡(xun)(xun)檢能(neng)力。隨著人工成(cheng)(cheng)本越(yue)來(lai)越(yue)高，利用現(xian)場攝像機(ji)疊加AI算法(fa)進(jin)行(xing)視(shi)頻巡(xun)(xun)檢，已經成(cheng)(cheng)為一種趨勢。但是傳統的小模型算法(fa)誤報率較高，需要投入大量人工進(jin)行(xing)糾偏，這樣一來(lai)，巡(xun)(xun)檢省(sheng)下(xia)的人工成(cheng)(cheng)本又體(ti)現(xian)在了(le)算法(fa)糾偏上。
其次是(shi)及時響應(ying)的(de)(de)連線(xian)(xian)服務(wu)能力。真人語(yu)音和視頻化的(de)(de)云店(dian)員方(fang)案，正在(zai)代(dai)替過去線(xian)(xian)下(xia)店(dian)員提供給(gei)顧客(ke)的(de)(de)及時反(fan)饋服務(wu)。在(zai)這種(zhong)場(chang)景下(xia)，用(yong)戶體驗(yan)很大程度上(shang)取決(jue)于云店(dian)員的(de)(de)智能程度。
最后是低成本運維能力。這主(zhu)要體(ti)現為(wei)(wei)系(xi)統(tong)出現問題后，如何快(kuai)速恢(hui)復。通常，為(wei)(wei)了(le)保障(zhang)時效(xiao)性(xing)，運維工作都交由本地化(hua)團(tuan)隊，但是大量物聯(lian)設備的(de)應用，讓物聯(lian)系(xi)統(tong)的(de)復雜(za)度急(ji)(ji)劇上(shang)升(sheng)，從而(er)導致人工的(de)學習成本急(ji)(ji)劇上(shang)升(sheng)。
大(da)模型技(ji)術的(de)突破，為應對上述問(wen)題、實現和升級相關能力提供(gong)了良(liang)好契機。
6月27日，在以“AI達百業，視之所向”為主題的2024ECDC螢石云開發者大會上，螢石基于自(zi)研大模型技術對其(qi)開放平臺進(jin)行(xing)了重磅升級，推出了更優的開發者集成(cheng)方(fang)案，包括智(zhi)能(neng)視覺巡檢組件、智(zhi)能(neng)視頻(pin)客服組件，以(yi)及(ji)遠(yuan)程排障(zhang)專(zhuan)家工具，幫助(zhu)企業快(kuai)速升級智(zhi)能(neng)化能(neng)力，保障(zhang)項目盡快(kuai)上線。
智能視頻巡檢組件。為了提升遠程巡檢能力，螢石基于其自研大模型技術，對其智能視頻巡檢組件進行了升級。一方面，延續了端云一體化設計，保障了視頻輪換、內容抓取和存儲及算法執行的性能和靈活性。大模型則提升了準確度，也大幅降低了初始化訓練的樣本。借助知識蒸餾技術，可以不斷升級設備中的各種算法，實現持續進化，從而更好地控制長期使用成本。該(gai)組(zu)件適用于各(ge)種行業的遠程視頻(pin)巡檢場景，如臺球(qiu)廳、收銀防飛單、餐飲(yin)規(gui)范治(zhi)理(li)及無人服務防糾紛等(deng)。
智能視頻客服組件。通過自研大模(mo)型(xing)的數字(zi)分(fen)身復刻能(neng)力和大語言(yan)模(mo)型(xing)能(neng)力，可(ke)以實(shi)現全天候不間斷的連(lian)線服務。通過這一(yi)組件，開發(fa)者(zhe)還可(ke)以維護自己所處行業擅長的營銷服務相關語料，實(shi)現更加(jia)個性化(hua)的服務。
遠程排障專家工具。該(gai)工(gong)具(ju)能夠主動收集設備的(de)(de)狀態和指標，及時發現潛在問(wen)題。還可以通過(guo)端云(yun)一體化的(de)(de)遠程手段(duan)實現問(wen)題定(ding)位和恢復。更(geng)重要的(de)(de)是，通過(guo)自研大模型(xing)基于智能家(jia)居場景訓練的(de)(de)智能排障(zhang)服務專家(jia)模型(xing)，可以通過(guo)圖(tu)文(wen)、語音、視(shi)頻連線等形式為客(ke)戶提供(gong)排障(zhang)咨詢和幫助，大幅提升了運維效率，降(jiang)低了維護成本。
藍海大模型，讓音視頻開發工作更智能
此次螢石開放平臺升級背后的功臣，首推螢石自研的藍海大模型。藍海大模型是螢石自研的針對垂直物聯網場景的具身智能大模型，可以接入各類感知設備，處理和理解多模態數據，最終實現智能化的行動規劃。
螢石的AI技術策略旨在強化IoT與物理世界感知，構建具身大腦，實現多智能體端云聯動。根據復雜度對AI進行能力層級定義，從L0到L4，依次為專有算法、單模態交互、多模態交互、具身式交互以及具身智能體。
藍海大(da)模型具(ju)有以下特點(dian)：在開發開放(fang)方面，提供原子(zi)級算法，各層級能(neng)力可(ke)端云(yun)協同，大(da)模型私有化(hua)；在基礎交(jiao)互方面，支持(chi)IoT控制、語音問答(da)、多模態(tai)問答(da)、多模態(tai)生成等功能(neng)；在具(ju)身代理方面，提供開發助(zhu)(zhu)手(shou)(shou)、陪伴(ban)助(zhu)(zhu)手(shou)(shou)、會議助(zhu)(zhu)手(shou)(shou)、安(an)防助(zhu)(zhu)手(shou)(shou)等多種智能(neng)應用。
螢石(shi)AI開放技術提供智能(neng)物聯(lian)場景百余種算(suan)(suan)(suan)(suan)法(fa)，包括(kuo)29大類93種原子算(suan)(suan)(suan)(suan)法(fa)，涉及數據治理(li)(li)、音視頻(pin)處理(li)(li)和(he)模型部署；73種L0深(shen)度算(suan)(suan)(suan)(suan)法(fa)，涵(han)蓋文(wen)本、音頻(pin)和(he)圖像(xiang)視頻(pin)算(suan)(suan)(suan)(suan)法(fa)；26種L1-L3交(jiao)互(hu)算(suan)(suan)(suan)(suan)法(fa)，支持語(yu)音交(jiao)互(hu)、多模態(tai)交(jiao)互(hu)、圖像(xiang)生(sheng)成和(he)具身(shen)代理(li)(li)。螢石(shi)正在依照法(fa)律法(fa)規要求(qiu)履(lv)行相(xiang)關(guan)算(suan)(suan)(suan)(suan)法(fa)的(de)安(an)全測評、備案等手(shou)續。
新一代HomePlay OS架(jia)構，提(ti)升大模型使(shi)用效(xiao)率
為降低大模型的使用門檻，保持成本可控，螢石推出了新一代架構——HomePlay OS。該架構以提升用戶的生活和工作體驗為核心，專注于人、家庭及商業環境，提供智能代理和以視覺為核心的AI能力，使開發者能夠以快速、靈活、低成本的方式開發智能場景或應用。
首先，HomePlay OS采用AI核心，具備類(lei)比人類(lei)能(neng)力完(wan)成任務(wu)的特性，能(neng)夠感知(zhi)、計算和反饋，并通過用戶(hu)學(xue)習和自我學(xue)習實現短期記憶與用戶(hu)交互。
其次，代理封裝功能使得開發者更易(yi)于使用(yong)，通過代理角色服務用(yong)戶，并封裝協(xie)調復(fu)雜的(de)模型(xing)和服務交(jiao)互。
再次，端云協同能夠更高效地完成任務，包括初略(lve)和(he)精(jing)細過(guo)濾(lv)模式、粗加(jia)工和(he)精(jing)加(jia)工模式以及簡單和(he)復(fu)雜規劃(hua)的結合。隱(yin)私(si)保(bao)護方(fang)面，系統(tong)通過(guo)數據(ju)(ju)端到端內容加(jia)密(mi)、訓練數據(ju)(ju)閉環受控和(he)近場計(ji)算優先(xian)等(deng)措施，確保(bao)用戶數據(ju)(ju)的安全(quan)性和(he)隱(yin)私(si)性。
最后(hou)，HomePlay OS強調全棧開放(fang)性，支(zhi)持多層(ceng)不(bu)同形式的開放(fang)性，包(bao)括(kuo)算(suan)法開放(fang)、硬(ying)件接入(ru)、模型和服(fu)務組合，支(zhi)持開發專(zhuan)屬代理以及低(di)門檻使用，滿足不(bu)同開發者的需求，促(cu)進創(chuang)新和發展(zhan)。
落地案例印證(zheng)螢石開放平(ping)臺AI能力
以AI技術推動服務升級，最終的效果如何需要通過客戶體驗來判定。如(ru)果沒有(you)用戶的積極反(fan)饋和認可，所有(you)的技術(shu)創新都是(shi)一(yi)廂情愿的無(wu)效努力(li)。
談小娛是自助臺(tai)球開創者，已在(zai)全國布局(ju)300多個城市，超過(guo)(guo)5000家門(men)店，覆(fu)蓋用(yong)戶800多萬人，談小娛輕(qing)裝(zhuang)上(shang)陣，利用(yong)視(shi)覺能力(li)，讓監控、運(yun)營、營銷等(deng)重人力(li)環(huan)節(jie)高效(xiao)釋放(fang)，持續為業(ye)務擴張提供動力(li)。基于螢石(shi)云服務能力(li)，談小娛創新(xin)性(xing)打造了視(shi)頻內容生產和用(yong)戶直(zhi)播(bo)功能，通過(guo)(guo)自動獲取(qu)精彩瞬間、低延(yan)時直(zhi)播(bo)等(deng)方式，進(jin)(jin)一(yi)步放(fang)大(da)臺(tai)球在(zai)短視(shi)頻時代(dai)的社交屬性(xing)。雙方在(zai)AI 應用(yong)上(shang)合作精進(jin)(jin)，已上(shang)線AI短視(shi)頻剪(jian)輯、AI視(shi)覺追(zhui)蹤算法清臺(tai)、AI電(dian)子裁判及AI數(shu)據化運(yun)營等(deng)豐富的運(yun)營、管理方案。
酷店掌是專(zhuan)注于連鎖門店(dian)的(de)數(shu)字(zi)化(hua)(hua)運(yun)營(ying)服務(wu)商，合作終端店(dian)鋪(pu)150,000+，對傳(chuan)統(tong)門店(dian)智(zhi)能化(hua)(hua)升級具備豐富的(de)實踐經驗。基于螢(ying)(ying)石(shi)云物聯底座，酷店(dian)掌推(tui)出了數(shu)字(zi)化(hua)(hua)門店(dian)運(yun)營(ying)變革方案，新一代門店(dian)管(guan)(guan)理已全面啟用數(shu)字(zi)化(hua)(hua)、可視化(hua)(hua)和AI 智(zhi)能化(hua)(hua)，涵(han)蓋線上線下巡店(dian)、人(ren)員管(guan)(guan)理、運(yun)營(ying)管(guan)(guan)理、業務(wu)培訓、經營(ying)分析等維度(du)，不斷優化(hua)(hua)門店(dian)降(jiang)本增效的(de)新策略。24年，酷店(dian)掌還進一步引入了螢(ying)(ying)石(shi)物聯專(zhuan)有(you)云服務(wu)，構建專(zhuan)屬的(de)視頻AIoT平臺，為自(zi)身業務(wu)不斷上漲的(de)智(zhi)能設備管(guan)(guan)理持續保駕護航。
通過(guo)與談(tan)小娛和酷(ku)店掌等(deng)領先企業(ye)的合作，螢(ying)石云不僅(jin)成(cheng)(cheng)(cheng)功地(di)將其AI能力(li)轉化為可(ke)見的業(ye)務成(cheng)(cheng)(cheng)果，還通過(guo)這(zhe)些(xie)合作伙伴的成(cheng)(cheng)(cheng)功案(an)例(li)，展示了AI技術在提高效(xiao)率、優(you)化成(cheng)(cheng)(cheng)本(ben)和增強用(yong)戶體驗方面的真(zhen)實(shi)潛力(li)。
寫在(zai)最后
讓AI技術走出比特世界，通過與實體設備結合進而影響現實物理世界是AI技術發展的下一步。以螢石為代表的智能物聯及視覺技術服務企業，正依托于其扎實的業務基礎和對AI及行業未來趨勢的深刻理解，探索將AI技術與物聯網設備整合的新途徑。
基(ji)于(yu)藍海大模型和HomePlay OS架構支(zhi)撐的螢石(shi)開放平(ping)臺(tai)，不僅為開發者提(ti)供(gong)了強大的工具(ju)和資源(yuan)，也(ye)為終(zhong)端用戶(hu)創(chuang)(chuang)造(zao)了更加智能和便(bian)捷(jie)的生(sheng)活方式(shi)。圍繞音(yin)視頻技術(shu)，螢石(shi)正在通過一系列從基(ji)礎算法(fa)到(dao)高級應用的技術(shu)迭代(dai)，投(tou)身于(yu)一場旨(zhi)在提(ti)升行業效率(lv)、增強用戶(hu)體(ti)驗，并持續推動(dong)物(wu)聯網生(sheng)態創(chuang)(chuang)新的技術(shu)革命。
