近日，青(qing)云(yun)科(ke)技發布了青(qing)云(yun)大(da)數據(ju)工作臺，旨在通過整(zheng)合其完整(zheng)的數據(ju)產品和服務，為客戶提供一個一站(zhan)式(shi)智能大(da)數據(ju)開發與(yu)治理(li)平(ping)臺，打通大(da)數據(ju)全鏈路，盤活數據(ju)價值(zhi)。
上個月，在2022中國國際大數據產業博覽會上，工信部部長肖亞慶表示，“十三五”時期我國大數據產業年均復合增長率超過30%，2021年產業規模突破了1.3萬億元，大(da)數(shu)據產(chan)業鏈(lian)初步形成。大(da)數(shu)據應用從互聯網、金融、電信等(deng)領(ling)域(yu)逐(zhu)步向(xiang)智能制造、數(shu)字社會，數(shu)字政府等(deng)領(ling)域(yu)拓展，極大(da)豐富了我(wo)國數(shu)據資產(chan)，催生了一(yi)批新(xin)場景、新(xin)模式、新(xin)業態。
誠然，大數據不僅是推動AI、物聯網等技術應用的源頭活水，更是數字化時代的寶貴信息資產，其價值并不在于規模龐大的數據信息，而是在于對這些有意義的數據進行專業化處理。曾有人將數據比喻為蘊藏能量的煤礦，煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。類比來看，大數據的價值也并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shu)量更為重要。對于很多行業而言，如何利用(yong)這些大規模數(shu)據是贏得競爭的(de)關鍵。
打通鏈路 盤活價值
回顧國內大數據產業近年來的發展，自2015 年國務院正式印發《促進大數據發展行動綱要》起，其便已經正式上升到了國家戰略層面。在隨后的幾年中，伴隨新型智慧城市和(he)數字城市(shi)建設熱潮，各(ge)地與大數據(ju)(ju)和(he)數字經濟相關的園區加速落地，大數據(ju)(ju)產業規(gui)模也在持續增(zeng)長。
同時(shi)，隨著(zhu)AIoT、云時(shi)代的(de)來臨，越來越多的(de)企業意識(shi)到了大(da)數據(ju)的(de)重(zhong)要性。而在實際(ji)數據(ju)應用中，企業數據(ju)流鏈路(lu)(lu)中隱藏的(de)痛點逐(zhu)一(yi)(yi)顯現——數據(ju)鏈路(lu)(lu)冗長、各平臺間(jian)數據(ju)流轉不及時(shi)、大(da)數據(ju)使用門檻高等(deng)。換言(yan)之，如果沒有一(yi)(yi)套完整的(de)系統保證整條鏈路(lu)(lu)的(de)高效運(yun)轉，是很難保證最終(zhong)從數據(ju)中提煉出(chu)來有價(jia)值的(de)信息和知(zhi)識(shi)的(de)。
針對于此，青云科技發布了青云大數據工作臺，旨在通過(guo)整(zheng)合其(qi)完整(zheng)的數(shu)(shu)據(ju)(ju)產品(pin)和服(fu)務(wu)，為(wei)客戶提供(gong)一(yi)(yi)個一(yi)(yi)站式(shi)智能大(da)數(shu)(shu)據(ju)(ju)開發與治理平臺，打通大(da)數(shu)(shu)據(ju)(ju)全鏈路(lu)，盤活數(shu)(shu)據(ju)(ju)價值。
青云QingCloud 大數據產品經理劉雄風介紹，2014年(nian)-2018年(nian)，青云科技(ji)在廣度(du)上實現了(le)數(shu)據(ju)產品(pin)和服(fu)務(wu)(wu)的全覆蓋，2018年(nian)至今，青云科技(ji)在深度(du)上，對產品(pin)性能、服(fu)務(wu)(wu)質(zhi)量、服(fu)務(wu)(wu)范圍(wei)進行了(le)全方位提升。目前(qian)，青云科技(ji)已經推出了(le)近30款數(shu)據(ju)產品(pin)和服(fu)務(wu)(wu)，同時集(ji)成(cheng)優(you)秀(xiu)的合作伙伴應用，形成(cheng)了(le)包括數(shu)據(ju)庫(ku)與(yu)緩存、消息隊列與(yu)中間件、大數(shu)據(ju)服(fu)務(wu)(wu)、數(shu)據(ju)倉(cang)庫(ku)與(yu)BI、對象(xiang)存儲在內(nei)的數(shu)據(ju)產品(pin)生態。
同時，在(zai)(zai)其(qi)數據(ju)產品、服務與(yu)解決方(fang)案落地(di)應用過程中，青云(yun)科(ke)技了解到(dao)，客戶的(de)需求正在(zai)(zai)逐步升級——從最初的(de)“底層資(zi)源”問題(ti)，逐步進(jin)階到(dao)“數據(ju)層”問題(ti)，主要體現(xian)在(zai)(zai)數據(ju)開發和作(zuo)業運維調度、數據(ju)實時計算、數據(ju)同步等(deng)方(fang)面。所以(yi)，客戶需要能(neng)把數據(ju)價值盤活和利(li)用起(qi)來(lai)的(de)平臺。
基于客戶需(xu)求的升級，青云(yun)科技推出了青云(yun)大(da)數(shu)(shu)據(ju)工(gong)作臺，可以降低(di)大(da)數(shu)(shu)據(ju)使用門檻，將代(dai)碼開發降到最(zui)低(di)，讓非(fei)技術人(ren)員也能進行(xing)大(da)數(shu)(shu)據(ju)分(fen)析，實現數(shu)(shu)據(ju)在云(yun)平臺各產(chan)品之間快速流轉，支撐上層業務，消除(chu)企業“數(shu)(shu)據(ju)孤島”，實現數(shu)(shu)據(ju)的統一調度和計算，從(cong)而進一步幫助企業挖掘數(shu)(shu)據(ju)價值，提升整體的數(shu)(shu)據(ju)洞(dong)察能力(li)。
一站式智能大數據開發與治理平臺
目前，青云大數據工作臺已上線1.0版本，主要具備“數據集成、數據加工、統一數據存儲和服務”功能模(mo)塊(kuai)，從最底層(ceng)到(dao)最上層(ceng)分為(wei)五層(ceng)架構——云原生、全(quan)托管式(shi)計算引擎、全(quan)生命周期數(shu)據(ju)開發、高效的(de)數(shu)據(ju)同(tong)步服務、應(ying)對豐富的(de)業務場景(jing)。
具體到功能層面：
第一，數據上云：可(ke)以提(ti)供本地數據(ju)源上云(yun)(yun)服(fu)(fu)務，支持結構化、非結構化、半(ban)結構化的數據(ju)，可(ke)將數據(ju)安全地同步到云(yun)(yun)端(duan)，后續計(ji)算在云(yun)(yun)端(duan)完(wan)成，充分解(jie)放(fang)了(le)企業的服(fu)(fu)務器壓(ya)力。
第二，數據開發：在云(yun)上的(de)大數(shu)據(ju)開(kai)(kai)發環境(jing)，將數(shu)據(ju)進(jin)行加(jia)工(gong)，支持實時處(chu)(chu)理、離線批量(liang)處(chu)(chu)理。根據(ju)業務(wu)需求(qiu)，客戶(hu)還可(ke)以選擇“可(ke)視化(hua)算子拖拽、界面化(hua)SQL 開(kai)(kai)發、Jar 包(bao)提交”三種方式構建數(shu)據(ju)開(kai)(kai)發任務(wu)，滿足多(duo)維度的(de)開(kai)(kai)發者(zhe)的(de)任務(wu)構建。
第三，數據同步：將(jiang)處(chu)理完的結(jie)果(guo)數(shu)(shu)據(ju)(ju)，根據(ju)(ju)數(shu)(shu)據(ju)(ju)特性，存(cun)儲在(zai)不同的存(cun)儲介質中，以便使用。數(shu)(shu)據(ju)(ju)源(yuan)可(ke)以是消息隊列 Kafka、數(shu)(shu)據(ju)(ju)庫(ku)(ku) MySQL 等(deng)，目標數(shu)(shu)據(ju)(ju)源(yuan)可(ke)以是消息隊列 Kafka、數(shu)(shu)據(ju)(ju)庫(ku)(ku) MySQL、數(shu)(shu)據(ju)(ju)分析引擎 Elasticsearch等(deng)。
第四，作業運維調度：大(da)數(shu)據處理的(de)(de)核心(xin)是運行在 Flink 集群上的(de)(de)任(ren)(ren)務(wu)。青云(yun)大(da)數(shu)據工作(zuo)臺(tai)自主研發的(de)(de)調度和(he)任(ren)(ren)務(wu)管(guan)理模塊，可(ke)以同時根據任(ren)(ren)務(wu)維護和(he)資(zi)源分配維度分別(bie)監(jian)控，實時跟蹤(zong)計算(suan)資(zi)源飽和(he)度，提醒企業根據需求調整計算(suan)資(zi)源，助力(li)全流(liu)程(cheng)高并發處理。
第五，引擎資源管理：提(ti)供云端全(quan)托(tuo)管 Flink 集群，幾(ji)分鐘完成(cheng)計算集群部署；具備云原生彈性擴(kuo)容能力，節省資(zi)(zi)源，提(ti)高資(zi)(zi)源利(li)用率；提(ti)供細粒度(du)資(zi)(zi)源管控(kong)，最小(xiao)資(zi)(zi)源使用粒度(du)僅 0.5 CU，精細化資(zi)(zi)源管控(kong)；支持按量和包年包月計費，適配(pei)不同需求，價格低廉(lian)，安全(quan)穩定。
未來，青云(yun)大數(shu)據工作臺(tai)還(huan)將(jiang)持續迭代，聚焦(jiao)在數(shu)據治理、數(shu)據資產(chan)、優化體驗等層面。
基于完備的(de)架(jia)構與功能，青云大數(shu)據工作臺可以(yi)輕松應對中小型(xing)互聯(lian)網或移動互聯(lian)網客(ke)戶較為(wei)關心的(de)精(jing)細化(hua)運營分析場(chang)景(jing)、以(yi)智(zhi)慧工廠為(wei)代(dai)表的(de)實時(shi)計算場(chang)景(jing)、以(yi)科研數(shu)據為(wei)基礎(chu)的(de)可視化(hua)開發與運維場(chang)景(jing)以(yi)及(ji)構建數(shu)倉場(chang)景(jing)。
劉雄風指出，青(qing)云(yun)大(da)(da)(da)數(shu)據(ju)(ju)工(gong)(gong)作臺目前主要(yao)聚焦在以物聯網和工(gong)(gong)業大(da)(da)(da)數(shu)據(ju)(ju)為代表的(de)的(de)新(xin)興領(ling)(ling)域(yu)。其中，在工(gong)(gong)業領(ling)(ling)域(yu)，隨著不斷(duan)細密度的(de)政(zheng)策迭代，推動工(gong)(gong)業大(da)(da)(da)數(shu)據(ju)(ju)的(de)全面采集、工(gong)(gong)業設(she)備(bei)互聯互通速度加快(kuai)，青(qing)云(yun)科技將在物料能耗優(you)化、產線(xian)效(xiao)率(lv)分析(xi)(xi)、故障定位、出庫物流追(zhui)蹤、庫存(cun)優(you)化及產品(pin)質量追(zhui)溯等方(fang)面，進行大(da)(da)(da)數(shu)據(ju)(ju)的(de)深入實時分析(xi)(xi)、計算等。
值得一提的是，青云科技所提供的方案不局限于大數據工作臺的單一產品，而是與青云科技的KubeSphere容器平臺、IoT平臺形成合力，組建了“大數據工作臺+KubeSphere+IoT”三位一體的技術方案。
“青云大(da)數據工作(zuo)臺+KubeSphere+IoT”三位(wei)一(yi)體(ti)技術方案
在架構上，該方案的最上層是物聯網平臺，中間是大數據工作臺，最底層是容器平臺。首先，青云科技通過容器平臺進行資源的保障，提供按需使用、彈性伸縮、一鍵擴容、在線運維的功能保障；其次，大數據工作臺可以提供數據處理的能力，結合消息中間件、數據倉庫、數據服務等云原生的產品組件，從橫向數據流方面提供一站式的數據實時處理和輸出能力；最后，在(zai)物(wu)聯網(wang)層形(xing)成(cheng)“云、網(wang)、邊(bian)、端”統一管理(li)、統一數(shu)據采集和(he)統一邊(bian)緣控制。
如今，該方案已在不同領域實現了成熟落地。以某行業領先的工業自動化測試設備與整線系統解決方案提供商為例，其數(shu)(shu)據源涵蓋多個維度(du)，生產數(shu)(shu)據包括機加(jia)工設(she)備(bei)、物聯網(wang)系統(tong)中的(de)SMT設(she)備(bei)和AGV設(she)備(bei)、立庫等，未來還計劃引進(jin)質(zhi)量監測設(she)備(bei)；運(yun)(yun)營數(shu)(shu)據則包括了水電(dian)氣、空(kong)調供暖、給排(pai)水、門(men)閘(zha)、溫濕(shi)度(du)以及各(ge)類樓(lou)宇(yu)/園區的(de)運(yun)(yun)營信息。所以，客戶需(xu)要(yao)統(tong)一(yi)的(de)數(shu)(shu)據接收和存儲、統(tong)一(yi)的(de)數(shu)(shu)據API服務，需(xu)要(yao)建設(she)統(tong)一(yi)的(de)“物聯網(wang)+大數(shu)(shu)據”平(ping)臺。
該方案則可以(yi)應對(dui)這(zhe)一難題，由IoT平臺進行(xing)“云、網、邊、端”的數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)源統(tong)一控制，客戶(hu)可以(yi)將數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)通過消息(xi)中間件進行(xing)統(tong)一傳(chuan)輸，傳(chuan)輸到(dao)大數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)工作臺上再做原始(shi)(shi)庫(ku)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)集成的操作。數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)存儲(chu)(chu)到(dao)原始(shi)(shi)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)庫(ku)后，客戶(hu)可將原始(shi)(shi)庫(ku)單獨對(dui)外提(ti)供數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)權限(xian)、數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)存儲(chu)(chu)和(he)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)查(cha)詢服務。對(dui)于原始(shi)(shi)庫(ku)存儲(chu)(chu)的數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)，客戶(hu)還能(neng)進行(xing)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)的二次加(jia)工，形成最(zui)終結(jie)果庫(ku)，結(jie)果庫(ku)同樣可以(yi)對(dui)外提(ti)供數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)權限(xian)、數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)存儲(chu)(chu)和(he)數(shu)(shu)(shu)據(ju)(ju)(ju)(ju)查(cha)詢的服務。
結語
AIoT時代下，數(shu)(shu)據的(de)重(zhong)要性無需(xu)(xu)贅(zhui)述，而其價值絕不僅僅是(shi)停留在(zai)(zai)量級，而是(shi)隱藏在(zai)(zai)應(ying)用之(zhi)(zhi)中。也(ye)正因如此，越來越多的(de)企(qi)業(ye)開(kai)始(shi)重(zhong)視業(ye)務與運營之(zhi)(zhi)中的(de)大(da)數(shu)(shu)據管理、應(ying)用，客戶(hu)需(xu)(xu)求更加明確——“客戶(hu)需(xu)(xu)要端到(dao)端的(de)全(quan)鏈路解(jie)決方案(an)，而不是(shi)簡單地堆(dui)積一些大(da)數(shu)(shu)據產(chan)品組件”。換言之(zhi)(zhi)，構建高效的(de)數(shu)(shu)據流鏈路才能進一步挖掘數(shu)(shu)據流背后的(de)實際(ji)價值。青云大(da)數(shu)(shu)據工作臺的(de)出現(xian)，無疑(yi)全(quan)面滿足了這一需(xu)(xu)求，激活企(qi)業(ye)數(shu)(shu)據資(zi)產(chan)，釋(shi)放數(shu)(shu)據價值。
