近日，青云科(ke)技發布了青云大數(shu)據(ju)工作(zuo)臺(tai)，旨在通過整合(he)其完整的數(shu)據(ju)產(chan)品和服務，為客戶提(ti)供一(yi)個一(yi)站式(shi)智(zhi)能大數(shu)據(ju)開發與治理平臺(tai)，打通大數(shu)據(ju)全鏈路，盤活(huo)數(shu)據(ju)價值。
上個月，在2022中國國際大數據產業博覽會上，工信部部長肖亞慶表示，“十三五”時期我國大數據產業年均復合增長率超過30%，2021年產業規模突破了1.3萬億元，大數據產(chan)業鏈初(chu)步形成。大數據應用從(cong)互聯(lian)網、金(jin)融、電信等領域逐步向(xiang)智能制(zhi)造、數字社會，數字政(zheng)府等領域拓(tuo)展，極大豐富了我國數據資產(chan)，催生(sheng)了一批新場景、新模(mo)式、新業態(tai)。
誠然，大數據不僅是推動AI、物聯網等技術應用的源頭活水，更是數字化時代的寶貴信息資產，其價值并不在于規模龐大的數據信息，而是在于對這些有意義的數據進行專業化處理。曾有人將數據比喻為蘊藏能量的煤礦，煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。類比來看，大數據的價值也并不在“大”，而在于“有用”。價(jia)值含量、挖掘成本比數量更為重要(yao)。對于很多行業而言，如何利用這些(xie)大(da)規模(mo)數據是(shi)贏得(de)競爭的關(guan)鍵。
打通鏈路 盤活價值
回顧國內大數據產業近年來的發展，自2015 年國務院正式印發《促進大數據發展行動綱要》起，其便已經正式上升到了國家戰略層面。在隨后的幾年中，伴隨新型智慧城市和(he)數(shu)字城市建設熱(re)潮(chao)，各地(di)與大數(shu)據和(he)數(shu)字經(jing)濟(ji)相關的園(yuan)區加速落(luo)地(di)，大數(shu)據產業規(gui)模也在持續增長。
同時，隨(sui)著AIoT、云時代的(de)(de)來臨，越來越多(duo)的(de)(de)企業意識到了(le)大數(shu)據(ju)(ju)的(de)(de)重要性。而在(zai)實際數(shu)據(ju)(ju)應(ying)用中，企業數(shu)據(ju)(ju)流鏈(lian)(lian)路(lu)中隱藏的(de)(de)痛點逐(zhu)一(yi)顯現(xian)——數(shu)據(ju)(ju)鏈(lian)(lian)路(lu)冗(rong)長、各平臺(tai)間數(shu)據(ju)(ju)流轉不及時、大數(shu)據(ju)(ju)使用門檻高等(deng)。換言之，如(ru)果沒有一(yi)套(tao)完整的(de)(de)系統保證整條鏈(lian)(lian)路(lu)的(de)(de)高效運轉，是很難(nan)保證最終從數(shu)據(ju)(ju)中提煉出(chu)來有價(jia)值的(de)(de)信(xin)息和(he)知識的(de)(de)。
針對于此，青云科技發布了青云大數據工作臺，旨(zhi)在通過整(zheng)(zheng)合其(qi)完整(zheng)(zheng)的數(shu)據產品和服(fu)務，為客戶(hu)提供一(yi)個一(yi)站式智能大數(shu)據開(kai)發與治理平(ping)臺，打通大數(shu)據全鏈路(lu)，盤活數(shu)據價值(zhi)。
青云QingCloud 大數據產品經理劉雄風介紹(shao)，2014年-2018年，青(qing)云科技(ji)在(zai)(zai)廣度(du)上(shang)實現了(le)(le)數(shu)據(ju)(ju)產(chan)品和服(fu)務的全覆蓋，2018年至今，青(qing)云科技(ji)在(zai)(zai)深(shen)度(du)上(shang)，對產(chan)品性能、服(fu)務質(zhi)量、服(fu)務范圍進行了(le)(le)全方位提升。目前，青(qing)云科技(ji)已(yi)經推出了(le)(le)近30款數(shu)據(ju)(ju)產(chan)品和服(fu)務，同時集成優秀的合(he)作伙伴應用，形成了(le)(le)包括數(shu)據(ju)(ju)庫(ku)與緩存、消(xiao)息隊(dui)列(lie)與中間件、大數(shu)據(ju)(ju)服(fu)務、數(shu)據(ju)(ju)倉庫(ku)與BI、對象存儲(chu)在(zai)(zai)內的數(shu)據(ju)(ju)產(chan)品生態。
同時(shi)，在其(qi)數(shu)據(ju)產品、服務與解決方案(an)落(luo)地應用過(guo)程(cheng)中，青云(yun)科(ke)技了解到，客(ke)戶的(de)需求正在逐步(bu)升級——從最初(chu)的(de)“底層資源”問題，逐步(bu)進(jin)階到“數(shu)據(ju)層”問題，主要(yao)體現(xian)在數(shu)據(ju)開發和作業運維調度、數(shu)據(ju)實時(shi)計算、數(shu)據(ju)同步(bu)等方面(mian)。所(suo)以(yi)，客(ke)戶需要(yao)能(neng)把數(shu)據(ju)價值(zhi)盤活(huo)和利用起(qi)來的(de)平(ping)臺。
基于客戶需求的(de)升級，青(qing)云(yun)科技推出(chu)了青(qing)云(yun)大數(shu)據(ju)(ju)工作臺(tai)，可以降(jiang)低大數(shu)據(ju)(ju)使用門檻，將代(dai)碼(ma)開發(fa)降(jiang)到最低，讓非技術(shu)人(ren)員(yuan)也能進行(xing)大數(shu)據(ju)(ju)分析(xi)，實(shi)現(xian)數(shu)據(ju)(ju)在云(yun)平(ping)臺(tai)各(ge)產品之間快速流(liu)轉，支撐上層業(ye)(ye)務(wu)，消除企業(ye)(ye)“數(shu)據(ju)(ju)孤島”，實(shi)現(xian)數(shu)據(ju)(ju)的(de)統一調度和計算(suan)，從而(er)進一步幫助(zhu)企業(ye)(ye)挖掘(jue)數(shu)據(ju)(ju)價值，提升整(zheng)體的(de)數(shu)據(ju)(ju)洞察能力。
一站式智能大數據開發與治理平臺
目前，青云大數據工作臺已上線1.0版本，主要具備“數據集成、數據加工、統一數據存儲和服務”功能(neng)模塊，從最底層到(dao)最上層分為(wei)五(wu)層架構——云(yun)原生、全托(tuo)管式(shi)計算(suan)引擎、全生命周(zhou)期(qi)數據(ju)開發、高效的數據(ju)同步服務、應對豐(feng)富(fu)的業務場景(jing)。
具體到功能層面：
第一，數據上云：可以提供本地數據(ju)源上云服(fu)務(wu)，支(zhi)持結構(gou)化、非結構(gou)化、半結構(gou)化的數據(ju)，可將(jiang)數據(ju)安全地同步到云端(duan)，后續(xu)計算在云端(duan)完(wan)成(cheng)，充分解(jie)放了企(qi)業的服(fu)務(wu)器壓力。
第二，數據開發：在云上(shang)的(de)(de)大數據(ju)開(kai)(kai)發(fa)環境，將數據(ju)進(jin)行加工，支持實時處理、離線批量處理。根據(ju)業(ye)務(wu)需求，客戶還可(ke)以選擇“可(ke)視化(hua)算子拖拽、界面(mian)化(hua)SQL 開(kai)(kai)發(fa)、Jar 包(bao)提交”三(san)種方(fang)式構(gou)建(jian)數據(ju)開(kai)(kai)發(fa)任務(wu)，滿足多維度的(de)(de)開(kai)(kai)發(fa)者的(de)(de)任務(wu)構(gou)建(jian)。
第三，數據同步：將處理完的結果數(shu)(shu)(shu)據(ju)(ju)，根據(ju)(ju)數(shu)(shu)(shu)據(ju)(ju)特性(xing)，存(cun)(cun)儲(chu)在不同的存(cun)(cun)儲(chu)介(jie)質中(zhong)，以(yi)便使用。數(shu)(shu)(shu)據(ju)(ju)源可以(yi)是(shi)消(xiao)息(xi)隊(dui)列(lie) Kafka、數(shu)(shu)(shu)據(ju)(ju)庫(ku) MySQL 等，目(mu)標數(shu)(shu)(shu)據(ju)(ju)源可以(yi)是(shi)消(xiao)息(xi)隊(dui)列(lie) Kafka、數(shu)(shu)(shu)據(ju)(ju)庫(ku) MySQL、數(shu)(shu)(shu)據(ju)(ju)分析引擎(qing) Elasticsearch等。
第四，作業運維調度：大(da)數(shu)據(ju)處(chu)理的(de)核心是運行(xing)在 Flink 集(ji)群上(shang)的(de)任務(wu)。青(qing)云大(da)數(shu)據(ju)工作臺自(zi)主研發的(de)調度和任務(wu)管(guan)理模塊(kuai)，可以(yi)同時根(gen)據(ju)任務(wu)維護和資源(yuan)分(fen)配維度分(fen)別監控(kong)，實時跟(gen)蹤(zong)計算(suan)資源(yuan)飽和度，提醒企業(ye)根(gen)據(ju)需求調整計算(suan)資源(yuan)，助力全流程高并(bing)發處(chu)理。
第五，引擎資源管理：提(ti)(ti)供云(yun)端全(quan)托管(guan) Flink 集群，幾分鐘完(wan)成計算集群部署；具備云(yun)原生(sheng)彈性擴容能力(li)，節省資源，提(ti)(ti)高(gao)資源利用率；提(ti)(ti)供細粒(li)(li)度資源管(guan)控，最小(xiao)資源使用粒(li)(li)度僅 0.5 CU，精細化(hua)資源管(guan)控；支持(chi)按量和(he)包(bao)年(nian)包(bao)月計費(fei)，適配不同需求(qiu)，價格低廉(lian)，安全(quan)穩定。
未來，青云大(da)數(shu)(shu)據工作臺還將(jiang)持續迭代(dai)，聚焦在數(shu)(shu)據治(zhi)理、數(shu)(shu)據資產(chan)、優化體驗(yan)等層面。
基(ji)于完(wan)備的(de)(de)架構(gou)(gou)與(yu)功能，青云(yun)大數(shu)據工作臺可(ke)以輕松應對中小型(xing)互聯網或移動互聯網客戶較為關心的(de)(de)精細化(hua)(hua)運(yun)營分析場景(jing)、以智慧工廠為代表的(de)(de)實(shi)時計算場景(jing)、以科研數(shu)據為基(ji)礎的(de)(de)可(ke)視化(hua)(hua)開發與(yu)運(yun)維(wei)場景(jing)以及構(gou)(gou)建(jian)數(shu)倉場景(jing)。
劉雄風指(zhi)出(chu)(chu)，青云大(da)(da)數(shu)據(ju)工(gong)作臺目前主(zhu)要聚焦在以物(wu)聯網(wang)和工(gong)業大(da)(da)數(shu)據(ju)為(wei)代表的的新興領域。其(qi)中，在工(gong)業領域，隨著不斷細密度(du)的政策迭(die)代，推動工(gong)業大(da)(da)數(shu)據(ju)的全面采集、工(gong)業設備互聯互通速度(du)加快(kuai)，青云科技將在物(wu)料能耗優化、產線效率(lv)分析、故障定位(wei)、出(chu)(chu)庫物(wu)流(liu)追蹤、庫存優化及產品質量追溯(su)等(deng)方面，進行大(da)(da)數(shu)據(ju)的深入(ru)實(shi)時(shi)分析、計算等(deng)。
值得一提的是，青云科技所提供的方案不局限于大數據工作臺的單一產品，而是與青云科技的KubeSphere容器平臺、IoT平臺形成合力，組建了“大數據工作臺+KubeSphere+IoT”三位一體的技術方案。
“青云大數據(ju)工作(zuo)臺(tai)+KubeSphere+IoT”三(san)位一體技術方案
在架構上，該方案的最上層是物聯網平臺，中間是大數據工作臺，最底層是容器平臺。首先，青云科技通過容器平臺進行資源的保障，提供按需使用、彈性伸縮、一鍵擴容、在線運維的功能保障；其次，大數據工作臺可以提供數據處理的能力，結合消息中間件、數據倉庫、數據服務等云原生的產品組件，從橫向數據流方面提供一站式的數據實時處理和輸出能力；最后，在物聯網層形成“云、網、邊、端”統(tong)一(yi)管理、統(tong)一(yi)數據采集和統(tong)一(yi)邊緣控(kong)制。
如今，該方案已在不同領域實現了成熟落地。以某行業領先的工業自動化測試設備與整線系統解決方案提供商為例，其(qi)數(shu)據源涵(han)蓋多個維度，生產數(shu)據包(bao)括(kuo)機加工(gong)設(she)(she)(she)備、物(wu)聯網系統(tong)中的SMT設(she)(she)(she)備和(he)AGV設(she)(she)(she)備、立庫等，未(wei)來還(huan)計劃引進質量監測設(she)(she)(she)備；運(yun)營數(shu)據則包(bao)括(kuo)了水電氣、空調供暖、給排水、門閘、溫濕度以及各類(lei)樓宇/園區的運(yun)營信(xin)息。所(suo)以，客戶需要統(tong)一的數(shu)據接(jie)收和(he)存(cun)儲、統(tong)一的數(shu)據API服務，需要建(jian)設(she)(she)(she)統(tong)一的“物(wu)聯網+大數(shu)據”平臺(tai)。
該方案則可以(yi)應對(dui)這(zhe)一難(nan)題，由IoT平臺進(jin)行“云、網、邊(bian)、端”的(de)數(shu)(shu)(shu)據(ju)(ju)(ju)源統(tong)一控(kong)制(zhi)，客戶(hu)可以(yi)將數(shu)(shu)(shu)據(ju)(ju)(ju)通過(guo)消息中(zhong)間件進(jin)行統(tong)一傳輸(shu)，傳輸(shu)到大數(shu)(shu)(shu)據(ju)(ju)(ju)工(gong)作(zuo)臺上再做(zuo)原(yuan)(yuan)始庫數(shu)(shu)(shu)據(ju)(ju)(ju)集成(cheng)(cheng)的(de)操作(zuo)。數(shu)(shu)(shu)據(ju)(ju)(ju)存儲(chu)到原(yuan)(yuan)始數(shu)(shu)(shu)據(ju)(ju)(ju)庫后(hou)，客戶(hu)可將原(yuan)(yuan)始庫單獨(du)對(dui)外提供(gong)數(shu)(shu)(shu)據(ju)(ju)(ju)權限、數(shu)(shu)(shu)據(ju)(ju)(ju)存儲(chu)和(he)數(shu)(shu)(shu)據(ju)(ju)(ju)查詢服務。對(dui)于原(yuan)(yuan)始庫存儲(chu)的(de)數(shu)(shu)(shu)據(ju)(ju)(ju)，客戶(hu)還能進(jin)行數(shu)(shu)(shu)據(ju)(ju)(ju)的(de)二次加工(gong)，形成(cheng)(cheng)最終結果庫，結果庫同樣可以(yi)對(dui)外提供(gong)數(shu)(shu)(shu)據(ju)(ju)(ju)權限、數(shu)(shu)(shu)據(ju)(ju)(ju)存儲(chu)和(he)數(shu)(shu)(shu)據(ju)(ju)(ju)查詢的(de)服務。
結語
AIoT時(shi)代下，數(shu)(shu)(shu)據(ju)的(de)重(zhong)要(yao)性無需(xu)贅述(shu)，而其價值絕(jue)不僅僅是停留在量級，而是隱(yin)藏在應用(yong)之(zhi)中。也正因如此，越來越多的(de)企業(ye)(ye)開(kai)始重(zhong)視(shi)業(ye)(ye)務與(yu)運營(ying)之(zhi)中的(de)大(da)數(shu)(shu)(shu)據(ju)管理(li)、應用(yong)，客(ke)(ke)戶需(xu)求更加明確——“客(ke)(ke)戶需(xu)要(yao)端到(dao)端的(de)全鏈路解決方案，而不是簡(jian)單地堆積一(yi)些大(da)數(shu)(shu)(shu)據(ju)產品組件”。換言之(zhi)，構建(jian)高效(xiao)的(de)數(shu)(shu)(shu)據(ju)流鏈路才能進一(yi)步挖掘數(shu)(shu)(shu)據(ju)流背后(hou)的(de)實(shi)際價值。青云大(da)數(shu)(shu)(shu)據(ju)工作臺的(de)出現，無疑全面滿足了這一(yi)需(xu)求，激活企業(ye)(ye)數(shu)(shu)(shu)據(ju)資產，釋(shi)放(fang)數(shu)(shu)(shu)據(ju)價值。
