隨著物聯網等新興技術的加速發展，傳統企業紛紛開始進行數字化轉型。在此過程中，數據技術的重要性不言而喻。作為企業發展的寶貴資產，數據處理能力與業務發展需求息息相關，數據架構的迭代升級也是企業在數字化轉型下持續探索的一大主題。
8 月 13 日，由濤思數據(ju)舉辦(ban)的前沿數據(ju)技(ji)術交流(liu)盛(sheng)會「 TDengine 開發(fa)者大(da)會」在北京(jing)·昆泰嘉瑞(rui)文化中心正式舉辦。在本(ben)次大會上，濤思數(shu)據創始人陶建輝(hui)、小米集團副總裁崔寶(bao)秋博(bo)士(shi)、明(ming)勢資本(ben)創始合伙人黃明(ming)明(ming)等數(shu)十位(wei)重(zhong)磅嘉賓，為與會者貢(gong)獻了(le)關(guan)于開源、基礎軟件的未(wei)來(lai)趨勢解讀，以及有關(guan)物聯(lian)網、IT 運維(wei)等項目的數(shu)據架構升級經驗。同時，濤思數(shu)據宣布(bu)了(le) TDengine 3.0 的重(zhong)磅發布(bu)，并一一揭秘了(le)其核心特性(xing)，諸多顛(dian)覆性(xing)創新思路讓參會者一睹為快。
“百家爭鳴”——思想碰撞下定位開源與基礎軟件的未來
TDengine 從 2019 年(nian) 7 月(yue)就(jiu)宣(xuan)布了核心代碼(ma)開(kai)(kai)源，2020 年(nian) 8 月(yue)又宣(xuan)布了集群開(kai)(kai)源，在開(kai)(kai)源力量(liang)的(de)影響下，發展 5 年(nian)，TDengine 的(de)用(yong)戶(hu)實例已經接近 14 萬例，發展了 100+ 企業用(yong)戶(hu)。
一直以(yi)來(lai)，TDengine 的技術創新都是以(yi)用戶需求為(wei)出發點(dian)。本(ben)次大會(hui)也(ye)邀請到了京(jing)東科技 IoT 產品部技術總監閆政和中通(tong)科技資深架構師黃國石來(lai)到現(xian)場(chang)，為(wei)與會(hui)者(zhe)講(jiang)述 TDengine 在京(jing)東云物(wu)聯(lian)網產業場(chang)景及中通(tong)物(wu)流(liu)配送業務下車聯(lian)網服務平臺的應用故事。
作為一(yi)種(zhong)新的(de)商業(ye)創新模式，開源(yuan)的(de)力量我們有目共睹，但關于(yu)開源(yuan)的(de)價值和意義(yi)，一(yi)千個(ge)(ge)人眼中有一(yi)千個(ge)(ge)哈姆雷特，百萬(wan)個(ge)(ge)人心中有百萬(wan)種(zhong)定義(yi)。在大會主論(lun)壇上，小米集團(tuan)副總裁崔(cui)寶秋博士帶領大家回歸開源(yuan)的(de)本質，探索(suo)開源(yuan)的(de)意義(yi)。
圖/小米集團副總(zong)裁崔寶秋博士
他表示，在互聯網、大數據和人工智能時代，開源是人類技術進步的最佳平臺和模式，但開源并不只是一種提升技術品牌的方法、抑或是軟件分發的手段，它的出發點應該是利他主義和長期主義。“德不孤，必有鄰”，開源項目如果一開始就秉承開放、共享、平等、協同、創新的開源之道，一定會有非常多的共建者自愿加入。
一定程度上(shang)，開(kai)源的力量幫助 TDengine 贏(ying)得了國(guo)內外(wai)的市場，成為眾多企業的首(shou)選時序數據庫之(zhi)一，但如(ru)果想要持續(xu)成功(gong)，技術上(shang)也要不斷的創新，始終領(ling)先于“copy”者，只有這樣才能真正(zheng)實現開(kai)源的“利他主(zhu)義”和“長期主(zhu)義”。
圖/TDengine 創始人陶建輝
在(zai) TDengine 創始人(ren)陶(tao)建(jian)輝帶來的(de)(de)(de)《高性能、云原生(sheng)的(de)(de)(de)極簡時(shi)(shi)序數(shu)(shu)據處理平臺》分(fen)(fen)享中(zhong)，我們(men)看到了 TDengine 從 1.0 到 2.0 再到 3.0 的(de)(de)(de)不斷迭(die)代升級(ji)，技(ji)術的(de)(de)(de)發展也(ye)在(zai)反哺著(zhu)開源(yuan)社區，短(duan)短(duan)三年間，TDengine 在(zai) GitHub 上的(de)(de)(de) star 數(shu)(shu)已(yi)經超過 18.8k，issue 數(shu)(shu)達到了 15921。而新(xin)鮮出爐(lu)的(de)(de)(de) TDengine 3.0，打造(zao)的(de)(de)(de)云原生(sheng)數(shu)(shu)據庫(ku)、極簡時(shi)(shi)序數(shu)(shu)據平臺、便捷的(de)(de)(de)數(shu)(shu)據分(fen)(fen)析等特點更是(shi)對時(shi)(shi)序數(shu)(shu)據庫(ku)進行了重(zhong)新(xin)定義。
盡管中(zhong)國基礎(chu)軟(ruan)件(jian)領域(yu)已(yi)經出現了(le)諸如 TDengine 等數百個國產替代產品，但市場(chang)仍然被(bei) Windows、Linux、MySQL、Oracle 等海(hai)外(wai)玩家壟斷。無論是數據庫(ku)還是操(cao)作(zuo)系統軟(ruan)件(jian)，國內(nei)的(de)市場(chang)幾乎一(yi)片空白。在這(zhe)種發展現狀下，中(zhong)國基礎(chu)軟(ruan)件(jian)的(de)下一(yi)步路(lu)要怎(zen)么(me)走？
圖(tu)/明(ming)勢資本(ben)創始(shi)合伙人黃(huang)明(ming)明(ming)
明(ming)勢資本創始合伙人黃明(ming)明(ming)認為，二(er)十一世紀以(yi)來，中國(guo)制造業(ye)崛起，亟(ji)需(xu)與之匹配的(de)基(ji)(ji)礎軟(ruan)(ruan)(ruan)件(jian)，而(er)根植于上一代領先制造業(ye)玩(wan)家的(de)基(ji)(ji)礎軟(ruan)(ruan)(ruan)件(jian)產(chan)品，已經難(nan)以(yi)滿(man)足更大產(chan)值、更大場景(jing)、更新(xin)(xin)玩(wan)家的(de)需(xu)求(qiu)，中國(guo)企業(ye)在新(xin)(xin)一代基(ji)(ji)礎軟(ruan)(ruan)(ruan)件(jian)戰場上大有可(ke)為。在這(zhe)種有利背景(jing)下，技(ji)術的(de)開放開源(yuan)可(ke)以(yi)成為基(ji)(ji)礎軟(ruan)(ruan)(ruan)件(jian)占領市(shi)場的(de)一種手段，它(ta)將幫助(zhu)企業(ye)打破信任瓶頸，向海外市(shi)場進軍。
可以說，用(yong)好開(kai)源(yuan)(yuan)，國內軟件(jian)市場就有望(wang)突出重圍，開(kai)放開(kai)源(yuan)(yuan)已經(jing)成為顛(dian)覆基礎軟件(jian)現有市場格局的(de)重要手段(duan)。但在開(kai)源(yuan)(yuan)已經(jing)成為趨勢的(de)當下，開(kai)源(yuan)(yuan)想要成功(gong)也需要正確的(de)“道”與(yu)“術”。在主(zhu)論(lun)壇的(de)圓(yuan)桌(zhuo)討論(lun)環節，幾位(wei)嘉賓就以此(ci)為主(zhu)題進行了一(yi)輪思想碰撞。
本(ben)次(ci)討論的(de)(de)一(yi)個共性(xing)思想(xiang)就是開(kai)源想(xiang)要(yao)(yao)(yao)(yao)成功(gong)，產(chan)品本(ben)身的(de)(de)調性(xing)和(he)創新(xin)非常重要(yao)(yao)(yao)(yao)，開(kai)源項目(mu)被打造出(chu)來(lai)的(de)(de)初衷一(yi)定是想(xiang)要(yao)(yao)(yao)(yao)解決某些場(chang)景的(de)(de)共性(xing)痛點(dian)問題，做有(you)價值的(de)(de)事(shi)情(qing)，而想(xiang)要(yao)(yao)(yao)(yao)持(chi)續吸引用戶(hu)和(he)開(kai)發者(zhe)，還(huan)需要(yao)(yao)(yao)(yao)技術創新(xin)來(lai)不斷產(chan)生(sheng)新(xin)鮮的(de)(de)血液。此外(wai)，開(kai)源項目(mu)一(yi)定要(yao)(yao)(yao)(yao)具有(you)全球(qiu)化思維(wei)，可以(yi)通過擁抱云原生(sheng)等新(xin)興技術來(lai)打通國內(nei)外(wai)的(de)(de)開(kai)源市場(chang)。
“技術與創新”——TDengine 3.0 帶來時序數據庫的革命性突破
TDengine 3.0 的(de)(de)重磅出爐讓(rang)(rang)一(yi)眾(zhong)參會者矚目，為了讓(rang)(rang)TDengine 社(she)區開發者、關注者和企業(ye)用戶更加(jia)全面地了解(jie)了 3.0 的(de)(de)相關技(ji)術和功能，在(zai)大會下午(wu)的(de)(de)核心技(ji)術專場上，核心研發人員進行了一(yi)系列關于 3.0 的(de)(de)功能點及核心技(ji)術的(de)(de)演講。
近(jin)些年來，雖然市(shi)面(mian)上的(de)時序數據庫產品層出不(bu)窮，但業內的(de)諸多難(nan)題還(huan)未(wei)解決，包括(kuo)與延遲相關的(de) High-Cardinality 問(wen)(wen)題，靠第(di)三方工具實現流處(chu)理、緩存(cun)和數據訂(ding)閱功能所帶來的(de)復雜度(du)問(wen)(wen)題，沒有真正實現云原生(sheng)問(wen)(wen)題等(deng)。TDengine 3.0 正是(shi)在這(zhe)種背景下應運而生(sheng)的(de)。
作(zuo)為一款真正的云原(yuan)生時(shi)(shi)(shi)序(xu)數(shu)據(ju)庫，TDengine 3.0 重構(gou)了(le)分布式(shi)架構(gou)，引入 RAFT 一致性(xing)協議，可以支持(chi)(chi) 10 億(yi)個時(shi)(shi)(shi)間線、100 個節點，徹底解決(jue)了(le)時(shi)(shi)(shi)序(xu)數(shu)據(ju)處理(li)里的“高基數(shu)”問題(ti)；完(wan)善并優化了(le)對消息隊列、流式(shi)計算和緩存的支持(chi)(chi)，可作(zuo)為一個極簡的時(shi)(shi)(shi)序(xu)數(shu)據(ju)處理(li)平(ping)臺，解(jie)決了系統(tong)設計復雜且難以維護的問(wen)題；對(dui)計算引擎進行了全新設計優化，可提(ti)供便捷、完(wan)備的數據分析(xi)功能(neng)。
此外，TDengine 從 1.0 到 2.0 再到 3.0，存(cun)(cun)儲引擎(qing)也在一(yi)(yi)(yi)路(lu)升級(ji)，TDengine 3.0 更(geng)是(shi)對(dui)存(cun)(cun)儲引擎(qing)進行(xing)了全新實(shi)現，包含“多引擎(qing)混合存(cun)(cun)儲”、“針(zhen)對(dui)多維度時序數據的(de)存(cun)(cun)儲優(you)(you)化”兩大創新點(dian)。此前，TDengine 憑借“一(yi)(yi)(yi)個設備一(yi)(yi)(yi)張表”、“超(chao)級(ji)表”的(de)兩大創新設計，已(yi)經實(shi)現了較高的(de)存(cun)(cun)儲性(xing)能(neng)，在 3.0 對(dui)存(cun)(cun)儲引擎(qing)進行(xing)優(you)(you)化升級(ji)后(hou)，存(cun)(cun)儲性(xing)能(neng)更(geng)上一(yi)(yi)(yi)層樓(lou)。
除(chu)上述(shu) 3.0 的(de)(de)諸(zhu)多特色外，TDengine 還提(ti)供(gong)了眾(zhong)多的(de)(de)輔助功能：支持更強大靈活的(de)(de)標(biao)簽索引(yin)、基于時間(jian)段的(de)(de)預計算、支持 Schemaless 以及更多的(de)(de)寫(xie)入協議、支持 Grafana、Google Data Studio 等眾(zhong)多第三方工具，支持數據增(zeng)量備(bei)份(fen)、異地(di)容災、邊云協同等。
目前 3.0 的所有核心(xin)代(dai)碼也已經(jing)在 GitHub 上正(zheng)式公開(kai)，方便 TDengine 的關注(zhu)者(zhe)和支持者(zhe)下(xia)載并體驗。
“發展與實踐”——物聯網、IT 運維的數據架構升級經驗
物(wu)聯(lian)網、IT 運維等場景下，海(hai)量(liang)碎(sui)片化(hua)設(she)備和(he)巨量(liang)時序數據給企(qi)(qi)業平臺發展帶(dai)來(lai)了一(yi)系列新的要求和(he)新的技術(shu)挑戰。本次大會邀請了順(shun)豐科技、跨越速運、OPPO、韻達和(he)觀測云等一(yi)眾企(qi)(qi)業客戶，分(fen)享(xiang)他們在物(wu)聯(lian)網、IT 運維場景下的數據架構升級經驗(yan)。
在順豐科技的(de)大數(shu)據(ju)(ju)監(jian)控平(ping)臺(tai)中(zhong)，此(ci)(ci)前(qian)采用(yong)的(de) OpenTSDB+HBase 的(de)全(quan)(quan)量監(jian)控數(shu)據(ju)(ju)存儲方案(an)(an)，存在依賴多、使用(yong)成本高和性(xing)能無(wu)法滿足數(shu)據(ju)(ju)處理需求等(deng)問(wen)題。為(wei)此(ci)(ci)順豐科技決定對全(quan)(quan)量監(jian)控數(shu)據(ju)(ju)存儲方案(an)(an)進(jin)行升級(ji)，最終在 IoTDB、Druid、ClickHouse、TDengine 幾款數(shu)據(ju)(ju)庫(ku)中(zhong)選擇了 TDengine 并(bing)進(jin)行實(shi)際應用(yong)。
順豐(feng)(feng)科技大數(shu)據(ju)平臺研(yan)發高級工(gong)程師(shi)尹飛表示(shi)(shi)，完(wan)成改(gai)造后，順豐(feng)(feng)大數(shu)據(ju)監控平臺擺脫了對大數(shu)據(ju)組件的依賴，有效縮(suo)短了數(shu)據(ju)處理鏈路。在寫入和查(cha)詢(xun)方面均有顯著提(ti)升，同時(shi)服(fu)務(wu)端物理機由(you) 21 臺降至 3 臺，每日所需(xu)存儲空間為 93GB（2 副本(ben)），同等(deng)副本(ben)下僅(jin)為 OpenTSDB+HBase 的約(yue) 1/10，在降本(ben)增效上顯示(shi)(shi)出了非常大的優勢。
無獨有偶，OPPO 的穿(chuan)戴(dai)產品類(lei)業務具有寫入量巨大且(qie)存(cun)在離線/歷史(shi)數據補錄（更新）的處理(li)需(xu)(xu)求(qiu)，從提(ti)升用(yong)戶體(ti)驗角度來講，還(huan)要具備高效的讀(du)寫效率以及消費類(lei)數據的長時間保(bao)存(cun)。此前使用(yong)的 MongoDB/MySQL 集(ji)群方案(an)，后端(duan)存(cun)儲壓力(li)較(jiao)(jiao)大，需(xu)(xu)要經常擴盤，同(tong)時各個集(ji)群都比(bi)較(jiao)(jiao)獨立，維護和需(xu)(xu)求(qiu)開(kai)發成(cheng)本(ben)相對(dui)較(jiao)(jiao)高。
“經歷了從(cong) MySQL 到(dao) MongoDB 再(zai)到(dao) Prometheus 最(zui)后到(dao) TDengine 的架構(gou)選型之路(lu)，我們的選型要素主要有(you)三(san)點(dian)：首(shou)先(xian)，以(yi)業(ye)(ye)務為(wei)中心(xin)，找(zhao)到(dao)業(ye)(ye)務中需(xu)要解決的關(guan)鍵問(wen)題，通(tong)(tong)過(guo)對(dui)比不同架構(gou)選型的表現結果進行篩選；其次，系統(tong)要最(zui)少修改，即(ji)通(tong)(tong)過(guo)較少的改動(dong)就能(neng)構(gou)建新的架構(gou)業(ye)(ye)務能(neng)力；第三(san)，最(zui)易接入，在(zai)這(zhe)一點(dian)上，豐富的讀寫兼容接口相當重要，這(zhe)便于端(duan)側業(ye)(ye)務的擴(kuo)展。”OPPO 云計(ji)算中心(xin)高(gao)級后端(duan)研(yan)發(fa)工程師唐恒建表示。
除了上(shang)述兩家企業(ye)，韻(yun)達(da)、觀(guan)(guan)測云(yun)(yun)(yun)和跨(kua)越速運在數(shu)據(ju)架構改造前同樣有諸多問(wen)題(ti)。韻(yun)達(da)此前采用(yong) MySQL 分區(qu)+索引方式處理訂單掃描量(liang)，面對每(mei)日億(yi)級的(de)數(shu)據(ju)量(liang)，MySQL 出現性(xing)(xing)(xing)能瓶頸，維護成本顯著(zhu)增加；觀(guan)(guan)測云(yun)(yun)(yun)此前使用(yong)的(de) InfluxDB，出現 HA（高可用(yong)）集(ji)群(qun)模式無(wu)(wu)法水平擴容(rong)，寫入(ru)性(xing)(xing)(xing)能約等(deng)于單機，且(qie)某云(yun)(yun)(yun)上(shang) InfluxDB 云(yun)(yun)(yun)產品(pin)的(de)高可用(yong)集(ji)群(qun)版頂(ding)配規格(ge)仍無(wu)(wu)法滿(man)足性(xing)(xing)(xing)能要(yao)求等(deng)等(deng)問(wen)題(ti)；跨(kua)越速運則是(shi)采用(yong) HBase 處理車(che)載定(ding)位設備數(shu)據(ju)，在需要(yao)查詢較大跨(kua)度時(shi)間數(shu)據(ju)時(shi)，系統(tong)的(de)性(xing)(xing)(xing)能就會(hui)顯著(zhu)下降。
在(zai)應用 TDengine 進行系(xi)統(tong)改造后，韻(yun)達的(de)寫入速(su)(su)度和(he)查(cha)詢性(xing)能(neng)都有了顯(xian)著(zhu)提升(sheng)，寫入速(su)(su)度大(da)概為每(mei)秒 5000 行、常(chang)用的(de)查(cha)詢基本可(ke)以(yi)(yi)在(zai) 1 秒之內完(wan)成；對于觀測云來說，TDengine 的(de)邏(luo)輯(ji)設計使得其既可(ke)以(yi)(yi)滿(man)(man)足高可(ke)靠，又能(neng)夠滿(man)(man)足大(da)數(shu)據(ju)量級的(de)讀寫需求，可(ke)以(yi)(yi)很(hen)好地(di)支撐住多租戶模式下的(de)系(xi)統(tong)性(xing)能(neng)；跨越(yue)速(su)(su)運的(de)日增磁盤大(da)小(xiao)從之前的(de)單(dan)臺 22GB 下降到 1.4GB，機器(qi)資(zi)源大(da)幅減少，運維(wei)成本顯(xian)著(zhu)降低。
從這些企業(ye)的(de)經驗中(zhong)我(wo)們能(neng)看到，對于企業(ye)數(shu)據架構升(sheng)級，切中(zhong)業(ye)務痛點(dian)才是(shi)最重(zhong)要的(de)。在多家企業(ye)的(de)數(shu)據架構改造實踐中(zhong)，TDengine 都展(zhan)現出了強大(da)的(de)讀寫性能(neng)和(he)數(shu)據壓縮能(neng)力，幫助企業(ye)解決了各種(zhong)大(da)數(shu)據處理難題。相信隨著 3.0 的(de)優化，TDengine 可以更好地融入到物聯網(wang)、車聯網(wang)、IT 運維等(deng)使用場景中(zhong)。
結語
本(ben)次開發(fa)者(zhe)(zhe)大會的(de)成功舉辦，不僅(jin)是 TDengine 大力服(fu)務開發(fa)者(zhe)(zhe)和用戶的(de)一個標志(zhi)性(xing)事件，也為(wei)整(zheng)個行業的(de)技術進步和未來(lai)發(fa)展貢(gong)獻了(le)不小的(de)力量(liang)，為(wei)關(guan)注開源(yuan)的(de)開發(fa)者(zhe)(zhe)提供了(le)眾多(duo)創新(xin)性(xing)觀點。
TDengine 3.0 的(de)出爐徹底(di)解決了業(ye)內的(de)“High Cardinality”問題，作為一(yi)款真正的(de)云原(yuan)生數(shu)據庫，它也為時(shi)序數(shu)據庫的(de)發展(zhan)帶(dai)來(lai)了一(yi)場革命(ming)性的(de)突破。未(wei)來(lai)已來(lai)，瞄準世界科技前沿，數(shu)字化時(shi)代下(xia)新的(de)數(shu)據架構(gou)發展(zhan)道路已經(jing)明朗。
