隨著物聯網等新興技術的加速發展，傳統企業紛紛開始進行數字化轉型。在此過程中，數據技術的重要性不言而喻。作為企業發展的寶貴資產，數據處理能力與業務發展需求息息相關，數據架構的迭代升級也是企業在數字化轉型下持續探索的一大主題。
8 月(yue) 13 日，由濤(tao)思數(shu)據(ju)舉辦的前沿數(shu)據(ju)技(ji)術交流盛會(hui)「 TDengine 開發者(zhe)大會」在北京·昆泰(tai)嘉(jia)瑞文(wen)化中心(xin)(xin)正式舉(ju)辦。在本次大會(hui)上，濤思數(shu)據(ju)創(chuang)始人陶(tao)建(jian)輝(hui)、小米集(ji)團副總裁崔寶秋博士、明(ming)勢資本創(chuang)始合(he)伙人黃明(ming)明(ming)等(deng)數(shu)十位重磅嘉(jia)賓，為與會(hui)者貢獻了(le)關(guan)于開源、基礎軟件(jian)的(de)未來趨勢解讀，以(yi)及有關(guan)物聯網(wang)、IT 運維等(deng)項目(mu)的(de)數(shu)據(ju)架構升級經驗。同時，濤思數(shu)據(ju)宣布(bu)了(le) TDengine 3.0 的(de)重磅發布(bu)，并一一揭秘(mi)了(le)其核心(xin)(xin)特性(xing)，諸多(duo)顛覆(fu)性(xing)創(chuang)新思路讓參會(hui)者一睹(du)為快。
“百家爭鳴”——思想碰撞下定位開源與基礎軟件的未來
TDengine 從 2019 年(nian) 7 月就宣布了核心(xin)代(dai)碼開(kai)(kai)源(yuan)，2020 年(nian) 8 月又宣布了集群開(kai)(kai)源(yuan)，在開(kai)(kai)源(yuan)力量的(de)影(ying)響下，發(fa)展 5 年(nian)，TDengine 的(de)用戶實例已(yi)經接近 14 萬例，發(fa)展了 100+ 企業用戶。
一(yi)直以(yi)來(lai)，TDengine 的(de)技(ji)術創新(xin)都(dou)是以(yi)用戶需求為(wei)出發點。本次大會也邀(yao)請到了京(jing)東(dong)科(ke)技(ji) IoT 產品部技(ji)術總監(jian)閆(yan)政和中(zhong)通(tong)科(ke)技(ji)資深架構師黃國(guo)石(shi)來(lai)到現場，為(wei)與會者講述(shu) TDengine 在京(jing)東(dong)云物聯網產業(ye)(ye)場景及中(zhong)通(tong)物流配送業(ye)(ye)務下(xia)車(che)聯網服務平臺的(de)應用故事。
作為一(yi)(yi)種(zhong)新的(de)商業創新模式(shi)，開源(yuan)的(de)力(li)量(liang)我們有目共(gong)睹(du)，但(dan)關于(yu)開源(yuan)的(de)價值和意(yi)義，一(yi)(yi)千個人(ren)眼中(zhong)有一(yi)(yi)千個哈姆雷特，百(bai)萬個人(ren)心中(zhong)有百(bai)萬種(zhong)定義。在大會主論壇(tan)上，小米集團(tuan)副總裁崔寶秋博士帶(dai)領大家回歸開源(yuan)的(de)本質，探索開源(yuan)的(de)意(yi)義。
圖/小米集團副總(zong)裁崔寶秋博(bo)士(shi)
他表示，在互聯網、大數據和人工智能時代，開源是人類技術進步的最佳平臺和模式，但開源并不只是一種提升技術品牌的方法、抑或是軟件分發的手段，它的出發點應該是利他主義和長期主義。“德不孤，必有鄰”，開源項目如果一開始就秉承開放、共享、平等、協同、創新的開源之道，一定會有非常多的共建者自愿加入。
一定程度(du)上，開源的力量幫助 TDengine 贏得了國內外的市(shi)場，成為眾多企業的首選時(shi)序數據庫之一，但如果想(xiang)要持(chi)續(xu)成功(gong)，技術上也要不斷(duan)的創新，始(shi)終領先于(yu)“copy”者，只有(you)這(zhe)樣才能真正實現開源的“利他主義(yi)(yi)”和“長(chang)期主義(yi)(yi)”。
圖/TDengine 創始人陶建(jian)輝
在 TDengine 創始人(ren)陶建輝帶來的(de)(de)(de)《高性能、云(yun)原生(sheng)的(de)(de)(de)極簡時序(xu)數(shu)據(ju)處理(li)平臺》分(fen)享中，我們看(kan)到了 TDengine 從 1.0 到 2.0 再到 3.0 的(de)(de)(de)不(bu)斷迭(die)代升級(ji)，技(ji)術(shu)的(de)(de)(de)發展也在反哺著開源社區，短短三(san)年間，TDengine 在 GitHub 上(shang)的(de)(de)(de) star 數(shu)已經超(chao)過(guo) 18.8k，issue 數(shu)達到了 15921。而(er)新鮮出爐的(de)(de)(de) TDengine 3.0，打造的(de)(de)(de)云(yun)原生(sheng)數(shu)據(ju)庫、極簡時序(xu)數(shu)據(ju)平臺、便捷的(de)(de)(de)數(shu)據(ju)分(fen)析等特點更是(shi)對時序(xu)數(shu)據(ju)庫進行了重(zhong)新定義。
盡管中國基礎軟(ruan)件領(ling)域已經(jing)出現了諸如 TDengine 等數(shu)百個(ge)國產替代產品，但市場仍然被 Windows、Linux、MySQL、Oracle 等海外玩家(jia)壟(long)斷。無論是數(shu)據(ju)庫還(huan)是操作(zuo)系統軟(ruan)件，國內的市場幾(ji)乎一片空白。在(zai)這種發展(zhan)現狀下，中國基礎軟(ruan)件的下一步(bu)路要怎么走(zou)？
圖/明勢資本創始合伙(huo)人(ren)黃明明
明(ming)勢資本創始合伙人(ren)黃明(ming)明(ming)認為(wei)(wei)，二十一世紀以(yi)來，中國制(zhi)造(zao)業崛起(qi)，亟需與之(zhi)匹配(pei)的(de)基(ji)礎(chu)(chu)軟(ruan)(ruan)(ruan)件(jian)，而根植于(yu)上一代(dai)領(ling)(ling)先制(zhi)造(zao)業玩家(jia)的(de)基(ji)礎(chu)(chu)軟(ruan)(ruan)(ruan)件(jian)產品，已(yi)經難以(yi)滿足更大(da)產值(zhi)、更大(da)場景、更新玩家(jia)的(de)需求，中國企(qi)業在新一代(dai)基(ji)礎(chu)(chu)軟(ruan)(ruan)(ruan)件(jian)戰場上大(da)有(you)可(ke)為(wei)(wei)。在這種有(you)利(li)背景下，技術的(de)開放開源可(ke)以(yi)成為(wei)(wei)基(ji)礎(chu)(chu)軟(ruan)(ruan)(ruan)件(jian)占領(ling)(ling)市場的(de)一種手(shou)段，它將(jiang)幫助企(qi)業打(da)破信任(ren)瓶頸，向海外市場進軍。
可以說，用好(hao)開源(yuan)(yuan)，國內軟(ruan)件市場就(jiu)有望突出(chu)重(zhong)圍，開放開源(yuan)(yuan)已(yi)經成(cheng)為(wei)顛覆基(ji)礎軟(ruan)件現有市場格局的重(zhong)要(yao)手段。但在(zai)(zai)開源(yuan)(yuan)已(yi)經成(cheng)為(wei)趨(qu)勢的當下，開源(yuan)(yuan)想要(yao)成(cheng)功也需要(yao)正確的“道”與“術”。在(zai)(zai)主論壇的圓桌討(tao)論環節，幾位嘉賓就(jiu)以此(ci)為(wei)主題進(jin)行(xing)了一輪思想碰(peng)撞。
本次討論的(de)一個共(gong)性(xing)(xing)思(si)想就(jiu)是(shi)開源(yuan)想要(yao)(yao)成功，產品本身的(de)調(diao)性(xing)(xing)和(he)創(chuang)新(xin)非常重要(yao)(yao)，開源(yuan)項目(mu)被(bei)打造出來(lai)的(de)初(chu)衷一定是(shi)想要(yao)(yao)解(jie)決某些場(chang)景的(de)共(gong)性(xing)(xing)痛(tong)點問(wen)題(ti)，做有(you)價值(zhi)的(de)事情，而想要(yao)(yao)持續(xu)吸引(yin)用戶和(he)開發者，還需要(yao)(yao)技術(shu)(shu)創(chuang)新(xin)來(lai)不斷產生新(xin)鮮(xian)的(de)血(xue)液。此外，開源(yuan)項目(mu)一定要(yao)(yao)具有(you)全球化思(si)維，可以通過擁抱(bao)云原生等新(xin)興(xing)技術(shu)(shu)來(lai)打通國內外的(de)開源(yuan)市場(chang)。
“技術與創新”——TDengine 3.0 帶來時序數據庫的革命性突破
TDengine 3.0 的重磅出爐讓(rang)一眾(zhong)參會(hui)(hui)者矚目，為了(le)讓(rang)TDengine 社區開發者、關注(zhu)者和企業用戶更(geng)加全面地了(le)解了(le) 3.0 的相關技術(shu)(shu)和功(gong)能，在大會(hui)(hui)下(xia)午(wu)的核(he)心技術(shu)(shu)專(zhuan)場上，核(he)心研發人員進行了(le)一系列關于(yu) 3.0 的功(gong)能點及核(he)心技術(shu)(shu)的演講。
近些年來，雖然市面上的(de)(de)(de)(de)時序數據(ju)庫產品層出不窮，但(dan)業內的(de)(de)(de)(de)諸多難題(ti)(ti)還(huan)未解(jie)決，包(bao)括與延遲相關的(de)(de)(de)(de) High-Cardinality 問(wen)(wen)題(ti)(ti)，靠第三方工具實現(xian)(xian)流處(chu)理、緩存和(he)數據(ju)訂閱(yue)功(gong)能所(suo)帶(dai)來的(de)(de)(de)(de)復雜度(du)問(wen)(wen)題(ti)(ti)，沒有(you)真正實現(xian)(xian)云原生問(wen)(wen)題(ti)(ti)等。TDengine 3.0 正是在這種(zhong)背景下(xia)應運而生的(de)(de)(de)(de)。
作為一(yi)款真正的(de)云原(yuan)生(sheng)時序(xu)數據庫，TDengine 3.0 重構了(le)(le)分(fen)布式架構，引入 RAFT 一(yi)致(zhi)性(xing)協議，可(ke)以支持(chi) 10 億(yi)個時間(jian)線、100 個節點(dian)，徹底解決了(le)(le)時序(xu)數據處理里的(de)“高(gao)基數”問題；完善并優化了(le)(le)對(dui)消息隊列、流式計(ji)算(suan)和緩存(cun)的(de)支持(chi)，可(ke)作為一(yi)個極(ji)簡的(de)時序(xu)數據處理平(ping)臺，解決了(le)系統(tong)設計(ji)復雜且難(nan)以(yi)維(wei)護的問題；對計算引擎進(jin)行了全(quan)新(xin)設計優化(hua)，可提供便(bian)捷、完備的(de)數(shu)據分析功能。
此外，TDengine 從(cong) 1.0 到 2.0 再到 3.0，存(cun)(cun)(cun)儲引擎也在(zai)一(yi)路(lu)升級，TDengine 3.0 更是對存(cun)(cun)(cun)儲引擎進(jin)行了(le)全新(xin)(xin)實現，包含“多引擎混合存(cun)(cun)(cun)儲”、“針(zhen)對多維(wei)度時序數據的(de)存(cun)(cun)(cun)儲優化”兩大創新(xin)(xin)點。此前(qian)，TDengine 憑借“一(yi)個設(she)備一(yi)張表”、“超(chao)級表”的(de)兩大創新(xin)(xin)設(she)計，已經實現了(le)較(jiao)高的(de)存(cun)(cun)(cun)儲性(xing)(xing)能，在(zai) 3.0 對存(cun)(cun)(cun)儲引擎進(jin)行優化升級后，存(cun)(cun)(cun)儲性(xing)(xing)能更上(shang)一(yi)層樓。
除上述 3.0 的諸多特(te)色外，TDengine 還提供了眾(zhong)多的輔助功能：支持(chi)更(geng)強大靈活的標(biao)簽索引、基于時(shi)間段的預計算、支持(chi) Schemaless 以及(ji)更(geng)多的寫入協議、支持(chi) Grafana、Google Data Studio 等眾(zhong)多第三(san)方(fang)工具，支持(chi)數據(ju)增量備份、異(yi)地容災、邊云協同(tong)等。
目前(qian) 3.0 的所有核(he)心代碼也已經在 GitHub 上正(zheng)式公開，方便 TDengine 的關注(zhu)者和支持者下載并體驗。
“發展與實踐”——物聯網、IT 運維的數據架構升級經驗
物(wu)聯(lian)(lian)網(wang)、IT 運維(wei)等(deng)(deng)場景下，海量碎(sui)片化(hua)設(she)備和(he)巨量時序數據(ju)給企業平臺發展帶來(lai)了(le)一系列新的要求和(he)新的技術挑戰。本次大會邀請了(le)順(shun)豐(feng)科技、跨越(yue)速運、OPPO、韻達和(he)觀(guan)測云等(deng)(deng)一眾企業客戶(hu)，分(fen)享他(ta)們在物(wu)聯(lian)(lian)網(wang)、IT 運維(wei)場景下的數據(ju)架構(gou)升(sheng)級經驗(yan)。
在(zai)順(shun)豐(feng)科技(ji)的(de)大數(shu)(shu)據(ju)監(jian)控(kong)(kong)平臺中(zhong)，此(ci)前采用(yong)(yong)的(de) OpenTSDB+HBase 的(de)全量監(jian)控(kong)(kong)數(shu)(shu)據(ju)存儲(chu)方案(an)，存在(zai)依賴多、使用(yong)(yong)成本高和性能無法滿足數(shu)(shu)據(ju)處理需求等(deng)問(wen)題。為此(ci)順(shun)豐(feng)科技(ji)決定對全量監(jian)控(kong)(kong)數(shu)(shu)據(ju)存儲(chu)方案(an)進(jin)行升級(ji)，最(zui)終在(zai) IoTDB、Druid、ClickHouse、TDengine 幾款數(shu)(shu)據(ju)庫中(zhong)選擇了 TDengine 并進(jin)行實際應用(yong)(yong)。
順豐(feng)(feng)科(ke)技大數(shu)據(ju)平臺(tai)(tai)(tai)研(yan)發高級工(gong)程師尹(yin)飛表示(shi)，完(wan)成(cheng)改造(zao)后，順豐(feng)(feng)大數(shu)據(ju)監控平臺(tai)(tai)(tai)擺脫(tuo)了(le)對大數(shu)據(ju)組件的(de)依賴，有效(xiao)縮短(duan)了(le)數(shu)據(ju)處理鏈路。在寫入和(he)查詢方面(mian)均有顯著提升，同(tong)時(shi)服務端物理機由 21 臺(tai)(tai)(tai)降至 3 臺(tai)(tai)(tai)，每(mei)日所需(xu)存儲空間為 93GB（2 副本），同(tong)等副本下僅為 OpenTSDB+HBase 的(de)約(yue) 1/10，在降本增效(xiao)上(shang)顯示(shi)出了(le)非常大的(de)優勢(shi)。
無獨(du)有偶，OPPO 的(de)穿戴產品類業務具(ju)有寫入量巨大(da)且存(cun)在離線/歷史數(shu)(shu)據(ju)補錄（更新）的(de)處理需求，從提升用戶(hu)體驗(yan)角度來講，還(huan)要(yao)具(ju)備高(gao)效的(de)讀寫效率(lv)以及消費類數(shu)(shu)據(ju)的(de)長(chang)時(shi)間保存(cun)。此(ci)前使(shi)用的(de) MongoDB/MySQL 集群方案，后(hou)端存(cun)儲壓力較(jiao)(jiao)大(da)，需要(yao)經(jing)常擴(kuo)盤，同(tong)時(shi)各(ge)個集群都比較(jiao)(jiao)獨(du)立，維(wei)護和需求開發成本(ben)相對較(jiao)(jiao)高(gao)。
“經(jing)歷了從 MySQL 到(dao) MongoDB 再到(dao) Prometheus 最(zui)后到(dao) TDengine 的(de)(de)(de)架(jia)構(gou)(gou)選(xuan)(xuan)型之路，我們的(de)(de)(de)選(xuan)(xuan)型要(yao)(yao)素主要(yao)(yao)有三點：首先，以(yi)業(ye)(ye)務為中心，找(zhao)到(dao)業(ye)(ye)務中需(xu)要(yao)(yao)解決的(de)(de)(de)關鍵問題，通過(guo)對比不同架(jia)構(gou)(gou)選(xuan)(xuan)型的(de)(de)(de)表(biao)現(xian)結果進行(xing)篩(shai)選(xuan)(xuan)；其(qi)次，系統要(yao)(yao)最(zui)少修改，即通過(guo)較少的(de)(de)(de)改動就能(neng)(neng)構(gou)(gou)建新的(de)(de)(de)架(jia)構(gou)(gou)業(ye)(ye)務能(neng)(neng)力(li)；第三，最(zui)易接(jie)入，在這一點上，豐富的(de)(de)(de)讀寫兼容接(jie)口相當重要(yao)(yao)，這便于端側業(ye)(ye)務的(de)(de)(de)擴展(zhan)。”OPPO 云計算中心高(gao)級后端研(yan)發工(gong)程師唐恒建表(biao)示。
除了上述(shu)兩家企業，韻(yun)達、觀測云和跨(kua)(kua)越(yue)(yue)速(su)運在(zai)數據架構改造前同樣有諸多問題。韻(yun)達此前采用(yong) MySQL 分區+索引方式處(chu)(chu)理訂單(dan)掃描量(liang)，面(mian)對每日(ri)億(yi)級的(de)數據量(liang)，MySQL 出(chu)現(xian)性能(neng)瓶(ping)頸，維(wei)護成本(ben)顯(xian)著增(zeng)加；觀測云此前使用(yong)的(de) InfluxDB，出(chu)現(xian) HA（高可(ke)用(yong)）集群模式無法水平(ping)擴容，寫入性能(neng)約等(deng)于單(dan)機(ji)，且某云上 InfluxDB 云產品的(de)高可(ke)用(yong)集群版頂(ding)配規(gui)格仍無法滿足(zu)性能(neng)要求等(deng)等(deng)問題；跨(kua)(kua)越(yue)(yue)速(su)運則是采用(yong) HBase 處(chu)(chu)理車載定位設備數據，在(zai)需要查詢(xun)較大跨(kua)(kua)度(du)時(shi)間數據時(shi)，系(xi)統(tong)的(de)性能(neng)就會(hui)顯(xian)著下降。
在應用 TDengine 進行(xing)系統改造后(hou)，韻達的(de)寫入速(su)(su)度和查詢(xun)性(xing)能(neng)都(dou)有了顯著提升，寫入速(su)(su)度大(da)(da)(da)概為每秒 5000 行(xing)、常用的(de)查詢(xun)基本(ben)可以在 1 秒之內完成；對于觀測云來說，TDengine 的(de)邏(luo)輯(ji)設計使(shi)得其(qi)既可以滿足(zu)高可靠，又能(neng)夠滿足(zu)大(da)(da)(da)數據(ju)量級的(de)讀寫需求，可以很好地(di)支撐(cheng)住多租戶模式下的(de)系統性(xing)能(neng)；跨越速(su)(su)運(yun)的(de)日增磁盤大(da)(da)(da)小從之前(qian)的(de)單臺 22GB 下降到 1.4GB，機(ji)器資源(yuan)大(da)(da)(da)幅減少，運(yun)維成本(ben)顯著降低。
從(cong)這(zhe)些(xie)企業的(de)(de)(de)(de)經驗中(zhong)我們(men)能(neng)看(kan)到，對于(yu)企業數(shu)據(ju)架構升級，切中(zhong)業務(wu)痛點才(cai)是最重要的(de)(de)(de)(de)。在多家(jia)企業的(de)(de)(de)(de)數(shu)據(ju)架構改造(zao)實踐(jian)中(zhong)，TDengine 都展現(xian)出了(le)強大的(de)(de)(de)(de)讀寫性能(neng)和數(shu)據(ju)壓縮能(neng)力，幫助企業解決了(le)各種(zhong)大數(shu)據(ju)處理難題(ti)。相信(xin)隨著 3.0 的(de)(de)(de)(de)優化(hua)，TDengine 可以更好地融入到物聯網(wang)(wang)、車聯網(wang)(wang)、IT 運(yun)維等使(shi)用場景中(zhong)。
結語
本次開(kai)發(fa)者(zhe)大會的(de)成功舉(ju)辦，不僅是 TDengine 大力(li)服務開(kai)發(fa)者(zhe)和用戶的(de)一個標志性(xing)事件，也為整個行業(ye)的(de)技術進步和未來發(fa)展貢獻了(le)不小(xiao)的(de)力(li)量，為關注開(kai)源(yuan)的(de)開(kai)發(fa)者(zhe)提供了(le)眾多創新(xin)性(xing)觀點。
TDengine 3.0 的(de)出(chu)爐徹底解決了(le)業內的(de)“High Cardinality”問題，作為(wei)一款真正的(de)云(yun)原生(sheng)數據(ju)庫，它也為(wei)時序數據(ju)庫的(de)發展帶來了(le)一場革命性的(de)突(tu)破。未(wei)來已(yi)來，瞄準世(shi)界科技(ji)前沿，數字化時代下新(xin)的(de)數據(ju)架構發展道路已(yi)經明朗。
