作者：范海秋
單位：中移物聯網有限公司
Part 01● 功能介紹 ●
開發者控制臺功能
1.服(fu)務實例管理(li)：Kafka集群實例配置信息及白名單管理(li)。
2.數據統(tong)計(ji)：統(tong)計(ji)單Topic、Group每日消(xiao)息生產量(liang)及消(xiao)費量(liang)。
3.Topic管(guan)理：Topic基礎信息(xi)及訂(ding)閱關系(xi)管(guan)理。
4.Consumer Group管(guan)理(li)：Group基(ji)礎(chu)信(xin)息及消(xiao)費狀態管(guan)理(li)。
后臺管理系統
1.服務集群管(guan)理：提(ti)供Kafka集群實例添(tian)加及配置(zhi)管(guan)功能。
2.授(shou)權用戶管(guan)理(li)：為(wei)開發者配置(zhi)Kafka集群實例及資源(yuan)權限。
城市物(wu)聯網平臺實(shi)現(xian)的(de)(de)Kafka推(tui)送是在開源Apache Kafka 2.8.x版本上(shang)，增加(jia)了以用(yong)戶為維度的(de)(de)鑒權、授權機制(zhi)以及資源管(guan)理功能，同時實(shi)現(xian)了與(yu)規則(ze)引擎的(de)(de)數據對接，通(tong)(tong)過(guo)配置(zhi)規則(ze)引擎，將設備基礎(chu)數據，感知數據等應用(yong)數據推(tui)送給上(shang)層SaaS應用(yong)，可以直(zhi)接通(tong)(tong)過(guo)Kafka官網的(de)(de)客(ke)戶端消費數據。
Part 02● Kafka推送優勢 ●
性能對比
Kafka具有低(di)時延、高(gao)可(ke)用性的特性，吞吐量高(gao)，單機寫入TPS約(yue)在百萬條(tiao)/秒(miao)，與(yu)物聯網(wang)設備數據(ju)量大(da)的場景比較契合。
運維實施
社(she)區活躍，使(shi)用場(chang)景廣泛，部署實踐(jian)經(jing)驗較(jiao)豐(feng)富(fu)、開源學習(xi)成本低，對(dui)于(yu)研發、運維人員(yuan)門檻(jian)低，能(neng)夠輕松完(wan)成應用數據對(dui)接開發。
項目支撐
可同(tong)時支持多個(ge)應用(yong)子系(xi)統(tong)的數(shu)據(ju)集成需求，減少內部(bu)消息(xi)轉發(fa)業務(wu)研發(fa),同(tong)時可緩存(cun)部(bu)分數(shu)據(ju);Kafka消息(xi)中間件，通(tong)用(yong)性強、適(shi)用(yong)范圍更廣，數(shu)據(ju)對接流程簡(jian)單。
Part 03● Kafka推送關鍵技術分析 ●
城市平(ping)臺Kafka推送基(ji)于官方的客(ke)戶(hu)端(duan)實(shi)現，通(tong)過官網客(ke)戶(hu)端(duan)提供的API進行鑒權，授權及資源隔離等操作。
Kafka鑒權
基于SASL/SCRAM連接(jie)鑒(jian)權，可以通過命令或者(zhe)API創建(jian)、刪(shan)除用(yong)戶。
Kafka授權
可(ke)以基于Topic、分(fen)組(zu)對用戶授權，保證(zheng)用戶的數據隔離。
資源隔離
可(ke)以(yi)基于(yu)用戶消費、生(sheng)產速率配額，限制帶(dai)寬。
關鍵API列舉
