作者：范海秋
單位：中移物聯網有限公司
Part 01● 功能介紹 ●
開發者控制臺功能
1.服務實例(li)管(guan)理：Kafka集群實例(li)配(pei)置信(xin)息及白名單管(guan)理。
2.數(shu)據統計：統計單Topic、Group每日消息生(sheng)產量及消費量。
3.Topic管理(li)：Topic基礎(chu)信息及訂(ding)閱(yue)關系管理(li)。
4.Consumer Group管理(li)：Group基礎信息及(ji)消費狀態管理(li)。
后臺管理系統
1.服務(wu)集群(qun)管理(li)：提供Kafka集群(qun)實(shi)例(li)添加及配置(zhi)管功(gong)能。
2.授權用(yong)戶管理：為(wei)開發者配置Kafka集群(qun)實例(li)及(ji)資(zi)源權限(xian)。
城市物聯網(wang)平臺實現(xian)的(de)Kafka推送是在(zai)開源Apache Kafka 2.8.x版本上(shang)(shang)，增(zeng)加(jia)了以用(yong)戶為維度(du)的(de)鑒權(quan)(quan)、授(shou)權(quan)(quan)機制(zhi)以及資源管理功能(neng)，同時(shi)實現(xian)了與規(gui)則(ze)(ze)引擎的(de)數(shu)據對接(jie)(jie)，通過(guo)配置規(gui)則(ze)(ze)引擎，將設(she)備(bei)基礎數(shu)據，感知數(shu)據等應用(yong)數(shu)據推送給上(shang)(shang)層(ceng)SaaS應用(yong)，可以直接(jie)(jie)通過(guo)Kafka官網(wang)的(de)客戶端消(xiao)費數(shu)據。
Part 02● Kafka推送優勢 ●
性能對比
Kafka具有(you)低時(shi)延、高(gao)可用(yong)性(xing)的特性(xing)，吞吐量高(gao)，單(dan)機(ji)寫入(ru)TPS約在(zai)百萬條(tiao)/秒，與物聯網設備數據量大(da)的場景比較契合。
運維實施
社區活躍，使用場景(jing)廣泛(fan)，部署實踐(jian)經驗較豐富、開源學習成(cheng)本低，對(dui)于研(yan)發、運維人員門(men)檻低，能(neng)夠(gou)輕松完(wan)成(cheng)應用數(shu)據對(dui)接開發。
項目支撐
可(ke)同時支持多個應用(yong)子系(xi)統的數(shu)據集成(cheng)需求，減少內部消息(xi)轉發(fa)業(ye)務研發(fa),同時可(ke)緩存部分數(shu)據;Kafka消息(xi)中間件(jian)，通用(yong)性強、適用(yong)范(fan)圍更廣(guang)，數(shu)據對接流程簡單。
Part 03● Kafka推送關鍵技術分析 ●
城市平臺Kafka推送基于官(guan)方(fang)的(de)客(ke)戶(hu)端(duan)實現(xian)，通過官(guan)網客(ke)戶(hu)端(duan)提供(gong)的(de)API進行鑒權，授權及資源(yuan)隔離等(deng)操作。
Kafka鑒權
基(ji)于(yu)SASL/SCRAM連(lian)接鑒(jian)權，可(ke)以通過(guo)命令(ling)或者API創建、刪除用戶。
Kafka授權
可以基(ji)于Topic、分(fen)組(zu)對用(yong)戶授權，保證用(yong)戶的數(shu)據隔離。
資源隔離
可以(yi)基于(yu)用戶消費、生產速(su)率配額(e)，限(xian)制帶寬。
關鍵API列舉
