程序媛黛玉 2021-09-19 04:33:40 阅读数:951
我覺得最高效的方式就是去讀最核心的源碼,先看一張?Kafka結構圖?以及?Kafka 源碼全景圖
梳理一下關於?Kafka 框架,找到學習的重點。
前5章分別是:Kafka簡介、Kafka的架構、Broker概述、Broker的基本模塊、Broker的控制管理模塊
**第1章 Kafka簡介:**介紹Kafka誕生的背景、Kafka在LinkedIn內部的應用、Kafka 的主要設計目標以及為什麼使用消息系統
**第2章 Kafka的架構:**介紹Kafka的基本組成、拓撲結構及其內部的通信協議
**第3章 Broker概述:**描述Kafka集群組成的基本元素Broker Server的啟動以及內部的模塊組成
**第4章 Broker的基本模塊:**描述Broker Server內部的九大基本模塊: SocketServer 、KafkaRequestHandlerPool 、LogManager、ReplicaManager 、OffsetManager、KafkaScheduler. KafkaApis 、KafkaHalthcheck和TopicConfigManager
**第5章 Broker的控制管理模塊:**介紹BrokerServer的控制管理模塊KafkaController,這個模塊負責整個Kafka集群的管理,例如:Topic的新建和删除.分區狀態和副本狀態的轉換、集群的負載均衡管理等
後5章分別是 Topic的管理工具、生產者、消費者、Kafka的典型應用、Kafka的綜合案例
**第6章 Topic的管理工具 :**介紹三個維護脚本: kafka-topics.sh 、kafka-reassign-partitions.sh 和kafka preferredreplica-election.sh,它們分別涉及Topic的生命周期管理、Topic分區的重分配和分區首選副本的選擇。
**第7章 生產者 :**從設計原則、示例代碼、模塊組成和發送模式四個部分介紹有關消息生產者的相關知識,從設計原則至客戶端編程,從客戶端編程到內部實現原理,由淺人深,循序漸進地講解。
**第8章 消費者 :**分別介紹兩種消費者:簡單消費者和高級消費者。針對每種消費者都將依次從設計原則、消費者流程、示例代碼以及原理解析四個部分介紹消費者的相關知識。
**第9章 Kafka的典型應用 :**介紹Kafka與典型大數據系統的集成,包括: Kafka和Storm的集成、Kafka 和ELK的集成、Kafka和Hadoop的集成以及Kafka和Spark的集成。
**第10章 Kafka的綜合案例 :**用綜合實例描述了Kafka的應用,案例描述Kafka作為數據總線在安防整體解决方案中的作用,通過車輛人臉圖片數據的入庫、視頻數據的入庫、數據延時的監控、數據質量的監控、布控統計和容灾備份6個業務,簡要闡述內部的實現原理。
Kafka 的設計時什麼樣的呢?
數據傳輸的事物定義有哪三種?
Kafka 判斷一個節點是否還活著有那兩個條件?
producer 是否直接將數據發送到 broker 的 leader(主節點)?
Kafa consumer 是否可以消費指定分區消息?
Kafka 消息是采用 Pull 模式,還是 Push 模式?
Kafka 存儲在硬盤上的消息格式是什麼?
Kafka 高效文件存儲設計特點
Kafka 與傳統消息系統之間有三個關鍵區別
Kafka 創建 Topic 時如何將分區放置到不同的 Broker 中
Kafka 新建的分區會在哪個目錄下創建
partition 的數據如何保存到硬盤
kafka 的 ack 機制
Kafka 的消費者如何消費數據
消費者負載均衡策略
數據有序
kafaka 生產數據時數據的分組策略
Kafka高級篇知識點(12)
44個Kafka知識點(基礎+進階+高級)解析如下
作為過來人,小編是整理了很多進階架構視頻資料、面試文檔以及PDF的學習資料,針對上面一套系統大綱小編也有對應的相關進階架構視頻資料
CodeChina開源項目:【一線大廠Java面試題解析+核心總結學習筆記+最新講解視頻】
版权声明:本文为[程序媛黛玉]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/09/20210919043339598W.html