构建Apache Kafka流数据应用【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

构建Apache Kafka流数据应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 消息系统介绍1

理解消息系统的原则2

理解消息系统3

点对点消息系统5

发布/订阅消息系统8

AQMP10

在大数据流应用程序中使用消息系统12

总结14

第2章 介绍Kafka分布式消息平台16

Kakfa来源16

Kafka架构17

消息topics20

消息分区21

复制和复制日志24

消息生产者26

消息消费者27

Zookeeper扮演的角色27

总结28

第3章 深入研究Kafka生产者30

Kafka生产者内部机制30

Kafka生产者API33

Producer对象和ProducerRecord对象35

自定义分区38

其他生产者配置40

Java编程语言：Kafka生产者示例42

常见的消息发布模式44

最佳实践46

总结48

第4章 深入研究Kafka消费者49

Kafka消费者内部机制50

理解Kafka消费者的职责50

Kafka消费者API52

消费者配置52

订阅和轮询54

提交和轮询56

其他配置59

利用Java实现Kafka消费者60

利用Scala实现Kafka消费者62

Rebalance listeners64

常用的消息消费模式64

最佳实践67

总结68

第5章 集成Kafka构建Spark Streaming应用69

Spark介绍70

Spark架构70

Spark的核心72

Spark生态系统73

Spark Streaming75

Receiver-based集成75

Receiver-based approach的缺点77

Receiver-based集成的Java示例77

Receiver-based集成的Scala示例79

Direct approach80

Direct approach的Java示例82

Direct approach的Scala示例83

日志处理用例——欺诈IP检测84

Maven85

生产者89

Reader属性89

生产者代码90

欺诈IP查找92

暴露Hive表93

Streaming代码94

总结97

第6章 集成Kafka构建Storm应用98

Apache Storm介绍98

Storm集群架构99

Storm应用程序的概念100

Apache Heron介绍101

Heron架构102

Heron topology架构103

集成Apache Kafka与Apache Storm-Java104

示例105

集成Apache Kafka与Apache Storm-Scala110

用例——使用Storm、Kafka和Hive处理日志114

生产者118

生产者代码119

欺诈IP查找122

Storm应用程序123

运行项目132

总结133

第7章 使用Kafka与Confluent Platform134

Confluent Platform介绍135

深入Confluent Platform架构136

理解Kafka Connect和Kafka Stream139

Kafka Streams139

使用Schema Registry与Avro交互140

将Kafka数据移动到HDFS142

Camus142

运行Camus143

Gobblin144

Gobblin架构144

Kafka Connect146

Flume147

总结150

第8章 使用Kafka构建ETL管道151

在ETL管道中使用Kafka151

介绍Kafka Connect153

深入研究Kafka Connect154

介绍使用Kafka Connect示例155

Kafka Connect常见的用例159

总结160

第9章 使用Kafka Streams构建流应用程序161

介绍Kafka Streams161

在流处理中使用Kafka162

Kafka Stream——轻量级流处理库163

Kafka Stream架构164

集成框架的优势166

理解Tables和Streams167

Maven依赖167

Kafka Stream单词计数168

KTable170

Kafka Stream使用案例171

Kafka Streams的Maven依赖171

reader属性172

IP记录生产者173

IP查询服务176

欺诈检测应用程序177

总结179

第10章 Kafka集群部署180

Kafka集群的内部结构180

Zookeeper角色181

复制182

元数据（Metadata）请求处理184

生产者（Producer）请求处理184

消费者（Consumer）请求处理185

容量规划186

容量规划的目标186

复制因子186

内存187

硬盘驱动器187

网络188

CPU188

Kafka单集群部署189

Kafka多集群部署190

退役brokers192

数据迁移192

总结193

第11章 在大数据应用中使用Kafka194

管理Kafka的高容量195

适当的硬件选择195

生产者读取和消费者写入的选择197

Kafka消息传递语义198

至少一次传递199

最多一次传递202

正好一次传递203

大数据和Kafka常见的使用模式204

Kafka和数据治理206

报警和监控207

有用的Kafka指标208

Kafka生产者指标208

Kafka broker指标209

Kafka消费者指标209

总结210

第12章 Kafka安全211

Kafka安全的概述211

SSL有线加密212

Kafka启用SSL的步骤213

为Kafka broker配置SSL214

为Kafka客户端配置SSL214

Kerberos SASL认证215

在Kafka中启用SASL/GSSAPI的步骤217

为Kafka broker配置SASL217

为Kafka客户端配置SASL——生产者和消费者219

理解ACL和授权220

常见的ACL操作221

ACLs列表222

Zookeeper身份验证223

Apache Ranger授权224

为Ranger添加Kafka服务224

添加策略（policies）225

最佳实践227

总结229

第13章 流应用程序设计的考虑230

延迟和吞吐量231

数据和状态的持久性232

数据源232

外部数据查询233

数据格式233

数据序列化234

并行度234

无序的事件235

消息处理语义235

总结236