启动zookeeper

1
2

$ bin/zkServer.sh start conf/zoo.cfg &
$ bin/zkCli.sh   

启动Kafka

我们启动两个实例：

1
2
3

$ bin/kafka-server-start.sh -daemon config/server.properties
$ bin/kafka-server-start.sh -daemon config/server-1.properties  

未选择的路
（罗伯特·弗罗斯特）

黄色的树林里分出两条路
可惜我不能同时去涉足
我在那路口久久伫立
我向着一条路极目望去

Kafka是基于partition的模型，在消费的时候，消费者会和kafka建立一个绑定的关系。假设有一个topic有3个partition：P1,P2,P3,同时有一个消费group对应有3个消费者:C1，C2，C3，则消费会建立一个P1-C1,P2-C2,P3-C3的关系。

几个概念

broker：集群中的每一台服务器，称为Broker

topic或者subject:队列名

partition：一个队列中的消息可以存储到多台broker上面，一个broker中的分区，称为partition

kafka的文件系统

我们知道Kafka是一个Topic下有多个partition，具体结构如下：

下面我们就探究下Kafka的partition的组成到底是什么。

Guava EventBus

EventBus 是Guava的一个发布订阅的模型，先看一个简单的实现：

1. 定义一个Event的消息传递对象

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

   public class TestEvent1 { private final int message; /** * 构造方法 * @param message */ public TestEvent1(int message) { this.message = message; // System.out.println("TestEvent1 事件message:"+message); } public int getMessage() { return message; } }

2. 定义一个Listener

   1 2 3 4 5 6 7 8 9 10 11 12 13 14

   public class EventListener { public int lastMessage = 0; @Subscribe public void listen(TestEvent1 event) { lastMessage = event.getMessage(); System.out.println("Message:"+lastMessage); } public int getLastMessage() { return lastMessage; } }

观察者模式

观察者模式是一个消息的派发的模式，是把被观察者的状态能够及时的通知给观察者。

比如一个超市的打折了，需要把消息通知给每一个超市的顾客，这样就可以把超市作为一个被观察者，而顾客是观察者。

实现逻辑

观察者模式实现的类图如下：

命令模式

命令模式是把对象的操作方法分成一个命令，分别去执行。在分布式环境中，熔断和降级组件使用的设计模式就是命令模式。

为了了解什么是设计模式，可以类比下设计一个万能遥控器的设置，遥控器只负责一个方法的调用，真正的方法实现都在对应的电器上面。

使用的时候，只需要对对应的命令和实体进行注册下就可以了。具体的设计类图如下：

什么是零拷贝

在操作系统中，从内核的形态区分，可以分为内核态（Kernel Space）和用户态（User Space）。

在传统的IO中，如果把数据通过网络发送到指定端的时候，数据需要经历下面的几个过程：

1. 当调用系统函数的时候，CPU执行一系列准备工作，然后把请求发送给DMA处理（DMA可以理解为专门处理IO的组件），DMA将硬盘数据通过总线传输到内存中。
2. 当程序需要读取内存的时候，这个时候会执行CPU Copy,内存会有内核态写入用户的缓存区。
3. 系统调用write()方法时，数据从用户态缓冲区写入到网络缓冲区(Socket Buffer)， 由用户态编程内核态。
4. 最后由DMA写入网卡驱动中，传输到网卡的驱动。

顺序IO和随机IO

对于磁盘的读写分为两种模式，顺序IO和随机IO。 随机IO存在一个寻址的过程，所以效率比较低。而顺序IO，相当于有一个物理索引，在读取的时候不需要寻找地址，效率很高。

网上盗了一个图（侵权删）