dledger原理源码分析系列(一)-架构，核心组件和rpc组件
简介
dledger是openmessaging的一个组件， raft算法实现，用于分布式日志，本系列分析dledger如何实现raft概念，以及dledger在rocketmq的应用
本系列使用dledger v0.40
本文分析dledger的架构，核心组件；rpc组件
关键词
Raft
Openmessaging
参考资料
In Search of an Understandable Consensus Algorithm raft论文简版
技术架构
- 应用/client client是dledger提供给应用访问节点的组件
- rpc服务
rpc服务内置rpc client/rpc server，对外接收外部rpc访问，包括client和节点间通讯；对内，解释rpc请求，转发给Server；对外，发送rpc请求到其他节点
- Server
主程序，负责节点启动，其他组件的启动；写入日志请求初步处理等
- Elector
选举类，负责集群主节点选举
- EntryPusher
日志写入器，内置分发器和处理器，分发器主节点用于复制日志到跟随者；处理器跟随者使用，写入日志
- 存储
存储日志条木，有两个实现，基于内存和基于文件
- 快照/状态机
新版本的dledger提供状态机，dledger成为通用的raft组件，不再是转为rocketmq使用
启动
本节分析节点启动，下图是典型的dledger启动代码
- 构建和初始Server，Server代表节点
- 注册状态机，若需要的话
- 注册自定义的处理器，扩展rpc服务，若有的话
- Metrics组件初始化
- 启动server
Server启动，负责启动核心组件
6. 优雅关机
rpc
本节介绍dledger的rpc模块，dledger选主，日志写入和复制通过来来回回的rpc完成，本节介绍dledger业务层面的rpc设计
节点间通讯
上图节点间通讯模型
RaftProtocol/RaftProtocolHanlder raft服务接口/处理器接口，raft服务接口定义外部，包括client和节点间访问接口；处理器定义raft处理服务接口
ClientProtocol/ ClientProtocolHanlder 日志服务接口/处理器接口，日志服务接口定义外部，包括client和节点间访问接口；处理器定义日志处理服务接口
RpcService 内置rpc client/rpc server， 对内使用NettyRemotingServer接收rpc请求，解释rpc请求，转发给Server；对外，使用NettyRemotingClient发送rpc请求到其他节点
Server handler的真正实现者
技术架构图很直观的展示rpc调用关系
客户端通讯
Client组件是应用用于集成dledger，应用可使用client组件访问集群
MetadataUpdate 定时更新leaderId，让Client访问领导者节点
DLedgerClientProtocol 定义了访问集群的接口
扩展机制
Dledger提供rpc扩展机制，通过增加rpc处理器，DLedgerRpcService提供方法注册用户定义处理器
系列文章
- 架构，核心组件和rpc组件 完成
- 心跳和选举 TBD
- 日志写入/复制和存储 包括日志写入和复制，日志存储组件
- 集成rocketmq rocketmq使用dledger实现消息存储复制；broker控制器 元数据复制
- 快照/状态机
- 集群成员变更 成员变更管理，节点的上线下线发现，dledger v0.4未实现，但计划中，未来版本实现
- jraft “double check” 多重分析，jraft比较忠实实现了raft算法，在dledger基础上，再研究jraft对raft更深入的认识
- 快照/状态机
- 存储
- EntryPusher
- Elector
- Server
