主备NameNode一致性原理
千锋教育
hadoop采用QJM共享存储机制来确保主备NameNode的元数据尽量一致。
1. 启动一组奇数的JournalNode节点,主NameNode将操作日志并行写入本地和所有JournalNode节点,当超过一半JournalNode节点写入成功时判定为成功,遵循Paxos协议。
2. 备NN会定时检查JournalNode上的EditLog,将它拉回本地
3. 备NN会定期将本地的FS镜像文件和EditLog合并成新的镜像文件(保存最新的内存状态),传回主NN
4. 主NN更新本地的镜像文件,删除旧的日志
5. 发生主备切换时,选取最好的JN同步最新日志到本地(日志恢复机制),更新到最近状态