web | Java

Hadoop如何防止脑裂

千锋教育

hadoop采用日志隔离双写和ZKFC两个机制预防脑裂。


1. JournalNode集群会为主节点设置一个Epoch并分发到各个JN节点,当发生主备切换时,会将Epoch+1赋予新的主节点和各个JN节点


2. JN在接收日志前会检查主节点Epoch是否小于自己,如果小于则拒绝写入。 


3. 每个NN启动一个ZKFC进程,利用ZK的选举完成主备选举,恢复连接的主节点会被通知切换为备节点