“Hadoop”
FSImage元数据结构
Fsimage文件采用protobuf编码格式,在源码中proto文件名为fsimag.proto,存储的格式来说是二进制文件。从源码的load方法中可以看到FSImage格式如下:上图为FSI...
INodeReference机制
在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并且这个文件或者目录被重命名或者移动到...
HDFS namenode 写edit log原理以及源码分析
关于namenode日志,集群做了如下配置<property> <name>dfs.nameservices</name> <value>sync...
Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)
http://eksliang.iteye.com/blog/2226986
Hadoop HA过程 或 两个NameNode的同步(Journal Node作用)
Journal Node作用两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部...