一点一滴

“Hadoop”

FSImage元数据结构

Fsimage文件采用protobuf编码格式,在源码中proto文件名为fsimag.proto,存储的格式来说是二进制文件。从源码的load方法中可以看到FSImage格式如下:上图为FSI...

INodeReference机制

在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并且这个文件或者目录被重命名或者移动到...

HDFS namenode 写edit log原理以及源码分析

关于namenode日志,集群做了如下配置<property> <name>dfs.nameservices</name> <value>sync...

Hadoop2.5.2 HA高可靠性集群搭建(Hadoop+Zookeeper)

http://eksliang.iteye.com/blog/2226986

Hadoop HA过程 或 两个NameNode的同步(Journal Node作用)

Journal Node作用两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部...