一点一滴

一点一滴

点点滴滴,记录人生

NameNode启动过程

启动NameNode的进程sbin/start-dfs.sh里面的核心代码如下#通过命令查询处所有的NameNode NAMENODES=$("${HADOOP_HDFS_HOME}/...

Hadoop的scheduler后台界面如何查看完整sql

老是在这个界面看不全看不到完整的sql。

理解不可变集合 | Guava Immutable与JDK unmodifiableList

1、为什么需要不可变集合(1)保证线程安全:在并发程序中,使用Immutable既保证线程安全性,也大大增强了并发时的效率(跟并发锁方式相比)。尤其当一个对象是值对象时,更应该考虑采用Immut...

FSImage元数据结构

Fsimage文件采用protobuf编码格式,在源码中proto文件名为fsimag.proto,存储的格式来说是二进制文件。从源码的load方法中可以看到FSImage格式如下:上图为FSI...

INodeReference机制

在hdfs2.6版本中,引入了许多新的功能,一些原有的源代码设计也有一定的改造。一个重要的更新就是引入了快照功能。但是当HDFS文件或者目录处于某个快照中,并且这个文件或者目录被重命名或者移动到...