11.2 DataNode目录结构

NameNode的存储目录是初始阶段自动创建的, 不需要额外的格式化, 这点和NameNode是不同的.

DataNode的关键文件和目录如下:

/opt/module/hadoop-2.7.2/data/tmp/dfs/data
├── current
│   ├── BP-1145871011-192.168.1.201-1531486696928
│   │   ├── current
│   │   │   ├── dfsUsed
│   │   │   ├── finalized
│   │   │   │   └── subdir0
│   │   │   │       └── subdir0
│   │   │   │           ├── blk_1073741825
│   │   │   │           ├── blk_1073741825_1001.meta
│   │   │   │           ├── blk_1073741826
│   │   │   │           └── blk_1073741826_1002.meta
│   │   │   ├── rbw
│   │   │   └── VERSION
│   │   ├── scanner.cursor
│   │   └── tmp
│   └── VERSION
└── in_use.lock

1. 目录: BP-1145871011-192.168.1.201-1531486696928是NameNode中blockpoolID.

2. HDFS数据块存储在以blk_为前缀名的文件中.

3. 每个块有一个相关联的带有.meta后缀的元数据文件.元数据文件包括头部(含版本和类型信息)和该块各区段的一系列的校验和.