HDFS文件块

发表于 2020-11-24 更新于 2024-03-06 分类于 hadoop 阅读次数： Valine：
本文字数： 355 阅读时长 ≈ 1 分钟

HDFS中的文件是分块(Block)存储的，可以使用dfs.blocksize来设置块的大小，默认是128M

<!-- 可以用k/m/g/t/p/e作为后缀，也可以使用字节
134217728就是 128 MB 
-->
<property>
  <name>dfs.blocksize    </name>
  <value>134217728</value>
</property>

HDFS块的大小设置主要取决于磁盘的传输速度

如果块的大小太小的话，会导致块的数量特别多，增加了寻址时间

如果块的大小太大的话，程序在处理数据块的时候会非常慢

1 2	# 查看块信息，列出文件系统中各个文件由哪些块构成 hdfs fsck / -files -blocks