0%

HDFS文件块

HDFS文件块

HDFS中的文件是分块(Block)存储的,可以使用dfs.blocksize来设置块的大小,默认是128M

1
2
3
4
5
6
7
<!-- 可以用k/m/g/t/p/e作为后缀,也可以使用字节
134217728就是 128 MB
-->
<property>
<name>dfs.blocksize </name>
<value>134217728</value>
</property>

HDFS块的大小设置主要取决于磁盘的传输速度

如果块的大小太小的话,会导致块的数量特别多,增加了寻址时间

如果块的大小太大的话,程序在处理数据块的时候会非常慢