0%

HDFS小文件处理

HDFS小文件处理

小文件过多会导致速度变慢,由于文件的索引是建立在NameNode中,小文件过多会导致索引过多,从而占用了NameNode的内存,然后索引文件过大也会导致索引速度下降

解决方案

  • 在数据采集的时候,就将小文件或小批数据合成大文件再上传HDFS

  • 在业务处理之前,在HDFS上使用MapReduce程序对小文件进行合并

  • 在MapReduce处理时,可采用CombineTextInputFormat提高效率

Hadoop Archive

是一个高效地将小文件放入HDFS块中的文件存档工具,它能够将多个小文件打包成一个HAR文件,这样就减少了NameNode的内存使用

Sequence File

Sequence File由一系列的二进制key/value组成,如果key为文件名,value为文件内容,则可以将大批小文件合并成一个大文件

CombineFileInputFormat

CombineFileInputFormat用于将多个文件合并成一个单独的Split,另外,它会考虑数据的存储位置

开启JVM重用

对于大量小文件Job,可以开启JVM重用会减少45%运行时间

JVM重用原理:一个Map运行在一个JVM上,开启重用的话,该Map在JVM上运行完毕后,JVM继续运行其他Map

mapreduce.job.jvm.numtasks配置在10-20之间