HDFS小文件处理
小文件过多会导致速度变慢，由于文件的索引是建立在NameNode中，小文件过多会导致索引过多，从而占用了NameNode的内存，然后索引文件过大也会导致索引速度下降
解决方案
在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS
在业务处理之前，在HDFS上使用MapReduce程序对小文件进行合并
在MapReduce处理时，可采用CombineTextInputFormat提高效率
Hadoop Archive
是一个高效地将小文件放入HDFS块中的文件存档工具，它能够将多个小文件打包成一个HAR文件，这样就减少了NameNode的内存使用
Sequence File
Sequence File由一系列的二进制key/value组成，如果key为文件名，value为文件内容，则可以将大批小文件合并成一个大文件
CombineFileInputFormat
CombineFileInputFormat用于将多个文件合并成一个单独的Split，另外，它会考虑数据的存储位置
开启JVM重用
对于大量小文件Job，可以开启JVM重用会减少45%运行时间
JVM重用原理：一个Map运行在一个JVM上，开启重用的话，该Map在JVM上运行完毕后，JVM继续运行其他Map
mapreduce.job.jvm.numtasks配置在10-20之间