性能调优
操作系统参数调优
- 增大文件打开限制上限 ulimit命令设置
- 增大网络连接上限 内核参数net.core.somaxconn
- 关闭swap分区 调整/etc/sysctl.conf文件中的vm.swappiness
- 设置合理的预读缓冲区大小 预读可以有效减少磁盘的寻道次数和应用程序的IO等待时间，使用blackdev来设置预读缓冲区的大小
Hadoop参数调优
限制每个TaskTracker上并发的MapTask和ReduceTask数目
mapred-site.xml中配置
mapreduce.tasktracker.map.tasks.maximum和mapreduce.tasktracker.reduce.tasks.maximum