一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题。 RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。 而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP。于是参考一些文章作了调整: # for hadoop , disable thp echo never /sys/kernel/mm/redhat_transparent_hugepage/enabled echo never /sys/kernel/mm/redhat_tr
2014-06-11 22:28
分享到微信
打开微信,点击顶部的“╋”,
使用“扫一扫”将网页分享至微信。