找回密码
 骑士注册

QQ登录

微博登录

搜索
❏ 站外平台:

关于CentOS 6下Hadoop占用系统态CPU高的处理办法

2014-06-11 22:28    评论: 3 收藏: 2 分享: 1    

    一次不经意发现Hadoop的系统态CPU使用率很高,然后百度一下居然是个已知问题

    RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升:http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。

    而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP。于是参考一些文章作了调整: 

# for hadoop , disable thp
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

     作用非常明显:

   

    效果很明显,大概12:05分的时候操作的,系统态占用基本消失了。文件Cache使用上升、机器负载下降。

    除了手动修改运行时参数之外,还可以修改 /etc/grub.conf 里内核的启动参数,追加“transparent_hugepage=never”(此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效)。

    原本 transparent_hugepage 功能是在内核2.6.38之后才引入的,红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。

via : http://hi.baidu.com/higkoo/item/eb5e69c17c6b300a0ad93a00 

最新评论

我也要发表评论

[1]
Johnny_ZYY 发表于 2014-07-04 09:29 的评论:
监控软件做的图?
linux 2014-07-04 10:03 回复
mrtg嘛
ykyx00 2014-06-13 11:50 回复
+1

收藏

返回顶部

分享到微信

打开微信,点击顶部的“╋”,
使用“扫一扫”将网页分享至微信。