打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
hadoop2.0 capacity调度器配置

hadoop2.0 capacity调度器配置

集群同时运行的最大作业数
<name>yarn.scheduler.capacity.maximum-applications</name>
    <value>100</value>

default 队列同时运行的最大作业数
 <name>yarn.scheduler.capacity.root.default.maximum-applications</name>
    <value>10</value>

am 所占资源最大比例,用来控制同时运行的作业数
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.1</value>

默认的资源计算器,使用内存作为度量
<name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>

子队列分别占用资源的百分比,所有子队列的和应该是100
<name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>50</value>
 <name>yarn.scheduler.capacity.root.datadev.capacity</name>
    <value>50</value>

用户可以占用队列分配的资源的比例,0-1
<name>yarn.scheduler.capacity.root.default.user-limit-factor</name>
    <value>1</value>

队列可以使用资源的最高比例
<name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>80</value>

队列的状态:RUNNING   STOPPED
<name>yarn.scheduler.capacity.root.default.state</name>
    <value>RUNNING</value>

队列访问控制,用户与用户之间用“,”隔开,用户和组之间用“ ”空格隔开
<name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>
    <value>datadev </value>

队列管理权限,格式同访问权限配置
<name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>
    <value>datadev datadev</value>

为了尽量调度rack-local的container,可以等待的次数,默认-1表示关闭此项功能。
通常设置为机架数量
<name>yarn.scheduler.capacity.node-locality-delay</name>
    <value>-1</value>



root队列的子队列,子队列也可以细分成多个队列
<name>yarn.scheduler.capacity.root.queues</name>
    <value>default,datadev</value>
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
YARN开启Label Scheduler
大数据开发运维之YARN运维
Hadoop学习之路(8)Yarn资源调度系统详解
Hadoop Yarn 的三种资源调度器详解
hadoop capacity scheduler 配置
Hadoop集群搭建
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服