Inceptor compact 性能优化方法

• Inceptor 提交到 YARN 上的 compact 任务并发数较低
• YARN 上大量 compact 任务积压在 Pending 状态
• Inceptor 提交到 YARN 上的 compact 任务执行慢

这种情况常见的现象是 YARN 上同时存在的 Compact 任务比较少，且执行完成后会立即有新的 Compact 任务提交上来。

具体的确认方法可以参考Inceptor 合并队列的查看方法，如果发现合并队列中大量任务处于初始化状态（即状态代码i），就属于这种情况，可以参考下面的优化方法。
因为根本原因是因为 Inceptor Metastore 的 Compact Worker 线程数比较低，导致同时可以提交到 YARN 上的 compact 任务比较少，所以可以考虑增加 Inceptor Metastore 的 Compact Worker 线程数。
具体修改方法是，在 Manager 8180 页面上，进入Quark服务，点击配置项，查看一下参数hive.compactor.worker.threads看看是否有配置，如果配置了就将他修改为10或者更高；如果没配置的话，就添加一个自定义参数hive.compactor.worker.threads，配置文件选hive-site.xml，值填10或者更高。
配置为10的意思是有10个 Compact Worker 线程可以同时工作，默认值为2，可以根据需要继续添加。

修改完配置后，需要点击重新配置服务，然后重启 Quark服务后方可生效。

场景2 YARN 上大量 compact 任务积压在 Pending 状态

这种场景常见的现象是 YARN 上能看到大量的 Pending 任务堆积，YARN 的并发能力跟不上了。
通常可以提高 YARN 的并发能力来解决，具体步骤如下。
首先在 Manager 页面，点击【全局服务】>【Guardian】，点击在角色栏，进入任意 Guardian Server 角色的链接中，并使用管理员账号登录（注意必须是租户内用户登录）。
登录后，点击【权限】>【YARN】>【yarn1】。

展开【全局配置】，点击后面的【编辑】，并添加一条新的配置项yarn.scheduler.capacity.maximum-am-resource-percent

配置的值建议为 0.4-0.6 之间。这个配置决定了任务能使用的资源比例，如果是0.4就能使用最多 40% 的资源。默认值为 0.1。
修改后，打勾保存配置。
然后再点击 capacity 队列配置后面的【编辑】，分别点击【root】和【default】队列后面的编辑按钮。

然后调整maxAMResource配置项的值，建议改为0.3-0.5中的任意值。

都修改完后，保存并激活队列。

以上配置全部完成后，需要在 YARN 服务中点击重新配置服务，然后重启YARN 服务后方可生效。

场景3 Inceptor 提交到 YARN 上的 compact 任务执行慢

这种情况常见的现象是同一个 Compact 任务在 YARN 上处于 RUNNING 状态的时间比较长，执行比较慢。
因为 Compact 任务归根到底是通过 MapReduce 引擎来计算的，所以可以考虑增加 MapReduce 资源。
需要调整 Inceptor 和 YARN 服务的相关参数，以下参数请先在服务的配置页面搜索，如果搜到了就直接修改，如果没搜到，就添加自定义参数。

Inceptor 参数修改
mapreduce.map.memory.mb，配置文件hive-site.xml，建议增大该配置，如果想配置为8GB，则值为8192。
mapred.map.java.opts，配置文件hive-site.xml，建议增大该配置，如果想配置为8GB，则值为-Xmx8192m。

YARN 参数修改
yarn.nodemanager.resource.memory-mb，配置文件为yarn-site.xml，建议增大该配置，如果想配置为8GB，则值为8192。
mapred.map.java.opts，配置文件为mapred_site，建议增大该配置，如果想配置为10GB，则值为-Xmx10240m。
修改完配置后，需要分别在 Inceptor 和 YARN 服务中点击重新配置服务，然后重启服务后方可生效。