在线支持
在线支持
微信支持
微信支持
【知识分享】改进partition automerge
2022-10-27 19:23:09
112次阅读
0个评论
原来automerge (ngmr.partition.automerge) 不计算base本身的大小,并且可能会将两个大的数据块合并在一起 (不管阀值多小)。

改进的方法是

1)合并之前检查自身的大小,如果已经超过阀值(默认8M),就不参与合并了。

2)合并时,把自身的大小计算在内。

阀值控制参数重用现有的:ngmr.partition.mergesize.mb

新的automerge控制参数:inceptor.automerge.maptask

目前默认为false。



可能存在的问题:

收藏 0 0

登录 后评论。没有帐号? 注册 一个。

admin

官方人员
  • 0 回答
  • 0 粉丝
  • 0 关注