【知识分享】改进partition automerge
2022-10-27 19:23:09
112次阅读
0个评论
原来automerge (ngmr.partition.automerge) 不计算base本身的大小，并且可能会将两个大的数据块合并在一起 （不管阀值多小）。
改进的方法是：
1）合并之前检查自身的大小，如果已经超过阀值（默认8M）,就不参与合并了。
2）合并时，把自身的大小计算在内。
阀值控制参数重用现有的：ngmr.partition.mergesize.mb
新的automerge控制参数：inceptor.automerge.maptask
改进的方法是：
1）合并之前检查自身的大小，如果已经超过阀值（默认8M）,就不参与合并了。
2）合并时，把自身的大小计算在内。
阀值控制参数重用现有的：ngmr.partition.mergesize.mb
新的automerge控制参数：inceptor.automerge.maptask
目前默认为false。
可能存在的问题：
0
0
