友情链接

• Quark 基础参数大全系列一 | 基础篇及执行相关参数
• Quark 基础参数大全系列二 | 运维管理篇
• Quark 基础参数大全系列三 | 编译相关篇
• Quark 基础参数大全系列四 | 存储篇
• Quark 基础参数大全系列六| 资源调度篇

transaction.type

参数说明：

• 新建事务的类型。

默认值： none

取值范围： none、holodesk、inceptor

hive.txn.timeout

参数说明：

• 该时间长度内如果客户端没有发送心跳，就停止事务支持。

默认值： 300000

取值范围： 自定义 STRING(TIME) 型（默认单位：毫秒），支持指定单位：d/day、h/hour、m/min、s/sec、ms/msec、us/usec, ns/nsec。

hive.compactor.worker.threads

参数说明：

• 允许多少 Compactor Worker 线程执行 Compaction 任务。
• 该参数越大，Compaction 过程所需时间越少，但同时提交的任务就过多，会占用系统资源。一般 1~2 个线程就足够。

默认值： 2

取值范围： 自定义正整数型

注意事项： 使用 ORC 事务表（即 TORC）时该参数必须为正数。

hive.compactor.worker.timeout

参数说明：

• 一个 Compaction Job 如果没有在该时长内完成任务，就会被认为失败，系统将该 Job 重新排列在队列中。

默认值： 86400

取值范围： 自定义 STRING(TIME) 型（默认单位：秒），支持指定单位：d/day、h/hour、m/min、s/sec、ms/msec、us/usec, ns/nsec。

hive.compactor.check.interval

参数说明：

• 每隔多久检查一次 Tables/Partitions 是否需要 Compaction。
• 由于进行一次检查需多次调用 NameNode，因此此值越低越会增加 NameNode 的压力，但同时会缩短 Compaction 被启动的时间间隔。

默认值： 90

取值范围： 自定义 STRING(TIME) 型（默认单位：秒），支持指定单位：d/day、h/hour、m/min、s/sec、ms/msec、us/usec, ns/nsec。

hive.compactor.delta.num.threshold

参数说明：

• 有 base 文件的情况下，当目录中的 delta 文件增至多少时进行一次 Compaction。

默认值： 50

取值范围： 自定义 INT 型。

hive.compactor.delta.num.threshold.without.base

参数说明：

• 没有 base文 件的情况下，当 delta 文件增至多少时进行一次 Compaction。

默认值： 10

取值范围： 自定义 INT 型。

hive.compactor.initiator.on

参数说明：

• 是否允许在当前 Metastore Instance 中运行 initiator 线程和 cleaner 线程。
• 在开启事务支持时，需要在 Manager 平台的 Compact Service 服务配置中将之设为 true。

默认值： true

取值范围： true、false

hive.compactor.delta.pct.threshold

参数说明：

• 当 delta 文件大小到达 base 文件尺寸的多少比重时触发一次 Major Compaction。（1.0 = 100%，即默认值 0.1 = 10%）

默认值： 0.1

取值范围： 自定义 FLOAT 型。

hive.compactor.abortedtxn.threshold

参数说明：

• 当有多少被中断的事务涉及了指定 table/partition 时就触发一次 Major Compaction。

默认值： 1000

取值范围： 自定义 INT 型

hive.compactor.cleaner.run.interval

参数说明：

• 每隔多久运行一次 Cleaner Thread。

默认值： 30000

取值范围： 自定义 STRING(TIME) 型（默认单位：毫秒），支持指定单位：d/day、h/hour、m/min、s/sec、ms/msec、us/usec, ns/nsec。

ngmr.nested.transaction

参数说明：

• 是否允许嵌套事务。

默认值： false

取值范围： true、false

inceptor.acid.reader.mode

参数说明：

• 设置读数据时的 ACID 模式。

默认值： 0

取值范围：

• 0：不采用 ACID。
• 1：表明当前读操作是用于实现 UPDATE/DELETE TABLE。
• 2：表明当前操作只是读取 ROWID 的简单语句。

orc.compact.service.provider

参数说明：

• 指定后台进行 ORC 事务表 Compact 的 service 的 provider。

默认值： server

取值范围：

• server：由 Quark Server 提供 Compact 服务，Compact Task是Spark Task；
• Metastore：由 Metastore 提供 Compact 服务，其Task是MapReduce Task；

orc.compactor.initiator.on

参数说明：

• 当 orc.compact.service.provider= server 时，该开关用于控制是否开启 orc 事务表 Compact 的自动检测。
• 若为 true，Compact Service 将自动检测并 Compact 系统中需要 Compact 的 orc 事务表。
• 若为 false，系统将不进行自动检测，此时用户需通过 ALTER TABLE COMPACT 命令对特定表发起 Compact。

默认值： true

取值范围： true、false