Quark 服务是 ArgoDB 的 SQL 查询引擎,服务的配置参数一般存放于节点 /etc/quark1/conf/hive-site.xml 中,主要包含以下常用参数:
a) 执行相关参数
b) 运维管理相关参数
c) 编译相关参数
d) 存储相关参数
e) 分布式事务相关参数
f) 资源调度相关参数
由于篇幅原因,本篇主要为读者介绍执行相关参数,有关运维管理、编译、存储、分布式事务以及资源调度相关参数请参考系列文章。
Quark 服务的参数配置及查看,分别有以下两种方式:
1. 选择任意连接方式连接 Quark,此处以 Beeline 方式为例(更多连接方法请参考《Transwarp ArgoDB 开发者指南》的连接数据库章节):
beeline -u jdbc:hive2://<ip>:<port> -n admin -p admin
2. 修改参数配置:
set <para_name> = <para_value>;
1. 登录 Tranwarp Manager,进入 Quark 服务配置界面。
2. 配置相关参数:搜索框中搜索需要配置的参数,点击右侧编辑,在编辑狂中进行修改,完成后点击保存。
3. 自定义参数:若需要配置的参数不存在,可以点击 + 添加自定义参数,在弹出页面中输入参数名称、取值、配置文件及参数说明,其中 ***** 表示必填字段。
4. 点击服务菜单右上角配置服务下发配置,然后重启该服务使配置生效。
ArgoDB 6.0 提供语法,支持在执行 SQL 语句时,通过添加 Hint 的方式进行 Query 级别的参数配置
配置语法
INSERT/CREATE/SELECT/UPDATE/DELETE/MERGE /*+ env_set(<para_name>=<para_value>,<para_name>=<para_value>,...) , <other_hint>() */
或使用两个 Hint 分来来写,如:/*+env_set(a=1, b=2, c=3)*/ /*+mapjoin(table_A)*/
在使用 Beeline 连接 ArgoDB 数据库后,我们提供以下 SQL 命令查看参数基本信息:
show conf '<para_name>';
set <para_name>;
其中 <para_name> 表示参数名称。
Quark 服务中执行相关的参数主要包含以下方面:
参数说明:
默认值: -1
取值范围: 自定义 INT 型的质数,且不等于 31 及其倍数。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: 3
取值范围: 自定义 INT 型。
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: 8
取值范围: 自定义 INT 型。
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: nonstrict
取值范围: strict、nonstrict
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: 100
取值范围: 自定义 INT 型。
参数说明:
默认值: false
取值范围: true、false
参数说明:
控制是否自动对动态分区插入语句进行优化改写。默认为 true,表示开启此功能。
默认值: true
取值范围: true、false
注意事项: 使用此开关的前提,需要设置以下参数:
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: 10000
取值范围: 自定义 INT 型。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
注意事项: 如果需要修改本参数,请在所有**节点的配置文件 hive-site.xml 中配置,并且重启 Quark 后才会生效。
参数说明:
默认值: 3
取值范围: 自定义 INT 型。
注意事项: 此参数不建议设置过大。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
注意事项: 该开关是参数 inceptor.data.audit.statement、inceptor.strict.evaluate 和 inceptor.notnull.audit 的 Top Level 控制。
参数说明:
默认值: false
取值范围: true、false
注意事项: 本参数随参数 inceptor.data.audit 设为 true 时默认自动打开(值为 true)。
参数说明:
用来控制是否在遇到脏数据时报 Exception。如果已知 Table 中有脏数据建议关闭该开关(值为 false)。
默认值: false
取值范围: true、false
注意事项: 本参数随参数 inceptor.data.audit 设为 true 时默认自动打开(值为 true)。
inceptor.notnull.audit
参数说明:
默认值: false
取值范围: true、false
注意事项: 本参数随参数 inceptor.data.audit 设为 true 时默认自动打开(值为 true)。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
优化效果:实现 MapJoin 时,可根据维度表的运行结果在运行时动态生成事实表的过滤条件。
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: 100000
取值范围: 自定义 INT 型。
参数说明:
默认值: 100
取值范围: 自定义 INT 型。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
WHERE col1 > 1 AND (col2 < 2 OR col3 > 3)
默认值: true
取值范围: true、false
参数说明:
WHERE a=x
默认值: true
取值范围: true、false
参数说明:
WHERE a != x
默认值: true
取值范围: true、false
参数说明:
WHERE a IN (x,y)
默认值: true
取值范围: true、false
参数说明:
WHERE a NOT IN (x,y)
默认值: true
取值范围: true、false
参数说明:
WHERE a LIKE "x_"
WHERE a RLIKE "x*"
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
是否下推 IS NULL 条件查询,如:
WHERE a IS NULL
默认值: true
取值范围: true、false
参数说明:
WHERE a IS NOT NULL
默认值: true
取值范围: true、false
参数说明:
WHERE a BETWEEN 1 AND 10
默认值: true
取值范围: true、false
参数说明:
WHERE a > 10
默认值: true
取值范围: true、false
ngmr.stargate.filter.equalorgreaterthan.pushdown
参数说明:
WHERE a >= 10
默认值: true
取值范围: true、false
参数说明:
WHERE a < 10
默认值: true
取值范围: true、false
ngmr.stargate.filter.equalorlessthan.pushdown
参数说明:
WHERE a <= 10
默认值: true
取值范围: true、false
参数说明:
WHERE a > 10
WHERE a >= 10
WHERE a < 10
WHERE a <= 10
WHERE a BETWEEN 10 AND 20
默认值: true
取值范围: true、false
参数说明:
默认值: oracle
取值范围: oracle、db2、td
参数说明:
默认值: oracle
取值范围: oracle、db2、td
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
注意事项: 建议仅在调试时开启,否则会带来资源压力。
参数说明:
默认值: false
取值范围: true、false
注意事项: 该变量需要在真正运行存储过程而不是创建存储过程的时候设置。
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: 0
取值范围: 自定义 STRING(TIME) 型(默认单位:毫秒),支持指定单位:d/day、h/hour、m/min、s/sec、ms/msec、us/usec, ns/nsec。
参数说明:
默认值: true
取值范围: true、false
注意事项: 请谨慎设为 false。
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: 100
取值范围: 自定义 INT 型。
参数说明:
默认值: http://node1:4567
取值范围:
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: true
取值范围: true、false
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: tddms1
取值范围: TDDMS 服务 ID 名称
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: 无
取值范围: [MasterGroup]
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: 无
取值范围: TDDMS 服务 ID 名称
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: false
取值范围: true、false
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: 无
取值范围: [MasterGroup]
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: shiva
取值范围: 字符串
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: shiva
取值范围: 字符串
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
Quark 服务是 ArgoDB 的 SQL 查询引擎,服务的配置参数一般存放于节点 /etc/quark1/conf/hive-site.xml 中,主要包含以下常用参数:
a) 执行相关参数
b) 运维管理相关参数
c) 编译相关参数
d) 存储相关参数
e) 分布式事务相关参数
f) 资源调度相关参数
由于篇幅原因,本篇主要为读者介绍执行相关参数,有关运维管理、编译、存储、分布式事务以及资源调度相关参数请参考系列文章。
Quark 服务的参数配置及查看,分别有以下两种方式:
1. 选择任意连接方式连接 Quark,此处以 Beeline 方式为例(更多连接方法请参考《Transwarp ArgoDB 开发者指南》的连接数据库章节):
beeline -u jdbc:hive2://<ip>:<port> -n admin -p admin
2. 修改参数配置:
set <para_name> = <para_value>;
1. 登录 Tranwarp Manager,进入 Quark 服务配置界面。
2. 配置相关参数:搜索框中搜索需要配置的参数,点击右侧编辑,在编辑狂中进行修改,完成后点击保存。
3. 自定义参数:若需要配置的参数不存在,可以点击 + 添加自定义参数,在弹出页面中输入参数名称、取值、配置文件及参数说明,其中 ***** 表示必填字段。
4. 点击服务菜单右上角配置服务下发配置,然后重启该服务使配置生效。
ArgoDB 6.0 提供语法,支持在执行 SQL 语句时,通过添加 Hint 的方式进行 Query 级别的参数配置
配置语法
INSERT/CREATE/SELECT/UPDATE/DELETE/MERGE /*+ env_set(<para_name>=<para_value>,<para_name>=<para_value>,...) , <other_hint>() */
或使用两个 Hint 分来来写,如:/*+env_set(a=1, b=2, c=3)*/ /*+mapjoin(table_A)*/
在使用 Beeline 连接 ArgoDB 数据库后,我们提供以下 SQL 命令查看参数基本信息:
show conf '<para_name>';
set <para_name>;
其中 <para_name> 表示参数名称。
Quark 服务中执行相关的参数主要包含以下方面:
参数说明:
默认值: -1
取值范围: 自定义 INT 型的质数,且不等于 31 及其倍数。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: 3
取值范围: 自定义 INT 型。
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: 8
取值范围: 自定义 INT 型。
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: nonstrict
取值范围: strict、nonstrict
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: 100
取值范围: 自定义 INT 型。
参数说明:
默认值: false
取值范围: true、false
参数说明:
控制是否自动对动态分区插入语句进行优化改写。默认为 true,表示开启此功能。
默认值: true
取值范围: true、false
注意事项: 使用此开关的前提,需要设置以下参数:
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: 10000
取值范围: 自定义 INT 型。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
注意事项: 如果需要修改本参数,请在所有**节点的配置文件 hive-site.xml 中配置,并且重启 Quark 后才会生效。
参数说明:
默认值: 3
取值范围: 自定义 INT 型。
注意事项: 此参数不建议设置过大。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
注意事项: 该开关是参数 inceptor.data.audit.statement、inceptor.strict.evaluate 和 inceptor.notnull.audit 的 Top Level 控制。
参数说明:
默认值: false
取值范围: true、false
注意事项: 本参数随参数 inceptor.data.audit 设为 true 时默认自动打开(值为 true)。
参数说明:
用来控制是否在遇到脏数据时报 Exception。如果已知 Table 中有脏数据建议关闭该开关(值为 false)。
默认值: false
取值范围: true、false
注意事项: 本参数随参数 inceptor.data.audit 设为 true 时默认自动打开(值为 true)。
inceptor.notnull.audit
参数说明:
默认值: false
取值范围: true、false
注意事项: 本参数随参数 inceptor.data.audit 设为 true 时默认自动打开(值为 true)。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
优化效果:实现 MapJoin 时,可根据维度表的运行结果在运行时动态生成事实表的过滤条件。
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: 100000
取值范围: 自定义 INT 型。
参数说明:
默认值: 100
取值范围: 自定义 INT 型。
参数说明:
默认值: false
取值范围: true、false
注意事项: 高危参数,请用户尽量不要改变默认设置。
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
WHERE col1 > 1 AND (col2 < 2 OR col3 > 3)
默认值: true
取值范围: true、false
参数说明:
WHERE a=x
默认值: true
取值范围: true、false
参数说明:
WHERE a != x
默认值: true
取值范围: true、false
参数说明:
WHERE a IN (x,y)
默认值: true
取值范围: true、false
参数说明:
WHERE a NOT IN (x,y)
默认值: true
取值范围: true、false
参数说明:
WHERE a LIKE "x_"
WHERE a RLIKE "x*"
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
是否下推 IS NULL 条件查询,如:
WHERE a IS NULL
默认值: true
取值范围: true、false
参数说明:
WHERE a IS NOT NULL
默认值: true
取值范围: true、false
参数说明:
WHERE a BETWEEN 1 AND 10
默认值: true
取值范围: true、false
参数说明:
WHERE a > 10
默认值: true
取值范围: true、false
ngmr.stargate.filter.equalorgreaterthan.pushdown
参数说明:
WHERE a >= 10
默认值: true
取值范围: true、false
参数说明:
WHERE a < 10
默认值: true
取值范围: true、false
ngmr.stargate.filter.equalorlessthan.pushdown
参数说明:
WHERE a <= 10
默认值: true
取值范围: true、false
参数说明:
WHERE a > 10
WHERE a >= 10
WHERE a < 10
WHERE a <= 10
WHERE a BETWEEN 10 AND 20
默认值: true
取值范围: true、false
参数说明:
默认值: oracle
取值范围: oracle、db2、td
参数说明:
默认值: oracle
取值范围: oracle、db2、td
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: false
取值范围: true、false
注意事项: 建议仅在调试时开启,否则会带来资源压力。
参数说明:
默认值: false
取值范围: true、false
注意事项: 该变量需要在真正运行存储过程而不是创建存储过程的时候设置。
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: true
取值范围: true、false
参数说明:
默认值: 0
取值范围: 自定义 STRING(TIME) 型(默认单位:毫秒),支持指定单位:d/day、h/hour、m/min、s/sec、ms/msec、us/usec, ns/nsec。
参数说明:
默认值: true
取值范围: true、false
注意事项: 请谨慎设为 false。
参数说明:
默认值: false
取值范围: true、false
参数说明:
默认值: 100
取值范围: 自定义 INT 型。
参数说明:
默认值: http://node1:4567
取值范围:
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: true
取值范围: true、false
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: tddms1
取值范围: TDDMS 服务 ID 名称
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: 无
取值范围: [MasterGroup]
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: 无
取值范围: TDDMS 服务 ID 名称
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: false
取值范围: true、false
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: 无
取值范围: [MasterGroup]
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: shiva
取值范围: 字符串
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。
参数说明:
默认值: shiva
取值范围: 字符串
注意事项: 本参数为全局参数,只能通过 Manager 平台的 Quark 服务配置界面进行配置。