星环运维监控产品AquilaInsight系列文章(二）Aquila的核心功能介绍

产品组成
以当前TDH的最新版本Aquila Insight 9.3.x 为例，Aquila Insight 9.3.x是TDH上9.3.x版本的全局服务Aquila和多个9.4.x版本的普通服务DBAService的组合。
上一篇我们简单介绍了运维监控产品AquilaInsight的功能有哪些以及产品服务角色对应的能力，本篇我们来重点介绍一下Aquila，下一篇将为您讲解DBAService的内容。

Aquila的核心功能是指标收集/存储/可视化，告警规则管理/检测，告警记录推送/查看/通知，一些提升效率的运维页面/工具。
Aquila中包含7种角色，每种角色的作用参考上一章节：Aquila architecture
指标收集原理

可以在Aquila上看到所有的指标数据源：

也可以在Aquila的Prometheus自带的前端页面上看所有的指标数据源：


指标存储原理

可以在prometheus上查看存储的一些统计数据


指标可视化原理


仪表盘配置管理
用户自定义文件夹/仪表盘/面板，导入/导出仪表盘，搜索仪表盘/面板，导出所有仪表盘配置到Excel：

导出Excel的示例


系统资源指标



节点通用关键指标
磁盘使用概览

网络使用概览

节点网络延迟

节点CPU/内存/网络


节点文件句柄


POD内服务通用指标
JVM监控(TOP 5 POD)

节点磁盘POD读写TOP10(单节点单磁盘)


组件/业务相关指标
Quark QPS和延迟

Quark/Metastore/Txsql/Kundb连接数


Quark 调度池资源使用率和任务堆积情况


KunDB QPS和延迟

TDDMS(ARGODB/SCOPE)存储监控

HDFS存储监控


HDFS小文件监控


告警规则管理

导入导出规则库，导出所有规则到Excel。

Aquila默认的告警规则库由星环官方团队统一维护管理，如果您有需求可以在本篇文章下进行留言反馈，我们会基于您的需求进行评估。

告警检测原理
MTRIC类告警检测原理

可以在prometheus上查看METRIC类告警规则。

SQL类告警检测原理


告警记录推送(通知)/保存

Aquila上配置通知策略

可以在AlertManager上查看通知策略的配置。


告警记录查看


多个DBAService的Quark监控统一入口


所有Quark的每日异常Query统计

下载的Excel文件内容如下：


运维工具箱
目前，Aquila提供了5种工具箱，汇集了各种相对独立的运维功能，其中JVM监控可以收集集群中任意pod的jvm信息。
Quark滚动重启
Gateway可以关联多个Quark Server，提供Quark Server的负载均衡和高可用方案，Aquila Insight工具箱提供了一个Quark滚动重启（上下线Gateway）的工具，支持在不影响业务的前提下通过滚动重启的方式变更Quark服务。

滚动重启操作步骤：
1.将Quark服务在相关Gateway服务中下线，并等待Quark中的查询全部执行完成；
2.执行Quark服务变更（如重启）；
3.上线Quark服务。对每个Quark依次操作即可
Hbase的库表监控

JVM监控(jstack/jinfo/jmap/jstat)




Scope索引表

HDFS/TDDMS快照管理

• HDFS快照管理

• TDDMS快照管理

• Hyperbase快照管理

未来，Aquila运维工具箱还会陆续增加越来越多的功能。

Jstack/Jmap/Executor重启日志等收集工具
该工具默认包含在Aquila9.3.1中，如果您的版本是其他历史版本，请下载最新版本社区版V2023-5。
该工具的输出在/var/log/aquila/transwarp-ops目录下，目录结构如下，如果是关心jvm的问题，主要看restart.record, jstat.record, jvm-stats, logs这些文件或目录。

jvm-stats中文件如下,文件名包含了打jmap时old区使用率，距离上次打jmap时，中间发生过几次fgc，平均每次fgc耗时，单位秒。

logs中时executor重启时附近时间点server/executor/metastore等的日志文件的压缩包


以上就是Aquila的核心功能介绍，下一篇我们来了解下DBA Service的核心功能及基本原理介绍。