社区版全新版本V2024-5 Release Notes
友情链接
社区版文档
社区开发版文档
相关资源
- 新版本Manager使用手册
- 如何链接数据库
- 【0-1系列】快速了解搜索引擎Scope
- [社区开发版] 使用图数据库进行人物关系探索Demo示例及教程
- [社区开发版]使用图数据库进行反洗钱之银行转账流水数据分析
- 如何通过社区版TDH对数据进行分析探索
- 社区版基础能力演示--计算隔离（离线跑批、OLAP分析业务演示）
- 社区版基础能力演示--数据库方言+CRUD能力
- 社区版基础能力演示--数据库安全（库、表、行、列级权限管控实操）
- 更多社区版相关资源及汇总链接
Inceptor新增功能点
Skew Join功能
在数据密集型行业中，数据倾斜是一个常见且复杂的问题，其通常表现为某些键值对的分布极不平衡，例如表中的某个键值对应的记录量远超过其他键时，会导致连接（Join）操作中个别节点的处理时间过长，从而成为整个查询过程的瓶颈，影响整个系统的处理效率和性能。
面对这一挑战，此次新版本Inceptor 推出了 Skew Join 功能，旨在自动化处理数据倾斜问题，优化 Join 操作的性能。与传统方法相比，Skew Join 设置完成后不再需要用户介入，也不限于小表的连接优化，它能够自动处理大表之间的连接操作，有效减少查询响应时间。
归档分区
在数据关联中，数据库中通常包含大量数据及分区，其中包括活跃分区数据和历史分区数据。随着时间的推移，数据库中的数据量及分区量不断增长，小文件数量也随之增长、元数据管理开销越来越大，导致运行查询性能下降，存储成本上升。
为此，对于较少访问更改的历史数据及分区信息，Inceptor 新增提供归档分区功能。此功能支持用户进行分区合并的操作，减少小文件碎片化问题，同时通过归档机制，将不活跃的历史分区数据迁移至低成本的存储层，从而优化存储资源的分配和利用。在确保数据可访问性的前提下，实现了存储成本的有效控制，为数据库的长期运维与扩展提供支持。
Manager新增功能及优化
- 全新的UI界面包含新的仪表盘设计，节点详情，服务详情展示等功能。仪表盘更加直观易读，同时融合了关键指标，使数据洞察一目了然，助力用户快速把握全局态势。
- 优化节点详情页面，集成多项关键信息。其中包括系统负载情况及分区配置信息，让资源利用状况一目了然，帮助用户更高效管理存储资源，优化数据布局。同时，页面集成及时告警通知，确保用户迅速了解异常情况，有效提升系统稳定性。
- 在扩容节点时需要在“分配角色”页面对所有扩容节点的角色进行分配或确认，当服务较多或扩容节点较多时，操作较为繁琐。Manager新增节点模板，扩容新节时，可一键按照预设模板自动部署相关角色，显著简化扩容流程。
- 用户在使用过程中，会遇到需求修改配置的情况，若有回退需求则仅能通过自行修改，并且较为繁琐。为解决这一痛点，Manager上线服务配置快照功能，支持多版本历史备份，用户可回溯至安全点，从容应对配置变更需求；
- 新增HDFS服务滚动重启功能，服务在重启期间仍可以使用，确保在服务更新过程中业务不中断，降低运维影响；
- 磁盘管理全面升级，支持故障磁盘一键下线、删除及重新上线。一次性配置所有和磁盘相关的角色，避免繁琐手动操作；
- 升级服务运行状况概览页面，集成Manager健康检查和Aquila监控告警，一站式了解服务运行状况；
- 支持导出集群诊断信息文件，简化集群诊断信息收集步骤，有效提升诊断效率；
- 针对此前用户、用户组、用户角色和用户权限的控制权均在系统管理员，对于对权限划分要求比较细致的客户来说，较难满足其要求。因此，Manager加入新的用户权限：用户管理员和权限管理员。新增角色实现精细化用户权限管理，精准赋能，满足组织内多层次、细粒度的权限分配需求；
- 优化自动登出机制，支持用户自定义闲置超时逻辑，通过配置无操作自动登出时间，结合动态弹窗通知，双重保障集群信息安全；
- 新增全局搜索栏，可以智能解析用户输入的关键字，对菜单项，服务，节点信息进行高效检索并跳转至相应页面，提升系统导航体验；
Aquila新增功能及优化
- 强化第三方服务集成能力，通过优化接口兼容度，高效整合第三方服务预警体系。新增功能包括自动捕获、展示并推送第三方报警信息，智能生成报警规则组及细化规则，支持一键跳转至第三方报警源处查看详细情况，实现报警管理的高效协同与即时响应。
- 引入“一键批量开启/关闭告警规则”功能，支持用户高效地批量启用或禁用告警规则。这一改进让用户能够根据实时业务迅速调整监控策略，无论是应对临时维护时段的告警静默，还是保障特定时段的重点监控，都能轻松实现，极大增强了告警系统灵活性与适用性。
- TDH集群支持很多种不同表类型的存储，针对不同类型表存储的监控指标数据也大相径庭，且当前对部分类型表的指标数据各有收集和监控，但分布在不同的服务中，入口分散且不够完善，不利于监控和排查。因此新增“工具箱——统一库表监控”，针对集群各类型所有库表进行统一监控，目前主要支持TEXT/ORC/TORC/Scope的统计信息。该功能集成数据平台中所有表库信息，并进行监控指标的收集和展示，提升了监控效率与故障排查的便捷性。
- 优化原有通知策略中的邮件功能较少的不足，新增自定义模板的邮件通知策略（如：支持展示SQL告警中的表格），满足用户对通知策略的更高级配置需求。
- “工具箱“中增设”Prometheus指标清单”模块，为您提供Aquila Prometheus所有指标，方便查看与导出当前全部的监控指标。在日常监控与数据分析时，用户可以迅速获取所需信息，更高效地管理。
写在最后
社区版2024-5版本更新深度聚焦于核心组件的性能优化与用户体验的全面提升。
Inceptor引擎通过引入Skew Join特性，自动化处理数据倾斜难题，显著提升Join操作性能，同时归档分区功能有效解决了历史数据存储与管理的挑战，为长期数据运维提供了高效的解决方案。
Manager平台的全面优化升级，从直观易用的新UI到自动化角色部署、配置快照回溯等，每一项优化都大幅简化了管理流程。并且，系统做了性能优化，各项操作更快也更稳定了，全面增强了系统的稳定性和安全性。而Aquila Insight则通过集成第三方服务、批量告警规则管理以及统一库表监控等创新功能，极大地丰富了监控维度，提升了故障排查与响应速度。
我们诚挚的邀请您体验这一全新版本，感受前所未有的数据分析效率与管理便利性。您的反馈是我们前进的动力，期待您的更新体验。
社区版升级教程：
友情链接
社区版文档
社区开发版文档
相关资源
- 新版本Manager使用手册
- 如何链接数据库
- 【0-1系列】快速了解搜索引擎Scope
- [社区开发版] 使用图数据库进行人物关系探索Demo示例及教程
- [社区开发版]使用图数据库进行反洗钱之银行转账流水数据分析
- 如何通过社区版TDH对数据进行分析探索
- 社区版基础能力演示--计算隔离（离线跑批、OLAP分析业务演示）
- 社区版基础能力演示--数据库方言+CRUD能力
- 社区版基础能力演示--数据库安全（库、表、行、列级权限管控实操）
- 更多社区版相关资源及汇总链接
Inceptor新增功能点
Skew Join功能
在数据密集型行业中，数据倾斜是一个常见且复杂的问题，其通常表现为某些键值对的分布极不平衡，例如表中的某个键值对应的记录量远超过其他键时，会导致连接（Join）操作中个别节点的处理时间过长，从而成为整个查询过程的瓶颈，影响整个系统的处理效率和性能。
面对这一挑战，此次新版本Inceptor 推出了 Skew Join 功能，旨在自动化处理数据倾斜问题，优化 Join 操作的性能。与传统方法相比，Skew Join 设置完成后不再需要用户介入，也不限于小表的连接优化，它能够自动处理大表之间的连接操作，有效减少查询响应时间。
归档分区
在数据关联中，数据库中通常包含大量数据及分区，其中包括活跃分区数据和历史分区数据。随着时间的推移，数据库中的数据量及分区量不断增长，小文件数量也随之增长、元数据管理开销越来越大，导致运行查询性能下降，存储成本上升。
为此，对于较少访问更改的历史数据及分区信息，Inceptor 新增提供归档分区功能。此功能支持用户进行分区合并的操作，减少小文件碎片化问题，同时通过归档机制，将不活跃的历史分区数据迁移至低成本的存储层，从而优化存储资源的分配和利用。在确保数据可访问性的前提下，实现了存储成本的有效控制，为数据库的长期运维与扩展提供支持。
Manager新增功能及优化
- 全新的UI界面包含新的仪表盘设计，节点详情，服务详情展示等功能。仪表盘更加直观易读，同时融合了关键指标，使数据洞察一目了然，助力用户快速把握全局态势。
- 优化节点详情页面，集成多项关键信息。其中包括系统负载情况及分区配置信息，让资源利用状况一目了然，帮助用户更高效管理存储资源，优化数据布局。同时，页面集成及时告警通知，确保用户迅速了解异常情况，有效提升系统稳定性。
- 在扩容节点时需要在“分配角色”页面对所有扩容节点的角色进行分配或确认，当服务较多或扩容节点较多时，操作较为繁琐。Manager新增节点模板，扩容新节时，可一键按照预设模板自动部署相关角色，显著简化扩容流程。
- 用户在使用过程中，会遇到需求修改配置的情况，若有回退需求则仅能通过自行修改，并且较为繁琐。为解决这一痛点，Manager上线服务配置快照功能，支持多版本历史备份，用户可回溯至安全点，从容应对配置变更需求；
- 新增HDFS服务滚动重启功能，服务在重启期间仍可以使用，确保在服务更新过程中业务不中断，降低运维影响；
- 磁盘管理全面升级，支持故障磁盘一键下线、删除及重新上线。一次性配置所有和磁盘相关的角色，避免繁琐手动操作；
- 升级服务运行状况概览页面，集成Manager健康检查和Aquila监控告警，一站式了解服务运行状况；
- 支持导出集群诊断信息文件，简化集群诊断信息收集步骤，有效提升诊断效率；
- 针对此前用户、用户组、用户角色和用户权限的控制权均在系统管理员，对于对权限划分要求比较细致的客户来说，较难满足其要求。因此，Manager加入新的用户权限：用户管理员和权限管理员。新增角色实现精细化用户权限管理，精准赋能，满足组织内多层次、细粒度的权限分配需求；
- 优化自动登出机制，支持用户自定义闲置超时逻辑，通过配置无操作自动登出时间，结合动态弹窗通知，双重保障集群信息安全；
- 新增全局搜索栏，可以智能解析用户输入的关键字，对菜单项，服务，节点信息进行高效检索并跳转至相应页面，提升系统导航体验；
Aquila新增功能及优化
- 强化第三方服务集成能力，通过优化接口兼容度，高效整合第三方服务预警体系。新增功能包括自动捕获、展示并推送第三方报警信息，智能生成报警规则组及细化规则，支持一键跳转至第三方报警源处查看详细情况，实现报警管理的高效协同与即时响应。
- 引入“一键批量开启/关闭告警规则”功能，支持用户高效地批量启用或禁用告警规则。这一改进让用户能够根据实时业务迅速调整监控策略，无论是应对临时维护时段的告警静默，还是保障特定时段的重点监控，都能轻松实现，极大增强了告警系统灵活性与适用性。
- TDH集群支持很多种不同表类型的存储，针对不同类型表存储的监控指标数据也大相径庭，且当前对部分类型表的指标数据各有收集和监控，但分布在不同的服务中，入口分散且不够完善，不利于监控和排查。因此新增“工具箱——统一库表监控”，针对集群各类型所有库表进行统一监控，目前主要支持TEXT/ORC/TORC/Scope的统计信息。该功能集成数据平台中所有表库信息，并进行监控指标的收集和展示，提升了监控效率与故障排查的便捷性。
- 优化原有通知策略中的邮件功能较少的不足，新增自定义模板的邮件通知策略（如：支持展示SQL告警中的表格），满足用户对通知策略的更高级配置需求。
- “工具箱“中增设”Prometheus指标清单”模块，为您提供Aquila Prometheus所有指标，方便查看与导出当前全部的监控指标。在日常监控与数据分析时，用户可以迅速获取所需信息，更高效地管理。
写在最后
社区版2024-5版本更新深度聚焦于核心组件的性能优化与用户体验的全面提升。
Inceptor引擎通过引入Skew Join特性，自动化处理数据倾斜难题，显著提升Join操作性能，同时归档分区功能有效解决了历史数据存储与管理的挑战，为长期数据运维提供了高效的解决方案。
Manager平台的全面优化升级，从直观易用的新UI到自动化角色部署、配置快照回溯等，每一项优化都大幅简化了管理流程。并且，系统做了性能优化，各项操作更快也更稳定了，全面增强了系统的稳定性和安全性。而Aquila Insight则通过集成第三方服务、批量告警规则管理以及统一库表监控等创新功能，极大地丰富了监控维度，提升了故障排查与响应速度。
我们诚挚的邀请您体验这一全新版本，感受前所未有的数据分析效率与管理便利性。您的反馈是我们前进的动力，期待您的更新体验。
社区版升级教程：
登录后可评论
.jpg)
