TDS产品核心能力

一站式的平台产品

• 各个组件模块整合至同一风格界面的基于星环实施方法论的一站式平台产品，针对业务需求提供跨组件功能联动和流程整合，打造完整的企业级数据全生命周期融合与治理平台；

优秀的团队协作能力

• 全图形化工具，降低使用门槛；
• 支持代码与模型的版本管理；
• 业务层提供包含组织、机构、角色的安全策略；
• 基于数据血缘可追踪元数据和 SQL 代码的变更；

分布式架构设计，优秀的平台性能

• 分布式架构设计，可支持最大 PB 级别的数据平台建设；
• 分布式的调度引擎，性能可扩展；
• 基于大数据平台数据转换计算，避免 ETL 工具本身的计算瓶颈；
• 高并发的数据 API 服务能力；
• 基于图数据库的数据血缘分析；

智能化数据治理能力

• 构建智能数据资产模型匹配特定领域和行业数据；
• 支持智能化数据标准贯标、资产推荐、自动打标；
• 支持 SQL 关键词和 SQL 片段推荐，数据开发；
• 知识积累，智能化持续优化开发体验和提高开发效率；

Waterdrop

产品定位

Waterdrop是面向开发者个人的数据库开发IDE，目标是提高开发者的开发效率

主要的功能与特色

• 桌面IDE，随处随时可用，不受网络等因素印象；
• 快捷方式：大量的快捷方式，提高开发效率；
• 复杂功能：内置大量的图形化功能，如表、索引、触发器等的图形化创建、维护和管理，开发难度低；

产品主要功能

• 元数据管理：提供元数据可视化创建、修改、删除能力，对表、分区、索引等元数据各种类型都有完善的支持；
• SQL开发：提供关键字提示和补全功能、编译检测能力，以及多样的键盘快捷执行方式，大幅提升SQL开发效率；
• 数据对象管理：可以灵活编辑表、视图、查询结果的数据对象，具备数据导入导出功能，数据开发更便捷；
• 驱动管理：支持星环数据库产品KunDB、Inceptor；
• 连接管理：支持安全连接，提供Kerberos 验证；
• 用户管理：提供可视化用户权限管理；

Workflow

产品定位

图形化的任务流设计、调试、调度和分析的全平台统一调度系统；

产品主要优势

• 日均百万级任务调度能力；
• 图形化设计：支持通过画布式拖拽任务，完成整个任务流设计以及各项配置；
• 版本管理：将每次发布的配置存为一个版本，在版本列表中支持查看版本详情、版本回滚，执行记录中也会展示当次执行的版本号，方便按照执行当时版本进行运维操作；
• 丰富的任务类型：支持多种任务类型，包括数据开发任务（SQL、Python、Shell、Java）、数据质量任务、数据集成任务（数据同步、数据加载）、落标检查任务、机器学习任务（可视化建模、代码建模、自定义模型）；
• 设计、调试一体化：在任务流设计过程中，支持在线对多个或单个任务进行调试，提供调试执行日志供用户参考，方便用户及时调整任务流设计与配置；
• 灵活的调度周期：可以简单配置每日一次的定时调度，也可以通过cron表达式配置复杂的调度周期，同时支持自定义日历的方式安排调度计划；

Transporter

产品定位

可视化的数据集成工具，用于外部业务系统数据接入，以及星环内部跨集群、跨租户数据互导

产品主要优势

• 丰富的数据源：支持几乎所有常见关系型数据库以及星环数仓作为输入数据源；
• 向导式设计：引导用户依次进行源端、目标端、转换规则配置，最终通过列表展示验证配置的正确性，提高产品易用性与可读性；
• 灵活的同步方式：除了基于OGG、Canal获取数据库日志的同步方式外，同时提供基于数据时间增量查询的数据同步方式；
• 多种增量识别方式：支持通过自增列、时间戳进行增量识别，同时用户可以手写SQL定义复杂的增量识别逻辑；
• 文件加载：支持通过本地上传或指定HDFS路径进行文件数据的增量、全量加载；
• 跨集群导数：支持在星环大数据平台上，不同集群、不同租户间的数据互导；
• 任务自动调度：数据集成任务可通过平台统一调度系统Workflow进行定时调度、追踪以及监控运维；

SQLBook

产品定位

在线化的SQL开发平台，目标是团队间的协同与SQL开发过程中的DevOps管控

产品主要功能

• SQL开发：在线的SQL开发IDE，能够开发SQL、数据库查询、数据结果下载等；
• SQL发布：可以一键发布至测试/生产集群 ，或者直接作为工作流直接调度的对象；
• 智能提醒：通过历史SQL集合及用户输入SQL记录，提供实时智能关联SQL推荐 ；
• 结果共享：可以将SQL查询的结果导出或发布为数据集，用于后续的分析或建模；
• SQL审核：将常见的问题SQL转换为审核规则，防止一些非优化的SQL将数据库拖慢；
• 版本管理：SQL脚本的版本管理，更好管理开发过程中的SQL代码资产；
• 规范建表：用户可以输入字段来规范化建表，避免DDL设计不合理导致的数据库问题；

Governor/Catalog

产品定位

• 提供一站式的数据管控管控服务，集成元数据、数据标准、数据质量等全方位数据治理能力

产品主要功能

• 元数据目录：通过自动化手段采集、展现元数据明细内容，提供包括数据特征、数据结构、样例数据、血缘分析、模型管理等功能，快速探查数据和故障定位；
• 数据标准：数据标准编目、录入、发布、贯标、落标全方位能力提供；
• 落标检查：通过贯标流程，执行标准落标检查，赋能数据标准落地，实现贯标成果；
• 数据质量：以SQL形式灵活构建数据质量检查规则，高效检测数据质量缺陷 ；
• 质量模板：参数化的模板形式，复用质量规则，解决质量规则构建低效、繁杂的痛点；
• 质量报告：可视化展示数据质量检查结果，多维度展示质量问题；
• 数据权限：以最细粒度管控至行列级权限的全方位数据权限管控，保证数据使用安全；
• 数据保护：结合智能化手段和咨询方法论，妥善处理敏感数据，保护数据隐私；

Midgard

产品定位

• 数据服务开发与管理平台

兼容数据服务底层开发、服务发布、服务调用管理与监控统计的数据服务平台

产品主要优势

• API全生命个周期管理：提供统一的API发布和管理，实现API开发、发布、上线、调用、监控、删除的全流程生命周期管控；
• 部署灵活：实现SLB+分布式API网关+分布式数据查询引擎的三层架构，根据请求负载增加或减少服务节点；
• 业务分组：通过服务和资源按业务分组绑定实现服务的SLA，避免部分服务超载导致系统崩溃，提供持续可用性保障；
• 高性能与可扩展：在网关性能上与传统反向代理nginx相当，且具有nginx所不具备的业务处理能力，同时支持通过水平扩展提高整体性能；
• API安全：通过调用方身份识别和鉴权控制、返回结果加密、IP黑白名单、API路由流量控制、敏感接口识别与防护等功能，保障API接入安全和调用安全；
• 开放性：支持网关、数据源、监控指标的自定义扩展，插件化设计支持预置路由、流控、鉴权、加密、监控等各类插件，支持秒级动态插件更新加载；

Starviewer

产品定位

集标签建设开发、生命周期管理、标签应用为一体的综合平台

• 有效支撑企业差异化的标签画像服务和运营需求；
• 更好地洞察客户需求、防控业务风险、提高服务质量和效率；

产品主要功能

• 主体数据管理：支持接入多种JDBC数据源，将数据库的表映射成业务实体，通过托拉拽或SQL脚本实现数据过滤；
• 生命周期管理：支持标签创建、编辑、发布、更新、上架、删除的全生命流程，实现标签体系化管理；
• 标签更新和运维：支持标签定时更新和手动执行更新，可实时监控主体、标签的计算任务运行情况，提供任务运维能力；
• 用户画像：支持自定义画像分析模板，按需配置画像的标签展示内容及优先级，提供用户全景画像；
• 自助取数：基于已开放共享的标签灵活筛选目标群体，实时预览群体筛选结果，监控群组更新情况；
• 数据共享：通过商城上架标签和群组，实现标签和群组数据的开放共享；通过标签导入导出功能实现标签计算逻辑的复用；

MegaIndex

产品定位

数据指标平台：

• 数据指标开发与管理平台，是横跨指标开发、管理、应用全生命周期，实现指标全流程、一体化管理的综合平台。旨在帮助企业建设指标体系、落地指标管理、发挥指标的最大价值；

产品主要功能

• 指标主体管理：支持指标主体的列表化管理以及可视化配置，指标将基于指标主体信息以及指定的维度字段进行开发；
• 指标编目管理：支持指标的编目管理，可从业务、技术等多维度视角对指标进行统一编目管理；
• 时间周期管理：支持时间周期的列表化管理，对常见的时间周期进行统一配置，利于后续指标的标准化开发；
• 指标可视化开发：支持可视化配置原子指标、衍生指标及复合指标，提供指标配置SQL预览功能；
• 指标汇总表管理：支持指标汇总表的列表化管理，通过汇总表将同维度统计的指标结果进行组合，形成面向业务主题的指标汇总表；
• 指标标准贯标：支持关联指标及指标标准，后续用于指标的落标检查，生成落标检查报告；
• 指标血缘分析：支持对指标的影响及血缘指标进行画布展示，方便用户在指标异常的情况下追溯上游问题以及了解下游影响范围；

Transwarp Foresight

产品定位

数据交易平台： 数据交换与应用平台，目标是促进数据交易，匹配数据提供者和数据消费者

产品主要功能

• 统计分析：支持对数据资源目录统计分析功能，包括目录访问量、检索量、热门资源TOP等；
• 资源检索：支持按目录、按数据类型等维度进行检索、排序；提供基于语义的关键词句检索；
• 导航编目：支持创建数据资源目录功能，可按照组织层级、业务领域、数据类型、数据源进行多维度编目，并提供修改、删除、发布审核 、更新等功能；
• 资源管理：支持通过资源列表检索并查看权限范围内的数据信息，包括数据权属方、样例数据等；
• 数据安全：支持数据加密、数据脱敏、安全访问等数据安全管理功能；
• 资源发布：支持定制数据清单，具备用户将权限范围内的数据资源发布至数据资源目录的功能，同时可对资源进行脱敏及访问权限设置，以及流程审批设置；
• 数据共享：提供订阅、推送、接口、数据库、文件等数据共享方式 ；支持对数据资源共享进行申请、审核等操作；
• 共享监控：支持对数据资源进行共享与监控管理，包括查看任务共享周期、任务执行情况等信息；

Transwarp Flashsync

产品定位

• 基于流式能力实现全流程的可视化数据实时数据搬迁、监控、运维、告警平台

产品主要功能

• 全链路的数据一致性检查，并提供检查记录和结果统计信息运维；
• 异常数据监控、异常分析能力，并支持任务级别的数据恢复能力；
• 容器化部署，支持在线扩缩容和服务高可用性保障；
• 数据同步秒级延迟；
• 一次解析多表消费，最大程度减少日志文件传输大小和频率，降低带宽及磁盘 I/O 等方面的资源开销；
• 提供源端DDL变更告警通知；
• 支持断点续传、指定同步点启动；
• 与星环开发、治理、服务套件的管理优势；
• 与星环数据库和流引擎的整合优势；