联邦计算技术简介和如何使用异构数据源

一、背景与趋势

1. 数字化转型面临的难题

众所周知，数字化转型仍是促进全球经济增长的重要力量。但是目前很多企业信息基础架构的敏捷化程度不够，不能满足数字化转型的要求。主要表现为以下几个方面：

a. 传统竖井式建设的信息系统修改困难、集成混乱

b. 数据被割裂深锁在各个系统内，不能被自由利用

c. 企业缺乏自有的技术开发能力，无法快速响应业务需求

然而，数字技术是新一轮科技革命的核心技术，因此越来越多的企业需要建设下一代信息技术架构。

2. 用户现状与痛点

2.1. 竖井式建设，数据产品相互割裂

在业务发展初期，为了快速落地应用，满足客户需求，一般会使用All in One的单体架构。系统完全封闭，完全耦合，牵一发而动全身。而后随着业务发展与客户的需求变化，单一的架构已经不满足要求，竖井式架构应运而生。该架构根据业务属性将一个大的单体拆分成多个子系统，且子系统之间没有直接关联。然而企业根据不同的场景，往往需要同时部署多种数据库和数据平台产品，持续进行业务建设、合并、迁移等。竖井式的建设方式使得数据产品相互割裂，带来数据孤岛问题，并最终降低企业的数据共享能力。

2.2. 传统ETL解决方案成本高

成熟的数据中心通常部署传统关系型数据库、MPP数据库、大数据平台等异构数据产品，同一部门的关联业务数据可能同时存储在不同的数据产品中。传统的解决方式是通过复杂的ETL方案，此方案需要打通平台，增加数据卸载、平台间数据传输、数据装载的流程及实施运维成本，且有一定的延时。并且，原始数据可能会分散在各个不同的数据产品中，数据结构存在差异，所以跨产品的数据之间的关联计算探索困难重重。系统上线后，如果遇到增加新业务或者更新原业务，可能就需要对ETL流程进行改造，开发运维成本也会随之增加。

二、星环联邦计算简介

1. 简介

星环联邦计算平台能够集成多个原始数据源，在不直接进行数据搬迁的前提下，联邦来自不同数据库、数据平台产品的异构数据源，按协议调度统筹资源进行联邦计算，从而获得全体数据的计算结果。

2. 优势

a. 解决数据孤岛，提升数据连通性

b. 简化ETL流程以及运维成本

c. 增加数据实时性

d. 降低当前平台的数据存储压力

3. 执行架构简述

a. Quark Server针对发来的SQL请求统一进行语法解析，编译，优化（RBO/CBO等）以及判断对接的数据源

b. Executor对将优化后的SQL下推到对应数据源中进行取数操作

c. 取数完成后在联邦平台实现查询，计算，分析等

三、异构数据源使用简介

1. 创建DBLink

a. 创建对应外部异构数据源的连接方式：

CREATE DATABASE LINK <link_name> CONNECT TO <jdbc_username> IDENTIFIED BY '<jdbc_password>' USING '<jdbc_URL>' with '<jdbc_driver>'; （其中with '<jdbc_driver>'为可选项，若无指定，需确保镜像中包含数据源对应的Jar包）

b. 支持驱动隔离、普通认证、Kerberos认证等多种方式

c. 示例SQL：

CREATE DATABASE LINK oracle19c_link CONNECT TO admin IDENTIFIED BY '123' USING 'jdbc:oracle:thin:@node1:1521/LYRAPDB';

2. 删除DBLink

DROP DATABASE LINK <dblink_name>;

3. 通过DBLink查询

3.1. 通过@DBLink的方式

a. SELECT * FROM TABLE@<dblink_name>;

b. 基于不同的数据库，TABLE的使用方式可能有所不同，例如MySQL中可以直接使用TABLE接后面@部分，Oracle/SQL Server中DB.TABLE需要换成SCHEMA.TABLE

3.2. 创建外表

a. 创建对应外部异构数据源内表的映射表

CREATE EXTERNAL TABLE <table_name> (col_dummy string) STORED AS DBLINK WITH DBLINK <link_name> TBLPROPERTIES('dblink.table.name'=<ref_table_name>);

b. 后续即可如同操作正常表来操作此DBLink表

c. 示例SQL：

CREATE TABLE transfer_log

(log_id INTEGER,

log_ts TIMESTAMP,

from_user VARCHAR(50)

) STORED AS DBLINK WITH DBLINK mysql8_link TBLPROPERTIES("dblink.table.name"="lyra_test.transfer_log");

4. DML相关操作

4.1. 通过@DBLink的方式

insert into d1@mysql8_link select 1 from system.dual;

4.2. 通过创建的外表

insert into <external_table> select *** from system.dual;

四、联邦应用场景

1. 异构数据库的联邦计算

a. 统一SQL入口管理不同平台的数据，包括元信息管理等

b. 统一的SQL入口操作不同平台的数据，包括联合查询、数据探索采样等

c. 通过统一的联邦平台，充分利旧现网软件硬件资源

2. AETP混合负载

同时支持OLAP+OLTP混合事务

3. 联邦多模计算

星环提供四层统一的多模型大数据平台，有“三低一高”优势：架构复杂度低 / 开发成本低 / 运维成本低 / 数据处理效率高；联邦计算结合多模架构支持完整10种数据模型，多模型支持能力进一步增强