Elasticsearch 信创国产化替代方案
友情链接：
前言
近期，开源软件Elasticsearch被曝泄露了上亿条数据。而这不是Elasticsearch被曝安全问题的个例了，在过去几年内，Elasticsearch 数据泄露事件频发，甚至一个月被曝6次数据泄露。
Elasticsearch安全能力不足，开源协议变更加剧安全风险
- 数据保护能力不足：Elasticsearch 开源版本是不具备数据保护功能的，看似免费，但不安全。用户必须付费获得Gold+许可才能获得相关的安全保护功能，且不同的安全功能对应不同的收费标准。
- 数据有丢失风险：为了满足数据入库性能要求，Elasticsearch在数据层采用了简单的主从最终一致性模型。当主副本出现故障时，从副本和主副本不能保证数据的强一致性，从副本的数据有可能不是最新的。以此为基础恢复数据，很有可能导致部分数据丢失。
- 开源协议变更带来商业风险：2021年初， Elastic 公司决定将这两款开源软件的 Apache License 2.0 变更为双授权许可，即Server Side Public License (SSPL) 和 Elastic License。其核心条款是“如果将程序的功能或修改后的版本作为服务提供给第三方，那么必须免费公开提供服务源代码”。这意味着不法分子可以获得其源代码并研究其漏洞，给企业用户带来巨大的安全风险。
星环科技自主研发的国产搜索引擎Transwarp Scope
国产自研搜索引擎，自主可控
Transwarp Scope是星环科技自主研发的企业级分布式搜索引擎，提供PB级海量数据的交互式多维检索分析服务，支持百万级高并发和毫秒级低延时检索业务，覆盖模糊匹配，精确查询，多维检索等各类检索类场景，满足数据检索多样化需求。
内置配套的安全授权、访问控制机制等，不收取额外的安全功能费用，在降低用户总拥有成本的同时，充分保证系统数据安全。
Scope兼容常用的Elasticsearch读写接口，可实现Elasticsearch的平滑迁移。并且比Elasticsearch具有更强的查询性能、扩展性、数据一致性和可靠性，以及更低的硬件和运维成本等优势。
此外，Scope已完成与主流信创生态厂商的适配互认工作，支持适配长城飞腾、华为泰山、龙芯等服务器架构，同时满足麒麟，UOS等操作系统，入选国家软硬件技术图谱，满足信创要求和国产化替换需求。
全方位数据安全保障
Transwarp Scope内置配套的安全授权、用户权限控制等相关安全功能，可以有效保障系统数据和访问上的安全。
在用户权限认证上，基于SASL提供plain与gssapi两种认证方式，对应传统的用户名密码认证方式和基于Kerberos的登录验证方式。其中kerberos可依赖于TDH平台的安全服务Guardian，同时提供用户组概念，便于通过平台实现统一管理与操作。
在数据权限上，基于角色的访问控制 (RBAC) 机制，使用户能够通过将权限分配给角色并将角色分配给用户或组来授权用户，支持Index level Security &Database level Security。
在数据加密上，Scope支持基于SSL/TLS两类协议进行数据加密，确保数据传输过程的安全。
硬件和运维成本
Elasticsearch单节点支持的数据量最多到20TB左右，在项目实践中客户通常在每台服务器上部署多个Elasticsearch实例，而如此多的实例将会带来不稳定问题，触发节点失联，运维成本高。反之，如果每台服务器配置较少容量的磁盘，那么用户将付出非常高的硬件成本。而当节点数超过100时，同样会有稳定性问题。
这两类方案，运维成本和硬件成本变成了鱼和熊掌不可兼得，让用户陷入两难的境地。
星环科技Transwarp Scope对内存进行创新优化，提高单集群单节点容量上限，单实例可突破至百TB的数据存储，是Elasticsearch的5倍以上，大大降低用户硬件成本。
在提高单实例存储容量，降低集群规模的同时，Scope通过多进程架构，充分利用集群cpu/内存资源，读写压力分流，满足更高的并发需求，提高集群稳定性的同时降低运维成本。
集群扩展性
Elasticsearch在集群扩展上存在瓶颈，其采用的P2P架构和排队模型处理一些状态同步和元数据改变等操作时，效率比较低。在项目实践中，当节点（或实例）规模超过100个时，会遇到稳定性问题，特别是多种任务并发的情景下，集群压力大，容易触发节点接连失联的问题。
星环科技Transwarp Scope采用多进程架构，充分利用集群cpu/内存资源，读写压力分流，满足更高的并发需求以及提升稳定性，单集群在200以上节点规模下稳定运行，同时保障性能无衰减。
数据读写性能
Elasticsearch在数据读写性能方面存在不足，如压缩率不足，数据膨胀率高，读写策略优化不足等都大大降低了数据读写的效率。数据读写性能受限，直接影响查询操作的并发度和数据入仓的效率。
星环科技Transwarp Scope对读写线程资源的管理更严格、更精细，使读写性能更优，数据批量写入速度相对Elasticsearch提升40%，读写分离的特性大幅提升查询的稳定性。
数据恢复性能
Elasticsearch缺乏“增量数据”的概念，当单点发生故障进行数据恢复时，采用全量数据拷贝方式恢复数据，工作量大，往往需要小时级的时间才能恢复服务，严重影响服务的正常进行。
星环科技Transwarp Scope具有很强的容灾和数据恢复能力。Scope基于Raft协议保证数据的一致性，同时提供多副本支持，重启恢复时间在TB级数据量下控制在分钟级，不到Elasticsearch的1/10，大幅降低了服务不可用时间。
此外，Scope支持跨数据中心的多活部署，使得重要业务在多数据中心交互和流转，还支持主备集群的实时数据同步，满足主备集群的failover和switchover。
数据一致性
Elasticsearch主本和副本之间同步采用P2P架构和排队模型实现主从最终一致性。当主副本出现故障时，从副本和主副本不能保证数据的强一致性，很有可能导致部分数据丢失。
Transwarp Scope基于自主研发的分布式数据库管理系统TDDMS，采用shared-nothing架构，通过多副本机制实现数据服务高可用，使用raft协议保证副本之间的数据一致性，保障数据不丢失。此外，TDDMS支持弹性扩缩容、自动故障恢复、权限控制、多租户与冷热数据分层存储等功能。
售后服务
Elasticsearch是开源产品，用户需自己探索和解决问题，无法获取有效的服务保障。用户需要购买企业版才能获得相应的服务，且在国内没有原厂技术研发人员，很难保障SLA。
Transwarp Scope的产品提供方星环科技是国内厂商，具有非常强大的研发、技术支持与服务能力，提供强大的原厂服务保障能力，保障用户售后无忧。
星环科技Transwarp Scope可平滑替代Elasticsearch
平滑替代Elasticsearch
Transwarp Scope兼容常用Elasticsearch的接口，可实现Elasticsearch业务的平滑迁移。星环科技提供多种数据迁移方案，用户可根据实际情况灵活选择。
经过大量项目的实践和经验，星环科技建立了成熟标准的Elasticsearch平滑迁移方法论，通过调研评估、方案测试和上线保障“三步”策略，全程保障数据与业务的平滑迁移。
多生态兼容
除了兼容以上Elasticsearch接口，Scope还兼容PostgreSQL协议以及Spark等大数据产品的接入。同时，Scope还提供完备的SQL语法支持，满足传统数据库迁移到Scope的需求，通过星环科技SQL编译器QUARK实现大数据基础平台TDH内部的完整数据流转方案。
迁移后的效果
- 性能全面提升：相较于Elasticsearch，用户迁移到星环科技Transwarp Scope之后，可以实现海量存储能力，极大降低用户硬件和运维成本，数据读写性能、日志分析性能和数据检索性能大幅提升，可确保百节点以上规模集群稳定运行，强一致性写入能力确保读写数据不丢。高可用性可以确保故障分钟级重启恢复。而在安全方面，内置的安全授权、访问控制机制充分保证系统数据安全。
- 自主可控：Transwarp Scope星环科技自主研发，国产软硬件兼容，充分满足企业用户国产化系统建设需求。
- 一站式平台建设：基于星环科技大数据基于平台TDH，通过多模型统一架构支持关系型、文本、时空地理、图数据、文档、时序等在内的10种数据模型，为用户提供一站式的大数据平台服务方案。用户也可以根据需要灵活接入其他存储引擎，方便后续业务的灵活扩展。
- 同时，多模型统一架构提供统一的数据操作/查询语言、统一的分布式计算引擎、统一的分布式数据管理系统和统一的资源管理框架，用户可轻松实现跨模型数据分析。
友情链接：
前言
近期，开源软件Elasticsearch被曝泄露了上亿条数据。而这不是Elasticsearch被曝安全问题的个例了，在过去几年内，Elasticsearch 数据泄露事件频发，甚至一个月被曝6次数据泄露。
Elasticsearch安全能力不足，开源协议变更加剧安全风险
- 数据保护能力不足：Elasticsearch 开源版本是不具备数据保护功能的，看似免费，但不安全。用户必须付费获得Gold+许可才能获得相关的安全保护功能，且不同的安全功能对应不同的收费标准。
- 数据有丢失风险：为了满足数据入库性能要求，Elasticsearch在数据层采用了简单的主从最终一致性模型。当主副本出现故障时，从副本和主副本不能保证数据的强一致性，从副本的数据有可能不是最新的。以此为基础恢复数据，很有可能导致部分数据丢失。
- 开源协议变更带来商业风险：2021年初， Elastic 公司决定将这两款开源软件的 Apache License 2.0 变更为双授权许可，即Server Side Public License (SSPL) 和 Elastic License。其核心条款是“如果将程序的功能或修改后的版本作为服务提供给第三方，那么必须免费公开提供服务源代码”。这意味着不法分子可以获得其源代码并研究其漏洞，给企业用户带来巨大的安全风险。
星环科技自主研发的国产搜索引擎Transwarp Scope
国产自研搜索引擎，自主可控
Transwarp Scope是星环科技自主研发的企业级分布式搜索引擎，提供PB级海量数据的交互式多维检索分析服务，支持百万级高并发和毫秒级低延时检索业务，覆盖模糊匹配，精确查询，多维检索等各类检索类场景，满足数据检索多样化需求。
内置配套的安全授权、访问控制机制等，不收取额外的安全功能费用，在降低用户总拥有成本的同时，充分保证系统数据安全。
Scope兼容常用的Elasticsearch读写接口，可实现Elasticsearch的平滑迁移。并且比Elasticsearch具有更强的查询性能、扩展性、数据一致性和可靠性，以及更低的硬件和运维成本等优势。
此外，Scope已完成与主流信创生态厂商的适配互认工作，支持适配长城飞腾、华为泰山、龙芯等服务器架构，同时满足麒麟，UOS等操作系统，入选国家软硬件技术图谱，满足信创要求和国产化替换需求。
全方位数据安全保障
Transwarp Scope内置配套的安全授权、用户权限控制等相关安全功能，可以有效保障系统数据和访问上的安全。
在用户权限认证上，基于SASL提供plain与gssapi两种认证方式，对应传统的用户名密码认证方式和基于Kerberos的登录验证方式。其中kerberos可依赖于TDH平台的安全服务Guardian，同时提供用户组概念，便于通过平台实现统一管理与操作。
在数据权限上，基于角色的访问控制 (RBAC) 机制，使用户能够通过将权限分配给角色并将角色分配给用户或组来授权用户，支持Index level Security &Database level Security。
在数据加密上，Scope支持基于SSL/TLS两类协议进行数据加密，确保数据传输过程的安全。
硬件和运维成本
Elasticsearch单节点支持的数据量最多到20TB左右，在项目实践中客户通常在每台服务器上部署多个Elasticsearch实例，而如此多的实例将会带来不稳定问题，触发节点失联，运维成本高。反之，如果每台服务器配置较少容量的磁盘，那么用户将付出非常高的硬件成本。而当节点数超过100时，同样会有稳定性问题。
这两类方案，运维成本和硬件成本变成了鱼和熊掌不可兼得，让用户陷入两难的境地。
星环科技Transwarp Scope对内存进行创新优化，提高单集群单节点容量上限，单实例可突破至百TB的数据存储，是Elasticsearch的5倍以上，大大降低用户硬件成本。
在提高单实例存储容量，降低集群规模的同时，Scope通过多进程架构，充分利用集群cpu/内存资源，读写压力分流，满足更高的并发需求，提高集群稳定性的同时降低运维成本。
集群扩展性
Elasticsearch在集群扩展上存在瓶颈，其采用的P2P架构和排队模型处理一些状态同步和元数据改变等操作时，效率比较低。在项目实践中，当节点（或实例）规模超过100个时，会遇到稳定性问题，特别是多种任务并发的情景下，集群压力大，容易触发节点接连失联的问题。
星环科技Transwarp Scope采用多进程架构，充分利用集群cpu/内存资源，读写压力分流，满足更高的并发需求以及提升稳定性，单集群在200以上节点规模下稳定运行，同时保障性能无衰减。
数据读写性能
Elasticsearch在数据读写性能方面存在不足，如压缩率不足，数据膨胀率高，读写策略优化不足等都大大降低了数据读写的效率。数据读写性能受限，直接影响查询操作的并发度和数据入仓的效率。
星环科技Transwarp Scope对读写线程资源的管理更严格、更精细，使读写性能更优，数据批量写入速度相对Elasticsearch提升40%，读写分离的特性大幅提升查询的稳定性。
数据恢复性能
Elasticsearch缺乏“增量数据”的概念，当单点发生故障进行数据恢复时，采用全量数据拷贝方式恢复数据，工作量大，往往需要小时级的时间才能恢复服务，严重影响服务的正常进行。
星环科技Transwarp Scope具有很强的容灾和数据恢复能力。Scope基于Raft协议保证数据的一致性，同时提供多副本支持，重启恢复时间在TB级数据量下控制在分钟级，不到Elasticsearch的1/10，大幅降低了服务不可用时间。
此外，Scope支持跨数据中心的多活部署，使得重要业务在多数据中心交互和流转，还支持主备集群的实时数据同步，满足主备集群的failover和switchover。
数据一致性
Elasticsearch主本和副本之间同步采用P2P架构和排队模型实现主从最终一致性。当主副本出现故障时，从副本和主副本不能保证数据的强一致性，很有可能导致部分数据丢失。
Transwarp Scope基于自主研发的分布式数据库管理系统TDDMS，采用shared-nothing架构，通过多副本机制实现数据服务高可用，使用raft协议保证副本之间的数据一致性，保障数据不丢失。此外，TDDMS支持弹性扩缩容、自动故障恢复、权限控制、多租户与冷热数据分层存储等功能。
售后服务
Elasticsearch是开源产品，用户需自己探索和解决问题，无法获取有效的服务保障。用户需要购买企业版才能获得相应的服务，且在国内没有原厂技术研发人员，很难保障SLA。
Transwarp Scope的产品提供方星环科技是国内厂商，具有非常强大的研发、技术支持与服务能力，提供强大的原厂服务保障能力，保障用户售后无忧。
星环科技Transwarp Scope可平滑替代Elasticsearch
平滑替代Elasticsearch
Transwarp Scope兼容常用Elasticsearch的接口，可实现Elasticsearch业务的平滑迁移。星环科技提供多种数据迁移方案，用户可根据实际情况灵活选择。
经过大量项目的实践和经验，星环科技建立了成熟标准的Elasticsearch平滑迁移方法论，通过调研评估、方案测试和上线保障“三步”策略，全程保障数据与业务的平滑迁移。
多生态兼容
除了兼容以上Elasticsearch接口，Scope还兼容PostgreSQL协议以及Spark等大数据产品的接入。同时，Scope还提供完备的SQL语法支持，满足传统数据库迁移到Scope的需求，通过星环科技SQL编译器QUARK实现大数据基础平台TDH内部的完整数据流转方案。
迁移后的效果
- 性能全面提升：相较于Elasticsearch，用户迁移到星环科技Transwarp Scope之后，可以实现海量存储能力，极大降低用户硬件和运维成本，数据读写性能、日志分析性能和数据检索性能大幅提升，可确保百节点以上规模集群稳定运行，强一致性写入能力确保读写数据不丢。高可用性可以确保故障分钟级重启恢复。而在安全方面，内置的安全授权、访问控制机制充分保证系统数据安全。
- 自主可控：Transwarp Scope星环科技自主研发，国产软硬件兼容，充分满足企业用户国产化系统建设需求。
- 一站式平台建设：基于星环科技大数据基于平台TDH，通过多模型统一架构支持关系型、文本、时空地理、图数据、文档、时序等在内的10种数据模型，为用户提供一站式的大数据平台服务方案。用户也可以根据需要灵活接入其他存储引擎，方便后续业务的灵活扩展。
- 同时，多模型统一架构提供统一的数据操作/查询语言、统一的分布式计算引擎、统一的分布式数据管理系统和统一的资源管理框架，用户可轻松实现跨模型数据分析。
登录后可评论
.jpg)
