星环分布式存储TDDMS大揭秘（一）前言
友情链接：
- 星环分布式存储TDDMS大揭秘（二）TDDMS是什么
- TDDMS揭秘（三）分布式一致性技术是如何实现的（上）
- TDDMS揭秘（四）一致性协议Raft的工作原理及介绍--Raft协议背景及算法初剖析（中）
- TDDMS揭秘（五）一致性协议Raft的工作原理及介绍--领导者选举及日志复制算法详解（中下）
- TDDMS揭秘（六）一致性协议Raft的工作原理及介绍--安全属性及快照机制（下）
- TDDMS揭秘（七）Raft一致性协议在TDDMS中发挥了什么作用？承担了什么角色？
背景介绍
2000 年以来，随着互联网和计算机技术的快速发展，需要处理的数据量更大、类型更丰富、速度要求更快，传统集中式计算架构已无法适应数据海量、异构、多源等特点，在部署的扩展性、容错性、经济性、灵活性等方面有一定局限性。比如集中式存储数据中心多是集中在一个专门的存储阵列系统中（EMC的机柜式存储），机柜中有个专门的控制器用于业务端访问，底层将所有的磁盘抽象为一个资源池，然后在抽象给上层业务使用。可以看到，这个控制器是所有数据链路的入口，在分布式计算技术下，如果大量的计算都涉及比较高的IO带宽，那么这个入口就会成为性能瓶颈点。
谷歌于2003 年-2006 年间的三篇论文奠定了分布式存储和计算的基础。2006年，Apache基金会创建了Hadoop开源项目，用来解决大规模的数据存储和离线计算的难题，开始解决商业场景下的技术问题。
- 分布式计算：当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，然后将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务，大幅度的提高了性能、弹性、可扩展性。Google是分布式计算的引导者，其发明的MapReduce计算框架是第一代被成功用于大规模生产的分布式计算技术，而后Apache Hadoop社区实现了这个技术并开源，后被业界大量采用。
- 分布式存储：分布式存储服务的原理是通过文件服务层将每台服务器上的磁盘设备统一管理和使用起来，通过软件的方式来实现可靠性和资源池化，而无需将所有的存储集中起来，数据分散运行在廉价的服务器上，提供了灾难冗余、存储弹性伸缩等能力。Apache HDFS谷歌在2003发表的《Google File System》架构做了第一个开源的分布式存储的实现，并被企业界大量落地使用，推动着开源社区迅速的完善该技术，逐渐成为私有化场景下分布式存储的一个事实标准。
星环科技基于分布式软件架构设计了全新的大数据技术栈，实现了统一的分布式计算技术、分布式一致性技术、分布式存储管理技术和分布式事务管理技术。解决了上述技术挑战之外，还采用了统一、融合的大数据技术架构，企业用户无需在不同的数据模型中引入不同的产品，仅需使用统一的计算、存储进程，降低了成本，提高了数据处理的效率。并且，基于统一的数据存储层，同一份数据用户无需在不同的数据模型中进行全量存储，不同模型只需要存储必要的数据内容即可，充分降低了企业用户的数据持有成本，提升了数据开发和运行的效率。
得益于星环科技统一的计算引擎，用户既可以统一的使用SQL语言访问编译器，也可以使用丰富的API接口来操作不同模型中（如表、文档、图等）的数据。统一的计算引擎抽象掉了底层的技术复杂度，用户无需学习新的编译语言就可以轻松实现各类复杂跨模型查询，相比起散装架构，四层统一架构在开发成本、运维成本以及学习成本上都极具优势。
本系列文章将先围绕分布式存储技术展开，有关分布式计算技术的技术解析待这系列文章更新完毕后讲展开介绍。
分布式存储技术的架构挑战
从抽象的视角来看，一个分布式存储系统就是建立一个从访问路径（文件路径、块地址或对象哈希）到实际数据的映射关系，并且可以支持读写。但是，这些数据是分布在不同服务器的不同的硬盘上，因此整个系统需要考虑资源协调、容错性保障以及可扩展性等多个方面。下图是一个概念上的架构图，可以看出来分布式存储技术的关键功能及挑战包括：
- 数据和元数据的数据分布、管理和读写策略，保证系统的可扩展性及一致性；
- 如何快速的找到元数据和数据，提供数据读写能力，尽可能的数据本地化计算，保证系统的性能；
- 数据的冗余、备份和协调策略来保障高可用；
- 冷热数据存储、数据压缩与数据去重等技术，保证海量数据存储的经济性；
- 良好的用户开发接口兼容性，如POSIX FS、S3、NFS协议等；
- 跨平台能力，譬如支持Linux、Unix和Windows系统等；
- 分布式存储的事务能力和安全能力；
分布式一致性技术是分布式系统的核心基础技术，星环自主研发的统一的分布式数据管理系统TDDMS实现了分布式一致性技术，提高了分布式存储系统的可靠性、可用性和可扩展性。并且还支持跨数据中心的部署，提供数据灾备能力和实时故障迁移等能力，实现了“两地三中心”等部署方式。
下一篇我们将开始介绍TDDMS的核心技术架构，感兴趣的小伙伴一起看下去吧~
下一篇：TDDMS是什么
友情链接：
- 星环分布式存储TDDMS大揭秘（二）TDDMS是什么
- TDDMS揭秘（三）分布式一致性技术是如何实现的（上）
- TDDMS揭秘（四）一致性协议Raft的工作原理及介绍--Raft协议背景及算法初剖析（中）
- TDDMS揭秘（五）一致性协议Raft的工作原理及介绍--领导者选举及日志复制算法详解（中下）
- TDDMS揭秘（六）一致性协议Raft的工作原理及介绍--安全属性及快照机制（下）
- TDDMS揭秘（七）Raft一致性协议在TDDMS中发挥了什么作用？承担了什么角色？
背景介绍
2000 年以来，随着互联网和计算机技术的快速发展，需要处理的数据量更大、类型更丰富、速度要求更快，传统集中式计算架构已无法适应数据海量、异构、多源等特点，在部署的扩展性、容错性、经济性、灵活性等方面有一定局限性。比如集中式存储数据中心多是集中在一个专门的存储阵列系统中（EMC的机柜式存储），机柜中有个专门的控制器用于业务端访问，底层将所有的磁盘抽象为一个资源池，然后在抽象给上层业务使用。可以看到，这个控制器是所有数据链路的入口，在分布式计算技术下，如果大量的计算都涉及比较高的IO带宽，那么这个入口就会成为性能瓶颈点。
谷歌于2003 年-2006 年间的三篇论文奠定了分布式存储和计算的基础。2006年，Apache基金会创建了Hadoop开源项目，用来解决大规模的数据存储和离线计算的难题，开始解决商业场景下的技术问题。
- 分布式计算：当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，然后将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务，大幅度的提高了性能、弹性、可扩展性。Google是分布式计算的引导者，其发明的MapReduce计算框架是第一代被成功用于大规模生产的分布式计算技术，而后Apache Hadoop社区实现了这个技术并开源，后被业界大量采用。
- 分布式存储：分布式存储服务的原理是通过文件服务层将每台服务器上的磁盘设备统一管理和使用起来，通过软件的方式来实现可靠性和资源池化，而无需将所有的存储集中起来，数据分散运行在廉价的服务器上，提供了灾难冗余、存储弹性伸缩等能力。Apache HDFS谷歌在2003发表的《Google File System》架构做了第一个开源的分布式存储的实现，并被企业界大量落地使用，推动着开源社区迅速的完善该技术，逐渐成为私有化场景下分布式存储的一个事实标准。
星环科技基于分布式软件架构设计了全新的大数据技术栈，实现了统一的分布式计算技术、分布式一致性技术、分布式存储管理技术和分布式事务管理技术。解决了上述技术挑战之外，还采用了统一、融合的大数据技术架构，企业用户无需在不同的数据模型中引入不同的产品，仅需使用统一的计算、存储进程，降低了成本，提高了数据处理的效率。并且，基于统一的数据存储层，同一份数据用户无需在不同的数据模型中进行全量存储，不同模型只需要存储必要的数据内容即可，充分降低了企业用户的数据持有成本，提升了数据开发和运行的效率。
得益于星环科技统一的计算引擎，用户既可以统一的使用SQL语言访问编译器，也可以使用丰富的API接口来操作不同模型中（如表、文档、图等）的数据。统一的计算引擎抽象掉了底层的技术复杂度，用户无需学习新的编译语言就可以轻松实现各类复杂跨模型查询，相比起散装架构，四层统一架构在开发成本、运维成本以及学习成本上都极具优势。
本系列文章将先围绕分布式存储技术展开，有关分布式计算技术的技术解析待这系列文章更新完毕后讲展开介绍。
分布式存储技术的架构挑战
从抽象的视角来看，一个分布式存储系统就是建立一个从访问路径（文件路径、块地址或对象哈希）到实际数据的映射关系，并且可以支持读写。但是，这些数据是分布在不同服务器的不同的硬盘上，因此整个系统需要考虑资源协调、容错性保障以及可扩展性等多个方面。下图是一个概念上的架构图，可以看出来分布式存储技术的关键功能及挑战包括：
- 数据和元数据的数据分布、管理和读写策略，保证系统的可扩展性及一致性；
- 如何快速的找到元数据和数据，提供数据读写能力，尽可能的数据本地化计算，保证系统的性能；
- 数据的冗余、备份和协调策略来保障高可用；
- 冷热数据存储、数据压缩与数据去重等技术，保证海量数据存储的经济性；
- 良好的用户开发接口兼容性，如POSIX FS、S3、NFS协议等；
- 跨平台能力，譬如支持Linux、Unix和Windows系统等；
- 分布式存储的事务能力和安全能力；
分布式一致性技术是分布式系统的核心基础技术，星环自主研发的统一的分布式数据管理系统TDDMS实现了分布式一致性技术，提高了分布式存储系统的可靠性、可用性和可扩展性。并且还支持跨数据中心的部署，提供数据灾备能力和实时故障迁移等能力，实现了“两地三中心”等部署方式。
下一篇我们将开始介绍TDDMS的核心技术架构，感兴趣的小伙伴一起看下去吧~
下一篇：TDDMS是什么
登录后可评论
.jpg)
