多模数据处理破茧成蝶 大数据“卡脖子”成为过去！

Spark技术的代表企业是Databricks。Databricks公司是由加州大学伯克利分校负责开发流行的开源Apache Spark数据处理框架的团队创建的。该公司帮助大企业快速处理、整合和分析大量数据。它的统一分析平台旨在孤立的数据存储系统之间建立数字管道，并帮助工程师和数据科学家更好地沟通。

Databricks公司业务方向已经转移到“大数据分析和人工智能解决方案”。现在行业内更多的将其看成一家AI公司。

针对多模型数据处理，开源路线方面的举措是推出多模型数据库，当然这些数据库也是开源的。

ArangoDB是一个开源的、原生的多模型NoSQL数据库，同时支持Doc、Graph、K/V三种存储，它有适用于全部三种数据模型的统一内核和统一数据库查询语言—AQL (ArangoDB Query Language)，非常适用于搭建高性能的应用和服务。

ArangoDB还允许在单个查询中混合使用三种数据模型。因此，用户可以在单次查询过程中混合使用多种数据模型，而无需在不同数据模型间相互“切换”，也不需要执行数据传输过程，并且这三种数据模型均支持水平扩展。

2018年初，ArangoDB完成1156万美元融资，深受投资人追捧。2020年初，ArangoDB 3.6 发布。

多模数据库ArangoDB的优势

不过ArangoDB的优势是一个内核、一个查询语言、支持三种数据模型。其缺点也是仅支持三种数据模型，应用受到了限制。

对于一些单一的典型场景，市场上出现的不同产品和知名的解决方案大都是开源系统，所以对多模型数据支持的产品很难放弃自身优势的开源项目，而是在原数据模型支持基础上的扩充，而更多的是新的开源项目。

另一条技术路线就是以星环科技为代表的自主开发。

中国用户需要处理的数据量远超过之前在其他国家的需求。同时中国用户在应用场景方面有着非常强的创新意识，需要处理的场景复杂度也超过了其他国家用户。

星环科技就是专注解决用户的这些难点，走出了一条独特的自主研发技术创新之路。星环的产品体系已经从最早的分析型数据库扩展至闪存加速分析型数据库、实时计算、全文检索数据库、图数据库、Bigtable数据库、交易数据库、基于容器技术的数据云等，从底层资源调度到上面的计算引擎，形成了一条有别于Hadoop或Spark、而具有星环特色的技术路线，实现了多个领域的技术突破。

Transwarp Data Hub(TDH)是星环科技推出的企业级大数据平台，经过7年的快速演进，不断发展成熟，在邮政、交通、金融、政府等行业获得了大量的部署实施经验，同时向新生的大数据技术领域进行的拓展和探索。

5月15日，星环科技推出一站式大数据平台TDH 7.0版本，主打一站式多模异构数据处理，打破了行业内普遍存在的不同数据库产品切换的不便利，通过一个平台处理多种数据模型，让用户无需维护多种数据库成为现实。

吕程告诉中国软件网记者，作为一个多模型的数据处理平台，TDH 7.0可以提供统一的数据操作/查询语言SQL、统一的数据计算引擎、统一的分布式存储管理系统、统一的资源管理框架，满足利用一个多模异构平台，处理多种数据的需求。

星环的一站式多模处理平台示意

同时，TDH 7.0版本一站式多模异构数据处理性能亮眼，彻底解决大数据发展的一大瓶颈。据介绍，TDH从上而下划分为五个层次：

最上层是SQL层，开发了统一的SQL引擎，兼容各种不同的SQL“方言”;

计算层，开发了统一的计算引擎，进行统一的计算任务优化和分发;

其下的存储模型层，TDH一个平台支持七种不同的存储模型，适用于不同的应用场景，包括图存储Graph Storage、文档存储Document Storage、全文检索 Full-text Search、键值存储 Key-Value Storage、行列混合存储 Row-Columnar Storage、时空地理存储 Sequential Geospatial Storage、非结构化对象存储 Unstructured Object Storage。

存储管理层，开发了统一的存储管理引擎，提供数据块分布管理、数据多副本一致性管理、文件服务管理等功能。

最底层资源调度层，开发了统一的资源调度框架，通过容器化编排，统一调度计算、存储、网络资源。

统一的数据处理平台几大的优势：

多模型的数据处理平台的核心是对外提供统一的SQL编程接口、统一的计算引擎，以及统一的综合式的存储管理系统和统一的销售框架。因此，星环TDH 7.0的优势体现在这几大特性的统一和融合上。

TDH 7.0统一的数据处理平台支持超过7种不同的数据模型，支持结构化的数据和非结构化数据，支持KeyValue介质存储、全行搜索、排索引、图存储、图数据库、存储文档，也能够存储时空数据。这是TDH 7.0的第一大优势。

星环科技第一家提供了一个能够横跨多种数据模型的统一的计算引擎。虽然有不少公司也在尝试提供一个标准的数据接口，但是由于底层是不同的数据库，没用统一的计算引擎，虽然有统一的SQL接口，但是很难把不同的接口静态的路由到功能数据库上。因此，需要一个动态的计算引擎来动态地进行接口的调度，进行执行计划的统一的管理。

同时在星环科技的TDH 7.0也提出了一个统一的分布式管理系统，是实现数据分布管理以及数据一致性的数据管理系统，比过往使用HTVS效率更高、一致性更强。

在同一个平台上可以将一份数据存储成多种模型，用户在应用发生变化时能够自行地采用最佳的仓储模型来响应查询需求，运行效率会更高。同时因为一个平台处理多种数据模型，整运维成本、管理成本都会降低。

孙元浩说，未来的数据平台都应该是多模型的，但是用户使用起来更应该是像使用一个数据库一样使用。

（编辑：源码门户网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!