中国信通院第十二批大数据产品才干评测察看

在中国信息通讯研讨院（以下简称“中国信通院”）主办的“2021大数据产业峰会·成果发布会”上，中国信通院云计算与大数据研讨所大数据与区块链部工程师田稼丰对第十二批大数据产品才干评测中止了解读。

大数据产品才干测试已进入第六年，作为国内权威评测体系，已成为产品研发和用户选型的风向标。目前提供24种大数据产品的评测，掩盖数据基础平台、数据开发管理、数据剖析工具、应用处置计划、数据保险五大种类。从功用、性能及稳定性三方面全面调查大数据产品的才干。

截至十二批产品评测，共有184家企业的390款产品参与评测、完成测试530次。本批产品才干评测数量继续稳步增长，共有120款产品经过了测试。

目前我们考证过的最大批处置集群范围是3万节点以上，最大MPP集群范围是4096节点，最大数据范围是100TB，自研了多款测试工具。能够看到目前经过评测最多的企业分别是阿里云、百度、腾讯、国双、星环、中移苏研、渊亭与电信云。而批处置平台作为我们历史最长久也是最受欢送的测试项目，功用和性能累计完成测试超越90次，其后分别是数据管理平台、联邦学习、多方保险计算及散布式事务型数据库。

第十二批大数据产品才干评测的总览，同样横轴是参与企业的称号、纵轴是测试项目，红色代表初次参测企业、蓝色代表企业为了更新证书中止的复测。

第十二批判测共有65家企业参与了评测，有120款产品经过了评测。其中有111款产品是初次经过评测，总体评测的数量和初次参与产品数量持续稳步增长，阐明这两年大数据产业的展开持续向好。

本批新增5个测试项目，分别是对象存储、文档数据库、数据开发平台、区块链辅助隐私计算及全文检索。经过率较低的三个项目为事务数据库性能、散布式剖析型数据库功用、关系云数据库。从参评企业来看，本批排名前三的企业分别为阿里云，中移苏研与联易融。评测项目热度方面前三名分别是联邦学习15次，多方保险计算9次，区块链辅助隐私计算8次，随后分别是是批处置平台、数据管理平台、可信执行环境及多方保险计算性能。隐私计算产业近两年迎来爆发期。

本批大范围测试状况，本次共有4个厂商经过大范围测试，分别是亚信、科大讯飞、天翼云和南大通用。其中，天翼云经过了3000节点的批处置性能和剖析型数据库性能评测，而南大通用则经过了4096节点的剖析型数据库功用及性能评测。从2018、2019年的100、200、500节点，到往常的3万，4096节点，表示了我国大数据产品在智能管理和容灾才干上的庞大突破。

中国信通院长期放眼国际，推进自主基准和工具的研发，自研了系列测试工具DataBench，从2019年以来曾经分离各行业用户自研了五款性能测试工具，涵盖工业、金融、电信等场景。目前已累计完成性能测试30余次，圈定了国内大数据厂商的第一梯队。目前参与测试的状况，事务数据库性能最受欢送，完成15次测试，随后是时序数据库、剖析型数据库、批处置平台、流计算平台。右边是厂商参与状况图，阿里云和腾讯云是目前参与性能测试最多的厂商。中国信通院不时以来努力于为企业提供规范化、本地化、贴合实践业务的测试效劳，未来将继续开发针对更多大数据产品的测试工具。

在信息化时期下，业务常常存在托付时间短、系统复杂度高、运转环境不牢靠、宕机损失庞大等问题，如何尽快发现复杂系统中存在的问题是厂商和用户面临的一大应战。为此引入了稳定性测试，经过人为注入毛病、扰动、占用资源等方式对被测产品施加压力，并监测被测产品的反响。

稳定性测试的整体测试计划是：首先对被测产品施加负载，肯定它的稳态；再注入设计的扰动，察看它的性能变更；最后撤除扰动，看看它的性能能否恢恢复来的稳态，中止差别对比。测试设计的扰动有CPU高负载、硬盘及内存高读写、网络颤动、丢包等等，混合类型则是上面三种类型的随机组合。首批经过评测的厂商有京东数科与阿里云。

本次评测的七大察看：

大数据平台底层存储多样化。对象存储技术的不时展开成熟，给大数据平台提供了更多可能性。本批大数据平台参评厂商中，83.3%的厂商计划将对象存储归入到一站式大数据存储套件中，构成采存算管用的数据湖处置计划。

大数据产品持续急速迭代。依据本地测试厂商状况统计出的各类产品更新周期。能够看到，第十二批判测产品平均更新周期是106天，批、流处置平台的平均更新周期是93天，数据库为91天，数据剖析发掘约为150天。右下角为各类厂商研发人员数量状况，第十二批判测产品平均研发人员约为71人，批、流处置平台约为49人，数据剖析发掘产品约为53人，数据库产品平均人数较多，约为99人。右上方是参评企业2015后成立的比例图，能够看到隐私计算有42%的企业是2015年之后成立的，这也印证了隐私计算行业近年迎来爆发。随后分别是批、流处置平台、数据库及数据发掘剖析。数据库产业相对比较成熟，在大数据平台、隐私计算等范畴依旧不时有新公司涌现出来。

云厂商全链路发力。本批次参测云厂商占全部厂商的比例约为12.3%。但在测试数量方面，云厂商测试数量占第十二批的23.64%，假如将时间跨度拉长到2年，第9到第12批，这个数字上升到33.99%。而在测试类别掩盖度上，从第9批到第12批，云厂商参测类别掩盖度最低为76%，维持了比较高的掩盖度。云厂商全链路发力，掩盖上下游生态的大部分环节。

参评产品的才干两极化严重。本批测试可选项经过率低于50%的产品占45.83%，经过率为100%的占比为31.25%，经过率在50-100%之间约为23%。而在不同项目产品的可选项经过率方面，列出了经过率最高和最低的4各项目，能够看到最高的是对象存储、文档数据库、数据集成工具、散布式事务数据库，最低的是音讯中间件、数据管理平台、图数据库及流计算平台。整体来看，参测产品才干两极分化比较严重。

处置计划逐步成为大数据产品输出的主要方式。目前曾经有13.16%的参评产品曾经以处置计划的方式中止输出，81.58%的参评产品未来计划推出处置计划，10.53%的产品计划分离外部厂商构成计划。由此得出结论，大数据产品逐步从分散售卖的方式转向成为处置计划为用户提供效劳的方式。

大数据产品逐步从DOS时期进入GUI时期。从云计算、云效劳概念的呈现，到一站式数据开发平台，再到可视化低代码IDE，大数据产品呈现出数据剖析平民化的趋向。数据剖析平民化能够分两个层面，一个是数据可视化，另一个是开发低代码。统计了近三批数据管理剖析类产品可视化的经过率，第10批为22.67%，第11批是44.44%，第12批是50%，能够看到数据管理剖析类产品可视化才干日渐提升。数据开发平台作为提供可视化集成开发环境效劳的软件平台，本批测试项目经过率为85.71%，同时近几年国内呈现了数十个数据开发平台，这也证明了国内数据开发平台低代码才干逐步成熟。由此可见，数据剖析平民化正在稳步推进。

稳定性将成为散布式产品的选型重要要素之一。下面是中国信通院本批测试的一些统计，左图是综合扰动下性能降落比例。能够看到，在对20%节点注入状况下，性能降落幅度为40%。但是在对40%的节点注入扰动状况下，它的性能降落相比低强度仅降落了3.79%，且当移除扰动后系统均能恢复稳态。右图是不同扰动对系统影响的雷达图，大家能够看到网络问题对散布式数据库性能影响最大，平均大约是在45%左右。CPU、硬盘、内存、读写高负载对性能的影响约为15%左右，网络包损坏对影响最大，平均降落约为46.3%。这是本批稳定性测试的基本状况。

未来的计划，包含数据存储、稳定性测试、数据保险、场景与测试分离、整体处置计划、测试数据发掘剖析、一体化测试及构建异构资源池。其中，数据保险、稳定性测试及测试数据发掘剖析是我们下半年的工作重点，未来也会讲更多测试数据的剖析结果以测试察看、讲演的方式呈现给大家。

众行者远，中国信通院云计算与大数据研讨所的工作离不开产业的共同努力。欢送大家参与大数据技术规范推进委员会，一同交流学习，中止思想的碰撞，共同推进我国大数据产业展开。

第十三批大数据产品才干评测正在火热中止中

校 审 | 陈 力 、凌 霄

编 辑 | 珊 珊

”

引荐阅读

中国信通院闫树等：隐私计算展开综述

《新基建》专辑