互联网 频道

华为云获2021数博会领先科技成果奖,实时数据分析驱动大数据发展

5月26日,2021中国国际大数据产业博览会(以下简称“2021数博会”)在贵州贵阳召开。大数据行业大咖齐聚一堂,围绕“数据创造价值 创新驱动未来”主题,研讨大数据促进数字经济发展难点及方向。同时,大会颁发了大数据行业权威奖项: “2021数博会领先科技成果奖”,华为云数据使能DAYU主力产品:GaussDB(DWS)实时数仓实时数据分析技术获得2021领先科技成果奖-“新技术奖”。

华为云GaussDB(DWS)实时数仓:实时数据分析技术

随着互联网和物联网的快速发展,企业针对运维监控、IoT监控等数据分析应用的业务需求量日益增长。这些场景产生的时序数据具有明显的共性特征:

每条数据带有时间戳,数据根据时间序列源源不断;

数据价值会随着实时性不断衰减,新鲜、活跃的数据会为用户带来更大的价值;

数据量激增,尤其是在某些特定业务场景下数据海量激增;

越来越多数据被利用起来,以前已存在但被认为无价值或低价值的数据正在通过计算分析,不断被挖掘出更多的价值……针对这些显著的特征,数据分析平台应具备更强大的计算性能和存储分析功能。

华为云GaussDB(DWS)实时数仓是基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,支撑高并发高性能实时数据分析。依据流数据、时序数据特征打造从优化器、执行器到存储的全系列,高性能,可扩展的实时数据引擎,实时数据分析技术提供四大技术创新:

时序引擎+流引擎,告别T+1模式:改变传统数据先入库再查询的分析模式,时序引擎+流引擎提供实时计算能力。数据先计算分析,并实时反馈计算结果,计算结果可以继续进行下一步计算或者保存,大大降低了数据处理时延。

实时数据智能合并算法:采用Delta+PartData的实时数据区与全量数据区智能合并算法,兼顾入库和查询性能。

行列混合存储+时序数据专用压缩算法:针对时序数据的特点,GaussDB(DWS)独创的自适应压缩算法最高可达40:1的压缩比,极大的减少存储空间。

数据冷热周期智能管理:冷热数据多温存储,通过引入时间维度自动分区,不仅能降低成本,提高扩展性,也能方便地通过OBS将集群内数据与云上其它服务其它引擎进行数据交换。

华为云GaussDB(DWS)实时数仓已在华为流程IT运维大数据平台上线使用,解决了时序数据和流数据在业务使用中“装不进”“算不动”的挑战,真正做到实时入库持续计算。数据采集/存储/分析/洞察在5G、物联网、人工智能等领域广泛存在,尤其时序和流数据实时分析愈发重要。华为GaussDB(DWS)实时数据分析技术,将助力企业在智能数据时代创造更多业务价值。

转载请注明出处。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
0
相关文章