近日，奇点云的数据云全系产品发布新一季更新。本文着重分享数据存算引擎DataKun、数据安全引擎DataBlack、指标工厂SimbaMetric、标签工厂SimbaTag的最新进展。

　　摘要：

　　· 数据存算引擎DataKunR2.0发布，在安全稳定、智能运维、自主可控等层面均有优化，实现360°可观测。

　　· 数据安全引擎DataBlackR2.0发布，成为独立版本，支持全域数据安全，内置开箱即用的行业模板，更有“冠军算法”加持。

　　· SimbaMetric（指标工厂）、SimbaTag（标签工厂）成为独立版本，可搭载于企业现有数据平台之上，为标签管理、指标管理提效。

　　DataKun R2.0

　　智能运维，自主可控

　　数据存算引擎DataKun，提供企业级的大数据集群智能运维能力。延续“安全稳定”、“智能运维”、“云原生”、“自主可控”四大特性，DataKun R2.0持续优化进阶：

　　360°可观测，告别传统人肉运维

　　围绕大数据运维全生命周期，DataKun从系统层、服务层、业务层实现360°可观测，并通过智能运维模型，自动化监测、分析和优化系统行为，改变了传统“人肉运维”的方式。

　　R2.0相关升级主要体现在以下三个方面：

　　1、“健康检查”

　　DataKun“健康检查”功能，通过一系列检查及验证，帮助运维工程师及时发现常见的配置问题，更新系统参数，减少由于错误配置引起的潜在故障和性能问题。

　　本次更新完善了检查与更新NTP的设置，以确保时间同步；完善了检查与优化磁盘的设置，以确保存储性能更优。

　　2、“Service Advisor”

　　“Service Advisor”（服务顾问）功能，旨在通过分析集群组件的配置和状态，检查可能存在的问题，并提供优化建议。例如，按照集群规模，动态推荐各组件的CPU和内存值，帮助用户改善集群的性能和资源利用率，解决Container并发度不足导致任务运行排队严重、效率太低等问题。

　　本次更新中，Service Advisor基于过往服务客户的非常好的实践，优化了HDFS、Ranger、HBase、ClickHouse等组件的配置推荐算法。

　　3、“集群监控”

　　“集群监控”功能相当于大数据集群的“天眼”。DataKun R2.0迭代了基础监控数据指标体系，建设了完善的监控看板与易用的诊断工具，覆盖系统、服务、业务三个层面，帮助及时发现硬件故障、资源瓶颈、任务执行异常等问题。

　　全量压测，安全稳定

　　作为数据存算引擎，DataKun需确保长期运行过程中，始终具备高可用、高性能，且满足安全、稳定、合规的要求。

　　1、核心组件全量压测，充分保障稳定

　　本轮更新，DataKun的核心组件完成全量压测，包括YARN、HDFS、Hive、Spark等在内的所有核心组件稳定性及性能均得到了充分验证。

　　结合压测结果数据，我们进一步对组件进行配置调优，提升了集群的整体吞吐能力。

　　2、持续关注开源组件安全，第一时间修复相关漏洞

　　DataKun持续关注开源社区动态，及时更新并进行专业的兼容性验证测试，以规避因开源组件漏洞而造成的拒绝服务攻击、远程代码执行及安全绕过等问题。

　　本轮迭代，截至2023年6月Hadoop和Hive中发现的高危漏洞，均已在DataKun R2.0修复完毕。

　　自主可控，增加国内研发软硬件环境适配

　　DataKun持续适配国内研发软硬件环境，R2.0现已支持兼容KunPeng（ARM架构）Kylin V10、X86 Kylin V10。

　　此外，DataKun R2.0提供更成熟、标准化的配套迁移服务，支持从CDH及云上EMR迁移至DataKun，进一步保障企业客户自主可控。

　　DataBlack R2.0

　　独立版本，支持全域数据安全

　　数据安全引擎DataBlack以数据为中心，具备敏感数据自动化发现、数据脱敏和加密、权限管理、风险识别和监控、数据审计等五大核心功能，助力客户完成企业级的数据全生命周期安全管控及保护。

　　DataBlack R2.0带来以下关键更新：

　　独立版本，支持全域全场景数据安全

　　自R2.0起，DataBlack正式作为独立产品单独售卖（而不再只作为数据云平台DataSimba的增购项）。

　　“自立门户”的DataBlack不仅能保障数据云平台DataSimba、数据存算引擎DataKun内的数据资产安全，也支持对接分析云（例如CDP、UBA）等多类数据应用产品，提供一站式的数据安全管理能力，帮助企业高效满足《个人信息保护法》《数据安全法》《网络安全法》等安全合规要求。

　　DataBlack R2.0产品架构升级，独立支持全域数据安全

　　以增长分析（UBA）为例，利用DataBlack完成敏感数据识别后，企业用户可以对UBA内Event、User、Item三张表中存在安全风险的敏感信息进行统一管理，也可以下载风险明细，满足审计要求。

　　面对数据应用日益多样而安全合规缺失的现状，企业的数据安全管理部门可以借助DataBlack，对全域数据采取一致的数据安全策略与流程应用，给用户授予对应应用的安全角色、配置安全能力，从而真正提高数据安全管控效率。

　　内置行业模板，开箱即用

　　根据各行业规范要求和业务特性，DataBlack R2.0内置了数据安全分类分级行业模版，开箱即用，帮助企业高效管理敏感数据，自动生成分级分类全景图。

　　目前，内置模板包括以下三类：

　　1、分类分级标准模板：基于《个人信息保护法》等国家安全法律法规，内置37类敏感数据类别及对应的敏感级别，帮助企业快速完成敏感数据分类、查询状态。

　　2、金融数据安全分类分级模板：依据《金融数据安全 数据安全分级指南》（JR/T 0197—2020），侧重个人金融信息保护和金融重要数据保护。

　　3、智联网汽车数据分类分级模板：依据“数据安全推进计划”出台的《智能网联汽车数据分类分级指南》，侧重智能网联汽车的个人敏感信息和汽车重要数据保护。

　　“冠军算法”加持智能安全

　　曾斩获全国数据安全赛事冠军的“异常攻击事件检测模型”现已融入DataBlack R2.0！

　　“异常攻击事件检测模型”是一种兼顾“攻击事件分类识别”和“基线行为预测”的多任务深度学习模型，不仅能检测攻击事件发生的时间段、攻击事件类型，还能解析攻击事件的独特表现。

　　通过该模型所属的“风险智能识别”功能，企业可以监控对应平台内用户的操作行为，自动化检测异常操作，识别离职员工账号违规使用、员工下载敏感数据导致泄露、低权限账号访问敏感重要数据等安全风险问题。

　　SimbaMetric R2.0

　　指标管理与开发的效率工具

　　SimbaMetric（指标工厂）是针对指标统一管理与开发的效率工具，为企业提供一套完整的指标管理与开发体系。

　　具体而言，SimbaMetric能全面满足指标的业务需求、技术需求以及管理需求，提供指标从“提出”、“定义”、“设计”、“开发”、“使用”、“修改”到“下线”等全生命周期的管理功能，为经营分析、风险管理、领导决策等提供管理规范、指标统一、数据易用的产品功能保障。

　　作为Simba Toolkits（数据服务工具箱）中的一员，SimbaMetric现已进阶为独立版本，不仅支持搭配数据云平台DataSimba增购，也支持单独购买，满足更多客户所需。

　　SimbaMetric R2.0的能力包括：

　　1、严谨的分层分域设计，更清晰。在指标开发的过程中，SimbaMetric支持用户严格遵循数仓分层分域的架构设计，让数据结构清晰化、条理化，减少指标的重复开发。

　　2、指标建模的方式让指标业务更“落地”。SimbaMetric以“统计粒度+派生指标”形成逻辑表的业务维度和度量字段，使得维度建模的过程与业务紧密结合。例如，渠道维度的订单分析数据，应围绕“渠道”的统计粒度和“订单”相关的派生指标进行开发。

　　3、管理数据标准，更强调应用数据标准。在数据治理的场景中，SimbaMetric基于数据标准场景实现了对数据规范的管理，如标准的定义、标准值的定义和条件约束，并通过这套规范执行、检测、维护数据的标准化。

　　4、丰富的行业模板库，一键引用。我们将众多行业的实践经验沉淀至高级版模板库功能中，可以在项目中一键引用行业模板并创建，包括但不限于泛零售行业的词根、数据标准、主题域、业务过程等等多个模板。

　　SimbaTag R2.0

　　标签开发与管理分析的效率工具

　　与SimbaMetric同期“独立”的，还有SimbaTag（标签工厂）。

　　SimbaTag是面向业务标签开发、管理、分析的生产力工具型应用。

　　聚焦大数据治理环节中高频的标签开发场景，SimbaTag提炼OEET方法论（Object对象-Entity实体-Event事件-Tag标签），可完成标签体系从业务定义到数据模型构建、标签开发的落地全过程，并针对形成的标签资产进行统一的资产管理，提供数据服务API及数据订阅服务。

　　下游业务系统（例如CDP，客户数据平台）可通过调用SimbaTag提供的Open API接口，灵活调整标签开发模板，迭代衍生标签，沉淀出新的标签资产，形成“标签生产-管理-服务-回流”的标签运营生态。

　　与此前的版本相比，SimbaTag R2.0有以下产品优势：

　　操作配置可视化：可拖拽式构建对象宽表模型，并将字段批量配置为对象属性；

　　输出表结构稳定：标签输出表采用高表结构，便于下游系统查询及调用；

　　标签管理接口开放：支持下游系统调用OpenAPI接口进行标签克隆，快速生成衍生标签。

　　写在最后：为什么选择让它们“自立门户”？

　　继数据存算引擎DataKun后，数据安全引擎DataBlack、指标工厂SimbaMetric、标签工厂SimbaTag陆续升级为独立版本。

　　也就是说，上述产品可以单独售卖，而不再只作为数据云平台DataSimba的增购项。已有数仓/数据平台的企业可以根据自身的技术栈规划，按需选购。

　　相较搭配购买，单独购买独立版本往往更为“轻量”，组合更为灵活。而实践过后，有许多企业会发现各类数据产品工具自成一套，组装时不得不重复建设，架构变得冗杂。

　　因此，与市面上产品不同的是，上述产品的独立版本均内置了Simba OS（数据云操作系统内核），负责对DataBlack、SimbaMetric、SimbaTag等产品提供数据的存算、权限体系等标准能力。

　　Simba OS采用对象体系的设计，因此上述产品的独立版本均可继承对象的属性和行为，例如继承“支持60多种数据源”、“具备完善的监控告警运维能力”等。在保持轻量、灵活等优势的同时，无需为多引擎、多依赖、多云、海量多源异构数据等带来的复杂性以及多产品体系打通等问题操心。

　　期待成为您的理想选择！