如何能识别出企业的全量数据资产?如何能准确且快速的提升当前的数据质量?如何能跨业务跨领域打通企业数据,消除“数据孤岛”?企业如何才能逐步挖掘出数据资产的价值并量化它?这一系列挑战在当前的很多企业中深深困扰着数据管理人员,尤其是引领企业数字化转型的管理层。
要攻克这一些列问题,一套体系完整、可分布构建、且与企业运行能良好协同的解决方案和一套简单易用高效的大数据开发工具必不可少,星环科技大数据开发工具 Transwarp Data Studio(以下简称 TDS ) 是一套为企业提供一站式数据资产全链路管理的服务平台,基于星环科技 TDS 的数据治理解决方案和数据中台解决方案能够极大地提升企业数字化转型落地效率。
“三力模型”数据治理工作框架是星环科技在深入分析和研究大量实践案例后,基于 TDS 提出的一套全新数据治理解决方案,三力即数据力+工具力+运营力,三力模型用以指导和量化企业目前在数字化转型工作上的重点和进展,为进一步转型推进提供比较具体的指导。同时,它也对数据治理提出了更明确、更细粒度的要求,这也成为数据治理产品和服务所遵循的更标准、可量化的指引。在这套框架中,数据力是指是数据的效能,数据驱动企业发展和业务创新的能力;如果说数据力是数字化转型硬实力的表现,那么运营力就是数字化转型的软实力;工具力是支撑运营力、释放数据力的基础,它标志着企业数字化转型的启动,记录着企业数字化转型的发展。
同时,基于 TDS 星环科技还提出一套批流一体的智能化数据中台建设方法论,星环科技认为数据中台是一种能力、是一种组织上的策略而不仅仅是一种技术架构,它是在信息化基础上建立的可编织和可复用的数据可分析能力,从而支撑企业数字化转型。
结合星环科技全系产品的相关组件实现数据中台能力建设。星环科技把数据中台建设归纳为三中心、六能力、两个体系,这当中都会有星环科技产品作为支撑,从而保证企业能够快速实现,并搭建起数据中台,满足企业未来发展变化。
基于 TDS 的数据治理、数据中台、数据湖等解决方案可以完美赋能以下四大应用场景落地:
集团数据湖:针对集团公司,以数字化转型咨询方案推动集团建立数字化部门,启动数据资产盘点,梳理和汇聚下辖企业的数据资产,统一管理数据安全等级和统筹建设数据湖/云来汇聚数据,满足信创目标。
数据治理场景:以数据治理咨询带动企业级管控平台的落地,以监管类数据专项治理或企业级落地,针对金融行业数据报送和传统数据治理需求,基于智能化和高性能的数据治理能力,完成数据治理落地。
企业数据中台:辅助湖仓集一体方案为企业提供数据开发、治理、服务的便利性,为信息化程度高的企业提供批量数据仓库,为程度中低的企业提供实时数据中台能力。增加对开发过程的管理,对 SQL 有审核能力,具备数据治理能力的开发过程管理。
分析共享型应用:配合客户试点探索新型应用场景,打造以技术创新性为主的业务场景试点,主导的技术方案以跨平台联邦以及多模转化为核心要点,以标签服务和门户应用提供数据分析和服务能力,结合业务场景构建分析体系提升数据中台部署的业务价值。
数据开发套件,助力企业完成数据统一化
数据开发套件包含了大数据整合工具 Transporter、数据库在线开发与协同工具 SQLBook 和任务调度软件 Workflow ,该套件作为星环科技大数据基础平台 Transwarp Data Hub 的生态开发应用工具,针对数据开发场景,提供数据集成、SQL开发和任务调度的能力,帮助企业将数据归集到数据湖仓,完成数据统一化的过程。
数据开发套件的三大核心优势:
1、分布式架构设计,可支持PB级别的数据平台建设,支持日均十万级任务调度,性能可扩展;
2、支持SQL关键词和SQL片段推荐,数据开发知识积累,智能化持续优化开发体验和开发效率;
3、基于大数据平台计算能力提供数据转换能力,避免传统ETL工具本身的计算瓶颈。
数据治理套件,完成数据资产化
数据治理套件,针对企业过去信息系统烟囱式的构建方式以及数据开发和管理过程不规范的问题,提供数据治理能力,帮忙企业进行数据资产盘点、数据标准统一和解决数据质量问题,完成数据资产化的过程;
TDS 的数据治理套件作是基于星环数据治理咨询方法论的、一站式的面向企业各类信息系统的数据管控平台,集成元数据管理、数据标准管理、数据质管理量等模块,提供全生命周期数据治理能力。
数治理套件的核心优势
可以事前通过TDS内置知识库,对行业文献、企业内部知识文档以及已有的数据标准、标规则内容,进行智能解析和知识沉淀,扩大数据标准对标的支撑业务主题范围,提高推荐准确率。同时,可以根据用户对推荐结果的判定行为对智能推荐算法进行自动化迭代和优化;
TDS数据治理套件是一站式产品架构,由完整的数据治理功能模块组成,并集成至统一平台中,各功能模块根据数据治理方法论有机的形成功能联动和流程,提供一站式工具应用体验;
TDS数据治理套件提供基于星环大数据技术的数据治理任务执行能力,高效完成数据治理作业。
数据运营套件,助力数据运营平台建设
数据运营套件包含:数据服务平台Midgard、标签平台Starviewer、数据商城 Foresight。提供数据标签体系构建和自助取数,直接对接数字化转型应用的 API 开发和管理,并能将上述套件产生的数据产品在统一的共享门户中进行企业内部共享交换,将企业各类型数据资产以分析、服务和共享的方式提供服务,发挥资产价值,最终支撑数字化转型相关应用,完成数据业务化的过程,并提供数据资产共享交互,构建企业数据生态化,助力数据运营平台建设。
目前,星环科技 TDS 已经在金融、能源、政府、医疗等多个行业落地,海洋石油富岛公司借助 TDS,建设了大数据技术平台及体系化的数据资产管理平台,实现技术业务化、数据业务化,实现化工生产过程的降本增效,推进公司数字化转型;某医学大数据研究平台通过 TDS 的数据资产定义、资产目录建立、数据溯源、数据全程监控及资产评估改进工具,实现数据资产的全生命管理,为研究所构建了高性能、高可靠性、高安全性及可扩展性的医学大数据研究平台,实现了医疗数据的规范化、流程化、质量化,帮助研究所专业的医学数据分析团队高效挖掘病历样本等科研数据的价值,落地科研业务,保障科研进度的稳步推进;华夏基金基于TDS,融合了TA(Transfer Agent开放式基金登记过户)系统、OTS(Online Trading System网上交易)系统、反洗钱系统、会计系统、资讯系统、交易系统及直销和代销数据,为营销数据中心、反洗钱系统、投研指标系统、数据分析等业务应用建立了数仓、数集及专用库,对投研指标系统相关数据进行了迁移与整合,为华夏基金构建基于大数据等技术的统一分析数仓打下了平台基础。