1 摘要

　　本文主要介绍了华为云DTSE助力马来西亚X集团部署开源工作流平台Apache Airflow的案例。Airflow是一款面向数据处理场景，提供以编程方式编写、调度和监控的开源工作流平台，被广泛开发者所使用。本文以马来西亚X集团大数据平台中的Apache Airflow为背景，提供了一个利用开源工具进行技术支撑的案例。Airflow本身并未集成华为云云服务能力，通过API/SDK集成、兼容性适配、定制化开发等技术，完成X集团大数据平台的跨云迁移、脚本编程优化等工作，降低X集团平台部署与人力成本，提升编程效率。

　　2 背景

　　X集团是马来西亚最强大的房地产建筑集团之一，旗下有13个BU，涉及房地产、建筑、零售、酒店、休闲、医疗、教育等方面。

　　X集团本身的业务是基于Apache Airflow进行任务编排的，因此在DTSE团队协助其Group IT将部署在Google的大数据平台进行全面替换时，X集团希望在华为云上仍然能够继续使用Airflow。

　　3 业务场景分析

　　X集团同意先由华为云进行POC评估，计划POC阶段通过后再转入商用阶段。在满足集团希望能在华为云上继续使用Apache Airflow进行任务编排的需求时，遇到了如下几个棘手问题。

　　1.华为云部署Apache Airflow难度较大：当前Airflow在华为云CCE部署并没有成熟方案，且由于Airflow本身并未集成华为云云服务能力，因此X集团在华为云上需要通过手动方式部署和管理Airflow工作流平台，由于没有托管服务，人力与运维成本偏高。

　　2.缺乏华为云云服务操作器，GCP无法直接迁移上华为云：由于谷歌对开源的Airflow做了一些针对性的云服务适配，其中涉及到X集团在GCP上部署Airflow集群时需要调用的Big Query以及Google Cloud Storage等，因此该集团从GCP 迁至华为云后客户业务无法直接运行。

　　3.DAG编程复杂导致代码编程工作量过大：DAG是Airflow中的工作流文件，基于X集团业务场景进行DAG编程时，每个DAG中的每个任务都需要附带一个任务传感器，这明显增加了DAG编程的代码工作量。

　　4 解决方案

　　综合考虑X集团业务痛点问题，DTSE技术团队在POC阶段提供Demo演示来打消集团疑虑，并持续跟踪该集团转入商用阶段，直至成功割接上线。

　　4.1 基于CCE容器化解决集群部署问题

　　当前Airflow在华为云CCE部署并没有成熟方案，并不支持对Airflow集群的托管工作。为了解决华为云部署Apache Airflow集群问题，DTSE制定了基于CCE的容器化方案，CCE云容器引擎提供高可靠、高性能的企业级容器应用管理能力，支持Kubernetes社区原生应用和工具，应用及自动弹性伸缩，自动化搭建云上容器平台。

　　DTSE通过CCE云容器引擎协助X集团搭建数据分析与数据存储平台，进行Airflow集群化一键部署，并对该集团业务系统进行架构优化，支持自动化运维与管理，构建自定义容器镜像，实现实时监控文件变化以及自动安装脚本所需依赖包，避免反复更新Pod操作，实现托管功能。

　　具体方案设计如下：

　　1. 构建Airflow容器镜像，包含华为云Provider包，将镜像上传至华为云SWR；

　　2. 构建config_watcher容器镜像，监控ConfigMap中requirements.txt文件的变化，用于安装Python依赖包，将镜像上传至华为云SWR；

　　3. 上传Airflow的Helm Chart包到CCE模板，修改values.yaml配置文件，替换容器镜像为SWR的容器镜像等，部署Airflow。

　　图1 Airflow CCE部署架构图

　　4.2 开发对应的操作器完成数据源替换

　　华为云的OBS（对象存储服务）可替换Google Cloud Storage，为用户提供海量、安全、高可靠、低成本的数据存储能力。DWS（数据仓库服务）是一种即开即用、安全可靠的在线数据仓库服务，为用户提供海量数据的存储、挖掘和分析能力；DLI（数据湖探索服务）完全兼容Apache Spark、Apache Flink、Trino生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。DWS与DLI结合可替换Big Query，完成数据分析和处理。

　　技术团队针对Airflow缺乏的华为云云服务操作器与该集团的弹性业务场景进行适配，分别开发了OBS、DWS、DLI等云服务的操作器，并打包成相应的插件包供开发者使用，大幅度减少开发者适配华为云的开发工作量。

　　具体方案设计如下：

　　1. 基于X集团场景所需云服务功能进行分析，获取云服务的API/SDK列表；

　　2. 基于所分析的云服务的API/SDK列表，开发适配对应的华为云Provider包；

　　3. 通过华为云Provider包测试X集团业务流程，并为该集团提供Demo演示。

　　4.3通过参数实现脚本编程优化

　　DTSE根据X集团业务场景对DAG脚本进行改造迁移，DAG在Airflow中表示运行的所有任务的集合，由python脚本定义，其中包含了多个TASK，并定义了这些TASK的依赖关系。原本在DAG编程时，由于每个DAG中的每个任务都需要附带一个任务传感器，导致一个脚本文件中常常会有大量的任务传感器。DTSE以自身的软件开发经验和能力，深入代码层级，根据X集团脚本进行整改优化，让执行Job的操作器支持“deferrable”参数来解决任务传感器数量问题，极大程度上减少了整体代码编写量。

　　具体方案设计如下：

　　1. 为Job执行器进行自定义触发器开发；

　　2. 修改Job执行器逻辑，添加“deferrable”参数。当“deferrable”参数设置为True时表示开启延迟模式，使用触发器来推迟自身，直至Job执行成功或失败。

　　5 总结与建议

　　通过开源专业服务，X集团成功将其数据分析与数据存储平台迁移至华为云，降低了其数据平台成本的同时也带动华为云云服务约20w/年的资源消耗。在此过程中，我们对X集团的数据处理流程进行了深入优化，特别是在DAG中完成了100多个Task改造迁移工作，让该集团的脚本编程效率得到极大提升，显著减少了每个DAG中的每个TASK至少50%的编程工作量，进一步提升了开发运维效率，帮助企业实现降本增效。

　　这类对开源项目有需求的企业在上云时常常面临如下需求：

　　1. 灵活性和自主性：企业希望依据自身情况进行定制和集成，而不受特定厂商或提供商限制；

　　2. 降低成本：企业预算有限，寻找更经济实惠的解决方案；

　　3. 数据安全和隐私保护：企业希望通过透明且可审计代码的开源产品，理解软件的工作原理，增强对数据安全和隐私保护的信心；

　　4. 单一供应商锁定风险：不希望与某云厂商强绑定；

　　5. 对某开源组件形成依赖：业务上已经用习惯了某开源组件，解决方案架构中希望继续使用该开源组件。

　　……

　　结合开源项目特有的成本低、高灵活性和可定制性等优势，让开源项目往往在解决方案中脱颖而出，成为必不可少的一环。DTSE深入了解X集团业务需求，针对该集团痛点提供对应的开源专业服务，引导该集团进行试点验证，进而推广复制，循序渐进的将该集团业务迁移上华为云，实现X集团与华为云双赢。

　　本文介绍了X集团将开源工作流平台Airflow迁移上华为云的案例，重点展示了开源专业服务中的云服务集成适配服务以及能力定制化服务，为此类型企业提供了一个可参考的范例。

　　本文来源于《华为云DTSE®》第五期开源专刊，更多文章请查看：https://bbs.huaweicloud.com/blogs/435823

　　作者：华为云开发者联盟DTSE团队