My Board

DataOps 专注于整个 ETL 开发周期的自动化工具，它应对了数据集成和 ETL 项目面临的巨大挑战。ETL 项目越来越多地基于敏捷流程和自动化测试。

提取和加载 （即提取、转换、加载）项目通常缺乏自动化测试。缺乏自动化测试通常是由于 1）关键 ETL 测试功能在市场上或开源上不可用，2）某些 ETL 测试工具的复杂性，或 3）内部开发工具的成本高昂。


Gartner Group 已多次证实，70% 以上的 阿尔及利亚电话号码数据 数据集成、迁移和 商业智能计划往往在第一次尝试时就失败了。随着企业产生（和需要）的数据比以往更多，失败率令人震惊。

本博客系列由两部分组成，重点介绍：

是什么让 DataOps 流程对 ETL 项目如此有价值
ETL 测试自动化的驱动力是什么
为什么将测试工具作为解决方案而不是一次性举措至关重要
开始数据测试自动化的步骤
DataOps 简介
“DataOps 是一种流程驱动的自动化数据交付和分析方法。DataOps 使用数据所有者和技术团队之间的敏捷方法来提高质量，同时缩短周期时间。它借鉴了 DevOps 的方法来带来类似的改进。DataOps 不依赖于任何特定的工具或技术。

DataOps 旨在创建自动化的工作流程，以便开发和运营团队在部署过程中不会发生冲突。为每次部署构建可重复的流程，为之前最混乱的任务带来了速度、一致性和可靠性。现在有数百种 ETL 工具声称可以使开发、部署和维护变得简单。