去年,我们的团队采访了 200 多家公司,了解他们的数据集成用例。我们发现数据集成2021年依然一片混乱。
无法扩大的现状
在 200 次采访中,至少有 80 次采 开曼群岛电话号码数据 访对象是现有 ETL 技术的用户,例如 Fivetran、StitchData 和 Matillion。我们发现,尽管他们使用的是 ETL 解决方案(或 ELT 解决方案 - 为简单起见,我们仅使用术语 ETL),但他们每个人都在构建和维护自己的连接器。为什么?
我们发现两个原因:
连接器覆盖不完整
数据库复制方面存在巨大摩擦
无法满足所有连接器需求
在我们的采访中,我们发现许多用户的 ETL 解决方案不支持他们想要的连接器,或者虽然支持,但不是以他们需要的方式。
举个例子:Fivetran 已经存在八年了,支持 150 个连接器。然而,仅在营销技术和广告技术这两个领域,就有超过 10,000 个潜在连接器。
ETL 最难的部分不是构建连接器,而是维护它们。这很昂贵,任何闭源解决方案都受到 ROI(投资回报率)考虑的限制。因此,ETL 供应商专注于最受欢迎的集成,但公司每月使用的工具越来越多,而连接器的长尾却被忽略了。
因此,即使有了 ETL 工具,数据团队仍然需要投入大量金钱和时间来构建和维护内部连接器。