關鍵要點
數據可觀測性透過監控和管理即時數據來確保數據的高品質。
關鍵框架面向包括新鮮度、分佈、容量、模式和血統。
有效的實踐包括數據沿襲追蹤、即時警報和異常檢測。
Prometheus、Grafana 和 Dagster 等開源工具有助於建立可觀察性框架。
缺乏可觀察性可能導致停機、數據品質不佳和財務損失。
傳統的監控已經不再滿足複雜資料組織的需求。資料工程 銷售數據 師不能依賴反應系統來識別已知問題，而必須創建互動式可觀察性框架來幫助他們快速發現任何類型的異常。
雖然可觀察性可以包含許多不同的實踐，但在本文中，我將根據我們在組織中使用開源工具來建立可觀察性框架的經驗，分享進階概述和實用技巧。
那麼，如何建立具有良好數據健康可視性並保證數據品質的基礎設施？
什麼是數據可觀測性？
總體而言，可觀察性定義了您可以從外部輸出中了解多少有關內部系統的資訊。這個術語最初由匈牙利裔美國工程師魯道夫·卡爾曼於 1960 年定義，他討論了數學控制系統中的可觀測性。
多年來，這一概念已被應用於各個領域，包括數據工程。這裡，它解決了數據品質問題，並且能夠追蹤數據的收集位置和轉換方式。
數據可觀測性意味著確保所有管道和系統中的數據都是完整的和高品質的。這是透過監控和管理即時數據來解決品質問題來實現的。可觀察性確保了清晰度，從而可以在問題蔓延之前採取行動。
什麼是資料可觀測性框架？
資料可觀測性架構是監控和驗證機構內資料完整性和品質的過程。它有助於主動確保資料品質和完整性。
該框架必須基於IBM定義的五個強制性面向：
新鮮度。必須找到並刪除過時的資料（如果有）。
分配。必須記錄預期資料值以協助識別異常值和不可靠資料。
體積。必須追蹤預期值的數量以確保數據完整。
模式。必須監視資料表和組織的變化以協助查找損壞的資料。
血統。收集元資料和映射來源對於幫助解決問題是必須的。
這五項原則確保資料可觀測性框架有助於維護和提高資料品質。您可以透過實施以下資料可觀察性方法來實現這些。