看看實際效果
數據管道圖範例。
同一款工具，四種需求。下方每張圖都是實際產生的成果。
輸入內容
建立每日數據管道流程圖：將異動的 PostgreSQL 訂單擷取至 Cloud Storage，檢查結構描述，隔離失敗資料，去除重複紀錄，驗證營收與資料列數，載入 BigQuery，執行 MERGE 與 dbt marts，最後發布銷售儀表板資料。
接著試試為指定日期範圍新增回補分支將 BigQuery 改為 Snowflake
流程圖 · Sugiyama layered DAG + orthogonal routing · schematex-flowchart
產生的圖表
什麼是數據管道圖。
數據管道圖呈現資料如何從來源流向目的地，標示擷取、驗證、轉換、儲存與發布資料的各個階段，以箭頭表示順序，並以分支表示遭拒資料或失敗執行。
在系統建置前用它說明系統、記錄現有系統，或追蹤資料集在哪裡經過變更。納入對管道營運人員重要的檢查與交接。
- Standard
- Sugiyama layered DAG + orthogonal routing
- Engine
- schematex-flowchart
- Editable
- Double-click text, drag nodes
- Export
- SVG · PNG · PDF
適用對象
誰會使用數據管道圖。
需要一起維運的批次與串流工作，以及來源、測試、儲存層與輸出。
呈現營運資料如何轉換為指標與儀表板的數據倉儲轉換流程。
讓驗證、隱私篩選與下游分析清楚可見的事件管道。
運作方式
三步驟製作數據管道圖。
01
描述需求
寫一段話就能開始。
“建立每日數據管道流程圖：將異動的 PostgreSQL 訂單擷取至 Cloud Storage，檢查結構描述，隔離失敗資料，去除重複紀錄，驗證營收與資料列數，載入 BigQuery，執行 MERGE 與 dbt marts，最後發布銷售儀表板資料。”
02
查看圖表
由合適的繪圖引擎產生。
03
提出修改
每次修改都會保留版本。
為指定日期範圍新增回補分支
V2 · DRAWN FROM V1, NOTHING RETYPED常見問題
常見問題
什麼是數據管道圖？
它是資料如何經過收集、處理、儲存與交付階段的視覺化表示。
數據管道圖應包含哪些內容？
納入來源、轉換、驗證或品質檢查、儲存系統、目的地，以及任何重要的失敗路徑。
ETL 和數據管道有什麼不同？
ETL 是一種會擷取、轉換與載入資料的管道。管道也可以串流事件、訓練模型或發布指標。
為什麼要呈現失敗路徑？
它們呈現資料無效、延遲或不完整時會發生什麼事，協助人員操作與疑難排解系統。
相關工具
