ChatDiagram
13 templates · Flowchart

資料管線流程圖

資料管線流程圖能讓所有相關人員——從資料工程師、產品經理到資料使用者——建立共同的流程概念,了解原始資料如何從來源系統,經過轉換與驗證階段,最後流向資料倉儲、資料湖或服務層。

Standard Sugiyama layered DAG + orthogonal routingEngine schematex-flowchartExport SVG · PNG · PDF
How to

How to use a flowchart template.

  1. 01確認來源與目的地

    列出資料來源(Postgres、S3、Kafka、API)與目標系統(Snowflake、BigQuery、Redshift、資料湖),這些會成為流程的起點與終點節點。

  2. 02描述轉換階段

    依序列出每個處理步驟:擷取、解碼、清理/去重、連接、彙總與豐富化。ChatDiagram 會為每個階段建立處理矩形。

  3. 03加入驗證與品質閘門

    指定資料列數核對、結構描述驗證、空值率門檻或參照完整性等檢查。ChatDiagram 會加入帶有通過/失敗分支的決策菱形。

  4. 04定義錯誤處理與重試

    描述失敗時的處理方式——死信佇列、警示、採用退避機制重試或中止。ChatDiagram 會加入適當註記的錯誤路徑分支。

  5. 05匯出供文件使用

    下載為 PNG 或 PDF,嵌入資料目錄、操作手冊或架構決策紀錄(ADR)。

FAQ

Questions about flowchart templates

資料管線流程圖中的 ETL 與 ELT 有什麼不同?

在 ETL(Extract-Transform-Load)中,轉換步驟位於擷取與載入之間,也就是資料在進入資料倉儲前先完成處理。在 ELT(Extract-Load-Transform)中,則會先載入原始資料,再於資料倉儲內使用 SQL(dbt、Spark SQL)進行轉換。在流程圖中,Transform 與 Load 矩形的順序會反映你採用的模式。

如何在流程圖中呈現不同記錄類型走不同路徑的分支管線?

使用標示路由條件的決策菱形,例如「Record type = event?」。每個分支先連到各自的轉換與載入步驟,再於下游階段重新合併,或繼續前往不同目的地。清楚標示每條分支,例如 yes/no 或具體類型名稱。

流程圖應如何呈現串流管線與批次管線的差異?

對於串流處理,可在處理或輸出節點後使用迴圈箭頭回到擷取步驟,呈現持續處理的特性,並註明觸發頻率,例如「per message」或「per micro-batch」。對於批次處理,請在起始節點加入排程觸發條件,例如「Daily 02:00 UTC」,並在結尾加入完成或成功通知。

資料管線流程圖應包含哪些值班操作手冊內容?

以值班操作手冊為導向的流程圖,應清楚呈現:失敗偵測點(監控警示或管線工作失敗)、分類失敗原因的決策樹(來源中斷、轉換錯誤或載入拒絕)、各類失敗的修復措施(略過、重試或重新處理),以及自動修復失敗時的升級處理路徑。