無料AIデータパイプライン図作成ツール

実際の動作を見る

データパイプライン図の例

同じツールに4つの依頼。以下の図はすべて実際に生成されたものです。

入力する内容

毎日のデータパイプラインのフローチャートを作成してください。変更があったPostgreSQLの注文データをCloud Storageに抽出し、スキーマをチェックして、失敗したデータを隔離します。レコードを重複排除し、売上と行数を検証した後、BigQueryにロードし、MERGEとdbtのデータマートを実行して、売上ダッシュボード用のデータを公開します。

次に試す指定した日付範囲を再処理するバックフィル経路を追加BigQueryをSnowflakeに変更

フローチャート · Sugiyama layered DAG + orthogonal routing · schematex-flowchart

生成された図

データパイプライン図とは

データパイプライン図は、データソースから出力先までデータがどのように流れるかを示す図です。データの取り込み、検証、変換、保存、公開を行う各段階を記載し、矢印で処理の順序を、分岐で却下されたレコードや失敗した実行の経路を示します。

構築前のシステムの説明、既存システムの文書化、データセットが変更された箇所の追跡に使えます。パイプラインを運用する人にとって重要なチェックや引き継ぎのポイントも含めましょう。

Standard: Sugiyama layered DAG + orthogonal routing
Engine: schematex-flowchart
Editable: Double-click text, drag nodes
Export: SVG · PNG · PDF

利用者

データパイプライン図を使う人

データエンジニア

連携して運用する必要があるデータソース、テスト、ストレージ層、出力先を含むバッチ処理やストリーミング処理。

分析チーム

業務データがどのように指標やダッシュボードに変わるかを示す、データウェアハウスの変換処理。

プロダクト・プラットフォームチーム

検証、プライバシーフィルタリング、後続の分析処理を可視化するイベントパイプライン。

使い方

データパイプライン図の作り方：3つのステップ

説明する

まずは1段落で十分です。

“毎日のデータパイプラインのフローチャートを作成してください。変更があったPostgreSQLの注文データをCloud Storageに抽出し、スキーマをチェックして、失敗したデータを隔離します。レコードを重複排除し、売上と行数を検証した後、BigQueryにロードし、MERGEとdbtのデータマートを実行して、売上ダッシュボード用のデータを公開します。”