ChatDiagram
13 templates · Flowchart

데이터 파이프라인 순서도

데이터 파이프라인 순서도는 데이터 엔지니어부터 제품 관리자, 데이터 사용자까지 모든 이해관계자가 원시 데이터가 소스 시스템에서 변환 및 검증 단계를 거쳐 웨어하우스, 레이크 또는 서비스 계층의 최종 목적지로 이동하는 과정을 함께 이해하도록 돕습니다.

Standard Sugiyama layered DAG + orthogonal routingEngine schematex-flowchartExport SVG · PNG · PDF
How to

How to use a flowchart template.

  1. 01소스와 목적지 파악하기

    데이터 소스(Postgres, S3, Kafka, API)와 대상 시스템(Snowflake, BigQuery, Redshift, 데이터 레이크)을 나열하세요. 이 항목들이 시작 노드와 종료 노드가 됩니다.

  2. 02변환 단계 설명하기

    추출, 디코딩, 정제 및 중복 제거, 조인, 집계, 보강 등 각 처리 단계를 나열하세요. ChatDiagram이 각 단계에 프로세스 사각형을 만듭니다.

  3. 03검증 및 품질 게이트 추가하기

    행 수 대조, 스키마 검증, null 비율 임계값, 참조 무결성 등의 검사를 지정하세요. ChatDiagram이 통과/실패 분기가 있는 의사결정 마름모를 추가합니다.

  4. 04오류 처리와 재시도 정의하기

    실패 시 수행할 작업(데드 레터 큐, 알림, 백오프를 적용한 재시도 또는 중단)을 설명하세요. ChatDiagram이 적절한 주석과 함께 오류 경로를 추가합니다.

  5. 05문서용으로 내보내기

    PNG 또는 PDF로 다운로드해 데이터 카탈로그, 런북 또는 아키텍처 의사결정 기록(ADR)에 삽입하세요.

FAQ

Questions about flowchart templates

파이프라인 순서도에서 ETL과 ELT의 차이는 무엇인가요?

ETL(Extract-Transform-Load)에서는 추출과 적재 사이에 변환 단계가 들어가 데이터 웨어하우스에 도달하기 전에 데이터가 처리됩니다. ELT(Extract-Load-Transform)에서는 원시 데이터를 먼저 적재한 뒤 웨어하우스 내부에서 SQL(db t, Spark SQL)을 사용해 변환합니다. 순서도에서는 Transform과 Load 사각형의 순서가 어떤 패턴을 사용하는지 보여줍니다.

레코드 유형에 따라 서로 다른 경로로 분기되는 파이프라인은 어떻게 표현하나요?

라우팅 조건(예: '레코드 유형 = 이벤트?')을 표시한 의사결정 마름모를 사용하세요. 각 분기는 별도의 변환 및 적재 단계로 이어진 후 다음 단계에서 다시 합쳐지거나 서로 다른 대상지로 계속 진행됩니다. 각 분기 선에는 yes/no 또는 구체적인 유형명을 명확히 표시하세요.

순서도에서 스트리밍 파이프라인과 배치 파이프라인은 어떻게 표현해야 하나요?

스트리밍은 처리 및 출력 노드 뒤에서 수집 단계로 되돌아가는 루프 화살표를 사용해 연속적인 흐름을 나타내고, '메시지마다' 또는 '마이크로 배치마다' 같은 트리거를 덧붙이세요. 배치는 시작 노드에 '매일 02:00 UTC' 같은 일정 트리거를 넣고 마지막에 완료 또는 성공 알림을 표시하세요.

온콜 런북용 데이터 파이프라인 순서도에는 무엇을 포함해야 하나요?

온콜 런북용 순서도에는 실패 감지 지점(모니터링 알림 또는 파이프라인 작업 실패), 실패 유형을 분류하는 의사결정 트리(소스 장애, 변환 오류, 적재 거부), 각 유형에 대한 대응(건너뛰기, 재시도, 재처리), 자동 복구가 실패했을 때의 에스컬레이션 경로를 명확히 표시해야 합니다.