Nothing close enough? Start from a blank flowchart → Describe it in one paragraph.
How to use a flowchart template.
- 01זיהוי מקורות ויעדים
רשמו את מקורות הנתונים שלכם (Postgres, S3, Kafka, API) ואת מערכת היעד (Snowflake, BigQuery, Redshift, data lake). אלה יהיו צומתי ההתחלה והסיום.
- 02תיאור שלבי ההתמרה
פרטו כל שלב עיבוד: חילוץ, פענוח, ניקוי/הסרת כפילויות, צירוף, צבירה והעשרה. ChatDiagram ייצור מלבן תהליך לכל שלב.
- 03הוספת אימות ושערי איכות
ציינו בדיקות כמו התאמת מספר שורות, אימות סכימה, סף שיעור ערכי NULL או שלמות הקשרים. ChatDiagram יוסיף מעויני החלטה עם הסתעפויות pass/fail.
- 04הגדרת טיפול בשגיאות וניסיונות חוזרים
תארו מה קורה במקרה של כשל — תור dead-letter, התראה, ניסיון חוזר עם השהיה או ביטול. ChatDiagram יוסיף נתיבי שגיאה עם ההערות המתאימות.
- 05ייצוא לתיעוד
הורידו כ-PNG או PDF כדי להטמיע בקטלוג הנתונים, ב-runbook או ברשומת החלטה ארכיטקטונית (ADR).
Questions about flowchart templates
מה ההבדל בין ETL ל-ELT בתרשים זרימת צינור נתונים?
ב-ETL (Extract-Transform-Load), שלב ההתמרה מופיע בין החילוץ לטעינה — הנתונים עוברים עיבוד לפני שהם מגיעים למחסן. ב-ELT (Extract-Load-Transform), הנתונים הגולמיים נטענים קודם, וההתמרה מתבצעת בתוך המחסן באמצעות SQL (dbt, Spark SQL). בתרשים זרימה, סדר המלבנים Transform ו-Load משקף את התבנית שבה אתם משתמשים.
איך מציגים צינור נתונים מסתעף שבו סוגי רשומות שונים עוברים במסלולים שונים?
השתמשו במעוין החלטה עם תווית המציינת את תנאי הניתוב (לדוגמה, 'סוג הרשומה = אירוע?'). כל הסתעפות מובילה לשלב התמרה וטעינה משלה לפני שהיא מתחברת מחדש בשלב בהמשך, או ממשיכה ליעד נפרד. תייגו כל זרוע בבירור (כן/לא או שם הסוג הספציפי).
איך מייצגים צינור נתונים בזרימה רציפה לעומת צינור נתונים באצווה בתרשים זרימה?
בזרימה רציפה, השתמשו בחץ לולאה החוזר לשלב הקליטה לאחר צומתי התהליך/הפלט כדי להציג את האופי המתמשך, והוסיפו הערה עם הטריגר (לדוגמה, 'לכל הודעה' או 'לכל micro-batch'). באצווה, הוסיפו טריגר תזמון בצומת ההתחלה (לדוגמה, 'Daily 02:00 UTC') והודעת השלמה/הצלחה בסיום.
מה צריך לכלול תרשים זרימת צינור נתונים עבור runbook של צוות on-call?
תרשים זרימה המבוסס על runbook צריך להציג באופן בולט: את נקודת זיהוי הכשל (התראת ניטור או כשל במשימת הצינור), את עץ ההחלטות לסיווג הכשל (השבתת מקור לעומת שגיאת התמרה לעומת דחיית טעינה), את פעולת התיקון לכל סוג (דילוג/ניסיון חוזר/עיבוד מחדש) ואת נתיב ההסלמה במקרה שהתיקון האוטומטי נכשל.