ChatDiagram
13 templates · Flowchart

مخططات خطوط أنابيب البيانات

يمنح مخطط خط أنابيب البيانات كل أصحاب المصلحة — من مهندسي البيانات إلى مديري المنتجات ومستهلكي البيانات — نموذجًا ذهنيًا مشتركًا يوضح كيفية انتقال البيانات الخام من أنظمة المصدر، مرورًا بمراحل التحويل والتحقق، وصولًا إلى وجهتها النهائية في مستودع بيانات أو بحيرة بيانات أو طبقة تقديم.

Standard Sugiyama layered DAG + orthogonal routingEngine schematex-flowchartExport SVG · PNG · PDF
How to

How to use a flowchart template.

  1. 01حدّد المصادر والوجهات

    اذكر مصادر بياناتك (Postgres وS3 وKafka وAPI) والنظام المستهدف (Snowflake أو BigQuery أو Redshift أو بحيرة بيانات). ستصبح هذه عقدتي البداية والنهاية.

  2. 02صِف مراحل التحويل

    عدّد كل خطوة معالجة: الاستخراج، وفك الترميز، والتنظيف/إزالة التكرار، والضم، والتجميع، والإثراء. ينشئ ChatDiagram مستطيل معالجة لكل مرحلة.

  3. 03أضف عمليات التحقق وبوابات الجودة

    حدّد فحوصات مثل مطابقة عدد الصفوف، والتحقق من المخطط، وحدّ معدل القيم الفارغة، أو التكامل المرجعي. يضيف ChatDiagram مُعيّنات قرار مع فروع نجاح/فشل.

  4. 04حدّد معالجة الأخطاء وإعادة المحاولة

    صِف ما يحدث عند الفشل — قائمة انتظار الرسائل الميتة، أو تنبيه، أو إعادة محاولة مع تراجع تدريجي، أو إيقاف العملية. يضيف ChatDiagram فروعًا لمسارات الأخطاء مع التعليقات المناسبة.

  5. 05صدّر المخطط للتوثيق

    نزّله بصيغة PNG أو PDF لتضمينه في كتالوج البيانات أو دليل التشغيل أو سجل قرار معماري (ADR).

FAQ

Questions about flowchart templates

ما الفرق بين ETL وELT في مخطط خط أنابيب البيانات؟

في ETL (الاستخراج-التحويل-التحميل)، تظهر خطوة التحويل بين الاستخراج والتحميل؛ إذ تُعالَج البيانات قبل وصولها إلى مستودع البيانات. أما في ELT (الاستخراج-التحميل-التحويل)، فتُحمَّل البيانات الخام أولًا، ثم يحدث التحويل داخل المستودع باستخدام SQL (dbt، Spark SQL). في المخطط الانسيابي، يعكس ترتيب مستطيلي التحويل والتحميل النمط الذي تستخدمه.

كيف أوضح خط أنابيب متفرعًا تسلك فيه أنواع السجلات المختلفة مسارات مختلفة؟

استخدم مُعيَّن قرار يحمل شرط التوجيه، مثل: «نوع السجل = حدث؟». يقود كل فرع إلى خطوة التحويل والتحميل الخاصة به قبل أن يندمج مجددًا في مرحلة لاحقة، أو يستمر إلى وجهات منفصلة. سمِّ كل فرع بوضوح: نعم/لا، أو باسم النوع المحدد.

كيف أمثل خط أنابيب للبث مقارنة بخط أنابيب للمعالجة الدفعية في مخطط انسيابي؟

لتمثيل البث، استخدم سهمًا حلقيًا يعود إلى خطوة الإدخال بعد عقد المعالجة/الإخراج لإظهار الطبيعة المستمرة، وأضف توضيحًا للمحفز، مثل «لكل رسالة» أو «لكل دفعة صغيرة». أما للمعالجة الدفعية، فأضف محفزًا للجدولة عند عقدة البداية، مثل «يوميًا 02:00 بالتوقيت العالمي UTC»، وإشعارًا باكتمال العملية أو نجاحها في النهاية.

ما الذي ينبغي أن يتضمنه مخطط خط أنابيب البيانات لاستخدامه في دليل تشغيل المناوب؟

ينبغي أن يوضح المخطط الانسيابي الموجَّه إلى دليل التشغيل بروز: نقطة اكتشاف الفشل، مثل تنبيه المراقبة أو فشل مهمة في خط الأنابيب؛ وشجرة قرار لتصنيف الفشل، مثل انقطاع المصدر أو خطأ التحويل أو رفض التحميل؛ وإجراء المعالجة لكل فئة، مثل التخطي أو إعادة المحاولة أو إعادة المعالجة؛ ومسار التصعيد عند فشل المعالجة التلقائية.