كل الأعمال
مصدر مفتوح2024مستمر

Vendure Data Hub

إضافة ETL وتكامل بيانات على مستوى المؤسسات لـ Vendure. منشئ مسارات مرئي، 9 مستخرجات، 61 عامل تحويل، 24 محمّل كيانات، ومولدات تغذية لـ Google Merchant وAmazon.

لمحة سريعة

9
مستخرجات (يمكن التحقق منها في المستودع)
61
عوامل تحويل مع معاينة تجريبية
24
محمّلات كيانات Vendure
4
مولدات تغذية للأسواق

التحدي

تعيد مشاريع Vendure بناء البنية نفسها مراراً: استيراد المنتجات من أنظمة ERP وPIM، ومزامنة المخزون، وتحديث الأسعار، وتغذيات الأسواق. كل تكامل يبدأ من الصفر، وينتهي كسكربتات لمرة واحدة، وينكسر بصمت عندما يغيّر مورّد عموداً واحداً. كان النظام البيئي يفتقر إلى طبقة مسارات بيانات قابلة لإعادة الاستخدام وجاهزة للإنتاج.

نهجنا

بنينا Data Hub كإضافة Vendure من الدرجة الأولى: مسارات تصريحية مركّبة من مستخرجات (CSV وJSON وXML وREST وGraphQL وFTP وS3 وغيرها)، و61 عامل تحويل مع معاينة تجريبية، ومحمّلات لـ 24 نوع كيان في Vendure. تعمل المسارات بجدولة أو Webhook، مع إعادة محاولات وعمليات Upsert غير مكررة وسجلات لحظية ومحرر مرئي في لوحة الإدارة. ومولدات التغذية تنشر تغذيات Google Merchant وAmazon من المخطط نفسه.

بنية النظام

جاري تحميل الرسم البياني...

بنية النظام: Product Event, Event Subscriber, Delta Capture, HMAC-Signed Webhook, Target System, Pimcore Webhook, Signature Validation, Data Class Mapping, Transactional Write, Failure, Dead Letter Queue, Auto Retry

قرارات هندسية

خطوط أنابيب تعريفية بدل النصوص المخصّصة

كل تكامل هو إعداد يمكن لمراجع قراءته، لا نصًّا برمجيًّا مدفونًا في مستودع. تتكوّن المستخرِجات والتحويلات والمحمّلات في رسم بياني للأنبوب. المقايضة: منحنى تعلّم قصير مقابل تكاملات تصمد أمام تغيّر الفريق وخصوصيات المورّدين.

تحديثات إدراج عديمة الأثر افتراضيًّا

يُعيد المورّدون إرسال الملفات وتُعيد المهام المحاولة، لذا كل محمّل مفتاحي وآمن للتشغيل مرتين. تشغيل الأنبوب مجددًا يتقارب إلى الحالة نفسها للكتالوج بدل تكرار المنتجات. يعتمد ذلك على مفاتيح خارجية ثابتة تصبح جزءًا من عقد التكامل.

معاينة تجريبية قبل أي كتابة

التحويل الخاطئ على كتالوج حيّ مكلف التصحيح. يعاين كل أنبوب المخرجات الدقيقة لكل عامل قبل أن تمسّ البيانات Vendure، فتُلتقط الأخطاء في المراجعة لا في الإنتاج.

إضافة Vendure من الدرجة الأولى لا خدمة جانبية

يعمل Data Hub داخل Vendure مستخدمًا نموذج كياناته وصلاحياته وواجهة الإدارة بدل خدمة منفصلة. الاقتران بدورة حياة Vendure مقصود: نظام واحد للنشر، ومكان واحد للمراقبة.

التقنيات

الخلفية
TypeScriptNestJSVendure
البنية التحتية
DockerGitHub Actions
الواجهة الأمامية
ReactAdmin UI Extension

النتائج الرئيسية

  • تستبدل سكربتات الاستيراد المؤقتة بمسارات تصريحية مراقبة
  • عمليات Upsert غير المكررة تجعل إعادة التشغيل آمنة بالتصميم
  • المعاينة التجريبية تعرض كل تحويل قبل أن تلمس البيانات المتجر
  • منشورة كمصدر مفتوح: الكود هو المرجع

النتيجة

إضافة واحدة تستبدل سكربتات التكامل في مشروع تجارة نموذجي. منشورة كمصدر مفتوح على GitHub؛ مختبرة في الإنتاج مع استيراد كتالوجات ضخمة وقابلة للتحقق حتى مستوى كل عامل في المستودع.

كيف يبدو مشروع تجارة على Data Hub

في أي مشروع، يكون Data Hub طبقة التكامل، ليركّز الفريق على الواجهة والأعمال بدل السباكة.

  • نربط موجزات ERP وPIM والمورّدين كخطوط أنابيب تعريفية
  • تُعاين عمليات الربط تجريبيًّا قبل أن تصل إلى الكتالوج الحيّ
  • تعمل الأنابيب بجدول أو Webhook مع إعادات وسجلّات وتحديثات إدراج عديمة الأثر
  • تُنشَر موجزات Google Merchant وAmazon من الرسم نفسه
  • الإضافة والأنابيب ملكك: مفتوحة المصدر وقابلة للتوسعة من قِبلك