Alle Arbeiten
Open Source2024Laufend

Vendure Data Hub

Enterprise-ETL- und Datenintegrations-Plugin für Vendure. Visueller Pipeline-Builder, 9 Extraktoren, 61 Transform-Operatoren, 24 Entity-Loader und Feed-Generatoren für Google Merchant und Amazon.

Auf einen Blick

9
Extraktoren (im Repository nachprüfbar)
61
Transform-Operatoren mit Dry-Run-Vorschau
24
Vendure-Entity-Loader
4
Marktplatz-Feed-Generatoren

Die Herausforderung

Vendure-Projekte bauen immer wieder dieselbe Plumbing-Schicht: Produktimporte aus ERP- und PIM-Systemen, Bestandsabgleich, Preisupdates, Marktplatz-Feeds. Jede Integration startet bei null, landet als Einmal-Skript und bricht still, wenn ein Lieferant eine Spalte ändert. Im Ökosystem fehlte eine produktionsreife, wiederverwendbare Datenpipeline-Schicht.

Unser Ansatz

Data Hub ist ein vollwertiges Vendure-Plugin: deklarative Pipelines aus Extraktoren (CSV, JSON, XML, REST, GraphQL, FTP, S3 und mehr), 61 Transform-Operatoren mit Dry-Run-Vorschau und Loader für 24 Vendure-Entitätstypen. Pipelines laufen per Zeitplan oder Webhook, mit Retries, idempotenten Upserts, Echtzeit-Logs und visuellem Editor in der Admin-UI. Feed-Generatoren publizieren Google-Merchant- und Amazon-Feeds aus demselben Pipeline-Graphen.

Systemarchitektur

Diagramm wird geladen...

Systemarchitektur: Product Event, Event Subscriber, Delta Capture, HMAC-Signed Webhook, Target System, Pimcore Webhook, Signature Validation, Data Class Mapping, Transactional Write, Failure, Dead Letter Queue, Auto Retry

Engineering-Entscheidungen

Deklarative Pipelines statt Einzelskripte

Jede Integration ist Konfiguration, die ein Reviewer lesen kann, kein einmaliges Skript im Repository. Extraktoren, Transforms und Loader bilden einen Pipeline-Graphen. Der Tradeoff: eine kurze Lernkurve gegen Integrationen, die Personalwechsel und Lieferanten-Eigenheiten überstehen.

Idempotente Upserts als Standard

Lieferanten senden Dateien erneut und Jobs wiederholen sich, deshalb ist jeder Loader verschlüsselt und mehrfach sicher ausführbar. Ein erneuter Lauf konvergiert zum gleichen Katalogzustand statt Produkte zu duplizieren. Das setzt stabile externe Schlüssel voraus, die Teil des Integrationsvertrags werden.

Dry-Run-Vorschau vor jedem Schreibvorgang

Ein fehlerhafter Transform im Live-Katalog ist teuer zu korrigieren. Jede Pipeline zeigt die exakte Ausgabe jedes Operators, bevor Daten Vendure berühren, sodass Fehler im Review statt in Produktion auffallen.

Ein erstklassiges Vendure-Plugin, kein Sidecar

Data Hub läuft in Vendure und nutzt dessen Entitätsmodell, Berechtigungen und Admin-UI statt eines separaten Dienstes. Die Kopplung an den Vendure-Lebenszyklus ist Absicht: ein System zum Deployen, ein Ort zum Beobachten.

Technologie

Backend
TypeScriptNestJSVendure
Infrastruktur
DockerGitHub Actions
Frontend
ReactAdmin UI Extension

Kernergebnisse

  • Ersetzt Ad-hoc-Importskripte durch deklarative, überwachte Pipelines
  • Idempotente Upserts machen Wiederholungsläufe per Design sicher
  • Dry-Run zeigt jede Transformation, bevor Daten den Shop berühren
  • Open Source veröffentlicht: der Code ist die Referenz

Das Ergebnis

Ein einziges Plugin ersetzt die Integrationsskripte eines typischen Commerce-Projekts. Open Source auf GitHub veröffentlicht; produktionserprobt mit großvolumigen Katalogimporten und bis auf jeden Operator im Repository nachprüfbar.

Wie ein Commerce-Projekt auf Data Hub aussieht

In einem Projekt ist Data Hub die Integrationsebene, damit sich das Team auf Storefront und Geschäft konzentriert statt auf die Verkabelung.

  • Wir binden Ihre ERP-, PIM- und Lieferanten-Feeds als deklarative Pipelines an
  • Mappings werden per Dry-Run geprüft, bevor etwas den Live-Katalog erreicht
  • Pipelines laufen per Zeitplan oder Webhook mit Retries, Logs und idempotenten Upserts
  • Google-Merchant- und Amazon-Feeds entstehen aus demselben Pipeline-Graphen
  • Plugin und Pipelines bleiben bei Ihnen: Open Source, von Ihnen erweiterbar