Flexible Pipelinearchitektur
Effizientere Artikelverarbeitung dank flexibler Pipeline-Architektur bei toom
Toom betreibt rund 300 Märkte und einen Online-Shop mit einem Cross-Channel-Ansatz, der Funktionen wie Click&Collect integriert. Die effiziente Verarbeitung von Artikelstammdaten ist dabei entscheidend für ein reibungsloses Einkaufserlebnis. Das starke Wachstum der Plattform erforderte eine maßgeschneiderte Softwarelösung. Gemeinsam mit Toom haben wir eine eventgesteuerte Pipeline-Architektur entwickelt, die die Datenverarbeitung beschleunigt und flexibler gestaltet. Diese Lösung steigert nicht nur die Performance, sondern verbessert auch die Darstellung komplexer Produktvarianten und bildet eine solide Grundlage für zukünftige Weiterentwicklungen im Online-Shop.
// Verkürzte Importzeiten
// Modulare Architektur
// Individuelle Softwarelösung
// Kafka
// Microservices
// Product Information Management (PIM) system
// Datenaggregation und -transformation
// Modulare Struktur
// Systemweites Testen
Effizientere Artikelverarbeitung dank flexibler Pipeline-Architektur bei toom
Die Baumarkt-Kette toom betreibt neben deutschlandweit rund 300 Standorten deutschlandweit, ebenfalls einen mehrfach ausgezeichneten Online-Shop. Dabei wird seit Jahren ein Cross-Channel-Ansatz mit Funktionen wie Click&Reserve oder Click&Collect verfolgt. Um den Kunden dabei ein einheitliches Einkaufserlebnis zu bieten, ist die Verarbeitung und Anreicherung von Artikelstammdaten hier besonders wichtig.
Projekt-Hintergrund
Die Architektur des toom-Onlineshops basiert auf einer Kombination aus selbst entwickelten Microservices und bewährter Drittanbieter-Software. Gerade in der Anfangsphase der Entwicklung bringt Standardsoftware viele Vorteile mit sich: Sie ist schnell einsatzbereit, umfassend getestet und erlaubt es den Entwicklern, sich auf wesentliche Kernfunktionen zu konzentrieren. Auch die Verarbeitung der Artikelstammdaten folgt diesem Ansatz. Die Daten werden regelmäßig aus dem Produktinformationsmanagement (PIM)-System in die eigene Shop-Software repliziert und können von dort aus zur Weiterverarbeitung an verbundene Services exportiert werden.
Das rasante Wachstum der Plattform führte zu neuen Anforderungen an die bestehende Software. Zusätzliche Features machten Anpassungen der Datenmodelle im PIM- und Shopsystem notwendig. Gleichzeitig stiegen die verarbeiteten Datenmengen kontinuierlich, und zahlreiche interne Services benötigten performanten Zugriff. Eine maßgeschneiderte Eigenentwicklung für toom erwies sich als optimale Lösung. Diese wurde von den Experten der Qvest Digital AG in enger Zusammenarbeit mit den toom-Entwicklern entworfen und erfolgreich implementiert.
Als wir 2016 mit dem Projekt Cross Channel begonnen haben, wurden wir durch Empfehlung unseres Schwesterunternehmens REWE digital auf die Qvest Digital AG aufmerksam. Die Zusammenarbeit mit Qvest Digital ist seitdem geprägt von tiefem Vertrauen, Verbindlichkeit und Qualität. Das Team um Kai Ebenrett vermag mit Freude neue Wege zu beschreiten, 'out of the box' zu denken und begleitet uns von Beginn an auf dem Weg der beste Cross-Channel-DIY-Händler Deutschlands zu werden. Meine Kollegen und ich freuen uns auf die kommenden Jahre der Zusammenarbeit und die neuen, spannenden Themen, welche vor uns liegen.
Unsere Lösung
Bei der Entwicklung wurde eine moderne, eventgesteuerte Pipeline-Architektur eingesetzt. Der Event-Broker (Kafka) dient dabei als Puffer für die einzelnen Zwischenschritte. Konsumierende Services können unmittelbar auf relevante Änderungen reagieren.
Die Pipeline umfasst dabei vier Layer, die jeweils durch eigene Microservices implementiert wurden:
- Import: Replikation aus dem PIM-System
- Transformation: Aggregation und Formatierung
- Export: Export in das Shopsystem.
- Postprocessing/Validation: Überwachung der Verarbeitung und Import der im Shopsystem berechneten Daten.
Als positiver Nebeneffekt konnte die Performance des Imports der Artikeldaten deutlich gesteigert werden. Dauerten einzelne Änderungen früher bis zu 30 Minuten, sind diese jetzt bereits nach wenigen Minuten im Shop verfügbar. Die Priorisierung der Flexibilität und Skalierung der Architektur schafft eine solide Grundlage für zukünftige Entwicklungen des Online-Shops.
Zusätzlich konnten einige komplexe Produktvarianten erstmals abgebildet werden. Dies führte zu einer klareren und benutzerfreundlicheren Darstellung.
Herausforderungen und Lösungen
Der Transformations-Layer sollte die fachliche Logik der bisher eingesetzten 3rd-Party-Lösung vollständig abbilden und erweitern. Diese fachliche Logik war zu Beginn des Projektes jedoch unvollständig dokumentiert. Unser agiler Ansatz ermöglichte eine schnelle Identifikation und Umsetzung der fachlichen Anforderungen. Die modulare Struktur und das kontinuierliche Refactoring halfen dabei, die Architektur schlank und wartbar zu halten.
Der systemweite Test der Gesamtlösung stellte in der Kommunikation eine Herausforderung dar. Dank der verbindlichen und kooperativen Zusammenarbeit aller internen und externen Teams wurde dieser jedoch innerhalb von zwei Wochen abgeschlossen. Dem folgte ein erfolgreicher Go-Live mit anschließender Hypercare-Phase.
Schlussfolgerung und Zukunftsausblick
Die im Projekt entwickelte, modulare und ereignisgesteuerte Architektur erfüllte sämtliche Stabilitäts- und Leistungsanforderungen. Diese flexible und zukunftsorientierte Lösung begünstigt weitere bereits geplante Änderungen der Systemarchitektur. Durch die Entkopplung der Services wird es möglich, veraltete Komponenten effizient zu ersetzen. Die konstruktive Zusammenarbeit stärkt zudem die Position unseres Kunden als einen der führenden Cross-Channel-Online-Shops in Deutschland.
Gemeinsam mit der toom Baumarkt GmbH als Kunden haben wir in einem sehr agilen und hochprofessionellen Umfeld in kürzester Zeit ein komplexes lT-Projekt abgebildet. Trotz starken Drucks auf dem Projekt war die Zusammenarbeit sehr effizient und zielorientiert.
