Performance Optimierung Touristik
Aufgabenstellung
Im Rahmen der Vertriebs- und Ergebnissteuerung eines touristischen Konzerns sind für die Marken im Quellmarkt Erlös- und Kosteninformationen in mehreren OLAP-Cubes bereitzustellen. Hierfür werden aus den CORE-DWH-Tabellen mehr als 200 Mio. Rohdaten auf Transaktionsebene gelesen, auf Markenebene verdichtet und Buchungsstände der letzten 3 Jahre auf Wochenbasis berechnet.
Die Infrastruktur besteht aus einer IBM pSeries-Server, IBM DB2, Informatica Powercenter, Cognos 8 und UC4.
Problemstellung
Die Verarbeitung ist im Zuge steigender Datenvolumina, erweiterten Anforderungen geprägt durch komplexe langlaufende Queries, die den Datenbankserver extrem auslasten. Die Laufzeit der Bereitstellung am Wochenende beträgt mehr als 40 Stunden. Parallel laufende Prozesse im Warehouse werden behindert, so dass andere Informationen im BI System mit Verzögerungen ausgeliefert werden. In Fehlersituationen ist der Analyseaufwand beträchtlich. Mehrere Optimierungsversuche im Datenbankumfeld brachten keine nachhaltige Verbesserung.
Projektauftrag
ITGAIN erhielt den Auftrag einen Konzeptionsvorschlag zu erarbeiten, der die Transparenz und Qualität des Bereitstellungsprozesses erhöht und eine deutliche Laufzeitverbesserung verspricht. Zielvorstellung ist die tägliche Bereitstellung der Informationen für den Fachbereich. Anhand zweier bedeutender Quellmarktdaten ist die Konzeption mit produktionsnahen Daten zu validieren.
Lösung
Die vorhandenen ETL- und Datenbankprozesse wurden analysiert und auf Schwachstellen geprüft. Es wurde eine Tuning-Strategie erarbeitet, die eine optimalere Lastverteilung zwischen Datenbank- und ETL-Infrastruktur vorsieht.
Hierfür wurden komplexe Queries mit vielen Joins, die hohe Last auf dem DB-Server verursachen, in mehrere kleinere Teilschritte zerlegt. Deren Zwischenergebnisse wurden in Tabellen gespeichert, sodass Mehrfachausführungen von gleichartigen Selektionen vermieden wurden. Gleichzeitig wurde hierdurch die Qualitäts- und Fehlerkontrolle verbessert.
Berechnungen mit CASE-Anweisung wurden auf den ETL-Applikationsserver verlagert. Schließlich erfolgte daraufhin die Optimierung der Datenbankindices.
Der Aufbau eines Datamarts, der die wesentliche Business-Logik enthält, führte zu geringerer Komplexität der Cubeproduktion.
Ergebnis
Insgesamt wurde am Wochenende eine deutliche Reduktion der Gesamtlaufzeit auf 2-3 Stunden erreicht. Die Wiederverwendung der am Wochenende gespeicherten Zwischenergebnisse ermöglicht die tägliche Bereitstellung der Informationen mit einer Laufzeit von ca. einer Stunde. Vorteilhaft wirkt sich die niedrigere Datenbanklast am Wochenende auf parallel laufende Prozesse aus.
Das Fazit
Stefan Grossmann, Management Information & Support,
TUI Deutschland GmbH:
„Die strukturierte Analyse und Konzeption der Berater von ITGAIN haben zu einer überzeugenden Lösung geführt, die sie auch kompetent realisiert haben. Wir sind nun in der Lage den Entscheidern wichtige Steuerungsinformation auf täglicher Basis zur Verfügung zu stellen.”
