Ein beeindruckendes Event liegt hinter uns – der TM1 Hackathon, der von spannenden Herausforderungen und inspirierenden Momenten geprägt war und durch eine starke Partnerschaft gekennzeichnet wurde. Über zwei Tage hinweg kamen Teilnehmer aus verschiedenen Bereichen zusammen, darunter erfahrene OLAPLINE Partner und der amtierende TM1-Weltmeister, um ihr Können unter Beweis zu stellen. Die Veranstaltung fand in den Räumlichkeiten der GMC² GmbH in Bonn statt, die eine perfekte Plattform für diese Zusammenkunft bot. Nach einer kurzen Stärkung mit Brötchen und Kaffee, für die wir dem Catering-Team herzlich danken möchten, eröffneten Holger Gerhards und Kai Schoemann das Event mit einer herzlichen Begrüßung. Die Teilnehmer erhielten eine Einführung in die bevorstehenden Aufgaben und eine Erläuterung zur Funktionsweise des PACO HUB. Kurz darauf formierten sich spontan drei Gruppen mit Experten für TM1, Python und Analytics, und das Abenteuer begann.
Im weiteren Verlauf erhaltet Ihr einen Einblick in die Arbeitsweise der HACKa-Gruppe und ihre Vorgehensweise.
HACKa
HACKb
HACKc
Business Understanding | Hackathon Aufgabendefinition
Die Idee des „Data Architect Unleashed“ war es, dass die Teams sich intensiv mit mindestens einem Datensatz auseinandersetzen und ein sinnvolles Business-Modell in TM1 erstellen. Nach der Einrichtung der erforderlichen Strukturen wie Dimensionen, Cubes und relevanten Elementen für die Datenhaltung sollten ETL-Prozesse angewendet werden, um die Daten zu befüllen. Dabei konnte auf den PACO HUB zurückgegriffen werden, um näher an den Quelldaten zu arbeiten. Dies eliminierte den Bedarf an umständlichen Data Dumps in ein Flat File und ermöglichte einen Fokus auf die Modellerstellung und Analyse, die in Python durchgeführt werden kann. Diese Kombination in einem austauschbaren Container, der maximal flexibel konfigurierbar ist, wurde erfolgreich angewandt und erfüllte uns mit Stolz.
Data Understanding | Auswahl der relevanten Datenbestände
Die zur Verfügung gestellten Datensätze für den Hackathon umfassten ein breites Spektrum an Themen, darunter Kryptowährungspreise Naturphänomene wie Bigfoot-Sichtungen, sowie Wirtschaftsindikatoren wie Aktien- und Goldpreise. Zusätzlich wurden Daten zu Umweltthemen wie CO2-Emissionen und soziale Indikatoren wie der Glücksindex nach Land und Jahr bereitgestellt. Unter Berücksichtigung dieser Vielfalt haben wir uns auf die Analyse der Truckverkäufe konzentriert, da diese einen einfachen Datensatz darstellten und somit auch für unerfahrene Datascientists leicht zu analysieren waren.
Data Preparation | Datenaufbereitung
Während die Auswahl des Datensatzes und die Modellierung in TM1 parallel stattfanden, wurden in TM1 Dimensionen integriert, die bei der späteren Analyse nicht verwendet wurden. Ein Importscript mit Python wurde verfasst, um die Daten in TM1 zu importieren, da ein Fehler bei der Nutzung der internen Importfunktion auftrat. Die Daten wurden mittels des Python-Pakets TM1py und des DALs importiert und in ein pandas DataFrame überführt, um verschiedene Datenmanipulationen zu ermöglichen. Anschließend wurden die Daten mithilfe eines Pythonskripts in einen vorbereiteten TM1 Cube geschrieben.
Modeling | Auswahl und Anwendung von Machine Learning Methoden
Wir entschieden uns für einen transparenten Ansatz basierend auf dem ARIMA-Modell für die Zeitreihenanalyse. Zunächst testeten wir die Vorhersage innerhalb von PAW, waren jedoch nicht überzeugt und wandten uns dann der Verwendung von AutoML und h2o.ai zu. Nach einigen technischen Herausforderungen entschieden wir uns schließlich für das ARIMA-Modell. Wir luden die Daten in ein Pandas-DataFrame, bereiteten sie vor und visualisierten sie. Die Vorhersage bis zum Jahr 2024 wurde durchgeführt und die Ergebnisse wurden erfolgreich in den TM1 Cube zurückgeschrieben. Mit dem Abschluss des Hackathons war nicht nur die Entwicklung innovativer Lösungen, sondern auch die Integration dieser Ergebnisse in TM1 ein voller Erfolg. Die Daten wurden erfolgreich visualisiert und das ARIMA-Modell lieferte vielversprechende Vorhersagen für die Zukunft. Der TM1 Hackathon war eine großartige Gelegenheit, um das volle Potenzial von Datenarchitekten zu entfesseln und innovative Lösungen zu entwickeln.
„Mehr Präzision dank Machine Learning: Mit IBM eigenen Mitteln ließen sich bereits Prognosen anhand von historischen Daten erstellen. Doch war es dank Machine Learning und ARIMA möglich, noch präzisere Aussagen zu treffen. Es war spannend zu sehen, wie schnell genaue Vorhersagen anhand von historischen Daten getroffen werden können. Gleichzeitig war das Zusammenspiel aus mehreren Anwendungen und Programmiersprachen das, was unser Wissen deutlich erweitert hat.“
Evaluation | Bewertung und Interpretation der Ereignisse
Ursprünglich war unser Ziel, präzisere Vorhersagen mithilfe von AutoML und h2o.ai zu generieren. Jedoch erwies sich h2o.ai aufgrund seiner Komplexität als unzugänglich für unsere Anfängerkenntnisse im Bereich des maschinellen Lernens. Nach gründlicher Recherche entschieden wir uns stattdessen für das ARIMA-Modell, das sich besonders gut für Zeitreihenanalysen eignet. Wir luden die Daten aus unserem Vorhersagewürfel mithilfe des Data Access Layers (DAL) und eines MDX-Statements in ein Pandas-DataFrame, um sie für die Analyse vorzubereiten. Anschließend visualisierten wir die Daten und führten sowohl statische als auch dynamische Vorhersagen durch, wobei die Vorhersagewerte sehr gut mit den tatsächlichen Daten übereinstimmten. Die Vorhersage wurde bis zum Jahr 2024 erweitert, und die Ergebnisse wurden erfolgreich in den Vorhersagewürfel zurückgeschrieben. Zusätzlich visualisierten wir die Daten auch in PAW.
Fazit
Das ARIMA-Modell erwies sich als äußerst effektiv für unsere Vorhersageaufgaben. Im Vergleich zu h2o.ai, das sich als zu komplex erwies, bot ARIMA eine robuste Lösung für die Analyse von Zeitreihendaten. Die klare Struktur und die Einfachheit der Anwendung ermöglichten es uns, die Vorhersagen erfolgreich durchzuführen und die Ergebnisse anschließend in unseren Arbeitsablauf zu integrieren. Durch die visuelle Darstellung der Daten konnten wir die Genauigkeit der Vorhersagen überprüfen und sicherstellen, dass sie unseren Anforderungen entsprachen. Es ist erwähnenswert, dass unsere vorherigen Vorhersagen mit TM1 PAW nicht so genau waren, was uns dazu veranlasste, nach einer besseren Lösung zu suchen. Insgesamt hat die Entscheidung für das ARIMA-Modell zu zufriedenstellenden Ergebnissen geführt und unsere Fähigkeit gestärkt, präzise Vorhersagen für zukünftige Ereignisse zu treffen.
Johannes Droste
Vereinbaren Sie jetzt einen Termin für ein persönliches Gespräch.
