LIVE! Von unserem Hackathon auf der TDWI: Self-made Big Data Analytics

von | 26.06.2019 | Business Intelligence, Data Engineering

Heute ist es endlich soweit! Wir richten unseren Hackathon auf der TDWI2019 in München aus. Unter dem Motto „Self-made Big Data Analytics“ bauen wir gemeinsam mit unseren Teilnehmern ein Big Data Cluster aus Raspberry Pis und Apache Hadoop. Wir zeigen, dass Big Data viel greifbarer ist als vielleicht zunächst gedacht und schon mit einem kleinen Investment erste Big Data Analytics-Versuche gestartet werden können.
Erfahren Sie mehr in unserem NEWSTICKER – Live von der TDWI:
8:50 Uhr: Alles ist vorbereitet für unseren großen live Hackathon und wir warten gespannt auf die ersten Teilnehmer für den technischen Part.
09:27 Uhr: Wie damals im Lego-Paradies: Einmal selbst Hand anlegen und mit Raspberry Pis basteln. Aus diesen vielen Einzelteilen soll ein Big Data Cluster werden?
10:39 Uhr: Es ist geschafft. Das erste Big Data Cluster ist fertig. Das “Gerüst” steht oder liegt. Hauptsache es läuft! Wahnsinn, wie viele spannende Leute hier gemeinsam daran arbeiten.
11:13 Uhr: Als nächstes wird JAVA installiert. Hier hakt es ein bisschen. Ob das etwas mit dem neuen Raspberry Pi 4 zu tun hat, welches kürzlich rauskam? Wer weiß! Es wird fleißig weiter probiert.
12:01 Uhr: Mittagspause. Heute gibt’s Kabelsalat. Um 14:45 treffen wir uns wieder zum analytischen Part. Dann geht’s rund mit Spark und Jupyter Notes. Bis gleich.
14:45 Uhr: Willkommen zurück! Die ersten Data Lakes werden vorbereitet. Jetzt ist es Zeit die Daten hochzuladen. Im See schwimmen heute Geschäftsberichte und Börsendaten der DAX30 Unternehmen.
15:21 Uhr: Damit in Windows 10 ohne Administrationsrechten gearbeitet werden kann, gibt’s PuTTY portable. So können alle Teilnehmer per Kommando-Shell auf die Raspberry Pis zugreifen.
15:52 Uhr: Schonmal das Filesystem von Hadoop gesehen? Die Teilnehmer machen sich vertraut mit der Oberfläche.
15:53 Uhr: Die erste Gruppe finalisiert bereits die Installation von Jupyter Notes. Wow!
16:02 Uhr Ooops – Fehlermeldung! Bei einer Gruppe hakt es noch ein bisschen. Beim Starten des HDFS Dateisystems konnte der Named Node Raspberry Pi die Data Nodes Raspberry Pis nicht finden. Der Named Node ist der „Master Pi“ und verteilt die Aufgaben an die Data Nodes – sozusagen an die ausführenden, arbeitenden Raspberry Pis.
Das Probleme: bei den Hostnamen für die einzelnen Raspberry Pis wurde ein „_“ verwendet. Merke, bei der Benennung der Pis besser keine „_“ verwenden. Das kostet Zeit. 😉
16:31 Uhr Nach Anpassungen der Hostnamen und der dementsprechenden Konfigurationsdateien läuft wieder alles rund. Jetzt gilt es aufzuholen und die Installation von Jupyter Notes bei allen Gruppen zu finalisieren.
16:46 Uhr Mit Jupyter Notes können nun die ersten Versuche bei der Big Data Analyse gestartet werden. Die ersten Daten werden über die zur Verfügung gestellten Skripte eingelesen und analysiert.
17:23 Uhr Jetzt gehen wir in die erste Analyse. Für den Start haben wir uns etwas Einfaches ausgesucht – den Wordcount der ausgewählten Geschäftsberichte. Um die Geschäftsberichte weiter analysieren zu können, eliminieren wir sogenannte Stopwords – Wörter, die immer wieder vorkommen, jedoch für die Analyse keine Bedeutung haben. Interessant ist, dass viele sehr positive Wörter verwendet werden.
17:34 Uhr Endspurt! Um alle Gruppen auf den gleichen Stand zu bringen und noch ein bisschen rumexperimentieren zu können, arbeiten wir nun in einer Großgruppe. Gemeinsam führen wir das Skript Jupyter Notes Word2Vec über verschiedene Geschäftsberichte aus. Uns ist wichtig zu zeigen, was alles möglich ist.
17:58 Uhr Puh! Geschafft. Das war viel Input. Ein voller Erfolg!

Weitere Beiträge

Reporting für die Immobilienbranche. So visualisieren Sie die 5 wichtigsten KPIs: Teil 2

Reporting für die Immobilienbranche. So visualisieren Sie die 5 wichtigsten KPIs: Teil 2

Gerade in der Immobilienbranche sind die Themen Dashboarding und Information Design im Reporting extrem wichtig. In Gesprächen mit Experten aus der Branche hat sich bestätigt, dass eine gute Datenvisualisierung unerlässlich ist. Wir haben Ihr Interesse zum Anlass genommen, um Ihnen Möglichkeiten vorzustellen, wie branchenwichtige KPIs im Real Estate Asset Management visualisiert werden können. Lesen Sie im zweiten Teil unserer Blogreihe, wie Sie die KPIs Immobilienrendite und Mietpreise mithilfe eines standardisierten Visualisierungskonzeptes darstellen.

mehr lesen
Reporting für die Immobilienbranche. So visualisieren Sie die 5 wichtigsten KPIs

Reporting für die Immobilienbranche. So visualisieren Sie die 5 wichtigsten KPIs

Die Themen Reporting und Dashboarding gewinnen in der Immobilienbranche immer mehr an Relevanz. Das haben unsere Gespräche mit Ihnen auf der EXPO REAL deutlich gezeigt. Darum haben wir Ihr Interesse zum Anlass genommen, um Ihnen Möglichkeiten vorzustellen, wie branchenwichtige KPIs im Real Estate Asset Management visualisiert werden können. In unserer dreiteiligen Blogreihe zeigen und erklären wir Ihnen die Darstellung der 5 wichtigsten KPIs der Immobilienbranche.

mehr lesen
Analysieren. Optimieren. Automatisieren. – Die Big Data World Frankfurt

Analysieren. Optimieren. Automatisieren. – Die Big Data World Frankfurt

Big Data ist in aller Munde. Unmengen an Daten werden täglich in Unternehmen produziert. Doch nur die wenigsten davon bringen echten geschäftlichen Mehrwert. Mit der Lösung dieser Problematik beschäftigen wir uns seit vielen Jahren. Auf der Suche nach neuen Entwicklungen und Trends sind unsere Experten deshalb unterwegs auf der Big Data World in Frankfurt – Deutschlands größter Fachmesse für Big Data & Analytics.

mehr lesen
Vorbeikommen, kennenlernen, Job mitnehmen – der Unternehmenstag der Hochschule Bonn-Rhein-Sieg auf dem Campus St. Augustin

Vorbeikommen, kennenlernen, Job mitnehmen – der Unternehmenstag der Hochschule Bonn-Rhein-Sieg auf dem Campus St. Augustin

Am 14. November stellen wir uns auf dem Unternehmenstag an der Hochschule Bonn-Rhein-Sieg auf dem Campus St. Augustin vor. Gemeinsam mit weiteren engagierten Unternehmen aus der Region zeigen wir Studenten und Young Professionals, welche spannenden Aufgaben und Jobs die Arbeitswelt für sie bereithält. Kommt vorbei und lernt uns persönlich kennen.

mehr lesen
Die EXPO REAL 2019 – unser Fazit

Die EXPO REAL 2019 – unser Fazit

Dieses Jahr waren wir auf der größten B2B-Fachmesse für Immobilien und Investitionen in Europa erneut als Logo-Sponsor am Stand der Region Bonn c/o Wirtschaftsförderung Bundesstadt Bonn dabei. Wir konnten deutlich spüren, dass sich in unserer Region viel bewegt und dass großartige Unternehmen die Zukunft unseres Wirtschaftsstandortes aktiv mitgestalten. Als Experte für Business Intelligence und Analytics der Immobilienbranche unsere Region zu vertreten, war uns ein großes Vergnügen.

mehr lesen
Neuer gleich besser – Was kann Planning Analytics?

Neuer gleich besser – Was kann Planning Analytics?

Die Tage sind gezählt – Ende September läuft der Support für IBM Cognos TM1 Version 10.2.2 aus. Abgelöst wird die beliebte IBM Planungslösung von Planning Analytics 2.0.8. Erfahren Sie, was sich ändert, was sich verbessert, und was wie gewohnt erhalten bleibt. Wir haben die neue Version der Planungsplattform für Sie einmal genauer unter die Lupe genommen.

mehr lesen
Solid. Outlined. Hatched. Rückblick: IBCS® Jahrestagung in Wien

Solid. Outlined. Hatched. Rückblick: IBCS® Jahrestagung in Wien

Wien, schön war’s bei dir! Unter dem Motto „Unify is Key to Success“ fand in der österreichischen Hauptstadt die IBCS® Jahrestagung statt und wir waren als Sponsor dabei. Mitgebracht haben wir: Neuigkeiten aus der Community, Impulse zur Implementierung des einheitlichen Reportingstandards und einen Einblick in das frisch veröffentlichte Buch „GEFÜLLT, GERAHMT, SCHRAFFIERT“. Erfahren Sie mehr:

mehr lesen
Herzlich willkommen auf der TDWI – heute schon an morgen denken

Herzlich willkommen auf der TDWI – heute schon an morgen denken

3 Tage TDWI – DAS EVENT für BI Experten & Data Analysts – und wir sind dabei!
Bei uns dreht sich alles um Reporting, Planung und Forecast. Wir lieben valide aussagekräftige Daten! Und schätzen, wenn Ihnen diese für Analysen verlässlich bereitstehen. Auf der TDWI zeigen wir, wie – Intelligent planen, berichten und entscheiden – mithilfe von Big Data in Zukunft aussehen und mit geringem Aufwand eingesetzt werden kann. Kommen Sie vorbei. Wir freuen uns auf Sie. Mehr zu „Big Data? Big Chances!“ in unserem Blog.

mehr lesen
Einblick und Ausblick – der Planning Analytics TM1 Anwendertag

Einblick und Ausblick – der Planning Analytics TM1 Anwendertag

Unter dem Motto „Von Anwendern für Anwender“ drehte sich auf dem 4. Planning Analytics TM1 Anwendertag alles um die IBM Technologie. Beim Expertentag wurden in exklusiver Runde alle Fragen rund um Planning Analytics TM1 beantwortet und Wünsche und Visionen für die Zukunft diskutiert. Und wir waren dabei. Auf dem Anwendertag stellten wir unseren Planning Analytics Connector paco© vor und fast 500 Teilnehmer informierten sich in Fachvorträgen oder Praxisübungen rund um Planning Analytics TM1. Mehr zum Event gibt es in unserem Blogbeitrag.

mehr lesen
GMC² auf dem OLAPLINE Anwendertreffen

GMC² auf dem OLAPLINE Anwendertreffen

Manuel Quadflieg, GMC² Consultant und BI Spezialist hielt gemeinsam mit Kollegen der OLAPLINE vor Ort einen Vortrag zum aktuellen Kundenprojekt der Daimler AG Trucks Sparte. Mithilfe von TM1 wird hier die globale Mittelbedarfsplanung und das Reporting umgesetzt. Dabei präsentierte Manuel Quadflieg das implementierte TM1 Monitoring-Konzept.

mehr lesen

Nehmen Sie Kontakt auf

GMC² GmbH
Joseph-Schumpeter-Allee 29
53227 Bonn

info@gmc2.de
+49 228 30497700

3 + 3 =

Hinweis: Die abgesendeten Daten werden nur zum Zweck der Bearbeitung Ihres Anliegens verarbeitet. Sie können Ihre Einwilligung für die Zukunft jederzeit per E-Mail widerrufen. Weitere Informationen finden Sie in unserer Datenschutzerklärung.

Datenschutz
GMC² GmbH, Inhaber: Holger Gerhards (Firmensitz: Deutschland), verarbeitet zum Betrieb dieser Website personenbezogene Daten nur im technisch unbedingt notwendigen Umfang. Alle Details dazu in der Datenschutzerklärung.
Datenschutz
GMC² GmbH, Inhaber: Holger Gerhards (Firmensitz: Deutschland), verarbeitet zum Betrieb dieser Website personenbezogene Daten nur im technisch unbedingt notwendigen Umfang. Alle Details dazu in der Datenschutzerklärung.