Menu

Dashboards der Zukunft Nehmen wir ein analoges Beispiel

0 Comment

Ein Einblick in die Aktienmärkte unter Berücksichtigung von COVID-19.
April 9, 20200 Comments in , Python, Python, Tools, Visualization by Hoang Tu Nguyen Einleitung.
Die COVID-19-Pandemie hat uns alle fest im Griff.
Besonders die Wirtschaft leidet stark unter den erforderlichen Maßnahmen, die weltweit angewendet werden.
Wir wollen daher die Gelegenheit nutzen einen Blick auf die Aktienkurse zu wagen und analysieren, inwieweit der Virus einen Einfluss auf das Wachstum des Marktes hat.
Rahmen bedingungen .
Zuallererst werden wir uns auf die Industrie-, Schwellenländer und Grenzmärkte konzentrieren.
Dafür nutzen wir die MSCI Global Investable Market Indizes (kurz GIMI), welche die zuvor genannten Gruppen abbilden.
Die MSCI Inc.
ist ein US-amerikanischer Finanz dienstleister und vor allem für ihre Aktienindizes bekannt.
Aktienindizes sind Kennzahlen der Entwicklung bzw.
Änderung einer Auswahl von Aktienkursen und können repräsentativ für ganze Märkte, spezifische Branchen oder Länder stehen.
Der DAX ist zum Beispiel ein Index, welcher die Entwicklung der größten 30 deutschen Unternehmen zusammenfasst.
Leider sind die Daten von MSCI nicht ohne weiteres zugänglich, weshalb wir unsere Analysen mit ETFs (engl.: “Exchange Traded Fund”) durchführen werden.
ETFs sind wiederum an Börsen gehandelte Fonds, die von Fondgesellschaften/-verwaltern oder Banken verwaltet werden.
Für unsere erste Analyse sollen folgende ETFs genutzt werden, welche die folgenden Indizes führen: Index Beschreibung ETF MSCI World über 1600 Aktienwerte aus 24 Industrieländern iShares MSCI World ETF MSCI Emerging Markets ca.
1400 Aktienwerte aus 27 Schwellenländern iShares MSCI Emerging Markets ETF MSCI Frontier Markets Aktienwerte aus ca.
29 Frontier-Ländern iShares MSCI Frontier 100 ETF Tab.1: MSCI Global Investable Market Indizes mit deren repräsentativen ETFs Datenquellen.
Zur Extraktion der ETF-Börsenkurse nehmen wir die yahoo finance API zur Hilfe.
Mit den richtigen Symbolen können wir die historischen Daten unserer ETF-Auswahl ausgeben lassen.
Wie unter diesem Link für den iShares MSCI World ETF zu sehen ist, gibt es mehrere Werte in den historischen Daten.
Für unsere Analyse nutzen wir den Wert, nachdem die Börse geschlossen hat.
Da die ETFs in ihren Kurswerten Unterschiede haben und uns nur die relative Entwicklung interessiert, werden wir relative Werte für die Analyse nutzen.
Der Startzeitpunkt soll mit dem 06.01.2020 festgelegt werden.
Die Daten über bestätigte Infektionen mit COVID-19 entnehmen wir aus der Hochrechnung der Johns Hopkins Universität.
Abb.1: Interaktives Diagramm: Wachstum der Aktienmärkte getrennt in Industrie-, Schwellen-, Frontier-Länder und deren bestätigten COVID-19 Fälle über die Zeit.
Die bestätigten Fälle der jeweiligen Märkte basieren auf der Aufsummierung der Länder, welche auch in den Märkten aufzufinden sind und daher kann es zu Unterschieden bei den offiziellen Zahlen kommen.
Interpretation des Diagramms.
Auf den ersten Blick sieht man deutlich, dass mit steigenden COVID-19 Fällen die Aktienkurse bis zu -31% einbrechen.
(Anfangszeitpunkt: 06.01.2020 Endzeitpunkt: 09.04.2020) Betrachten wir den Anfang des Diagramms so sehen wir einen Einbruch der Emerging Markets, welche eine Gewichtung von 39.69 % (Stand 09.04.20) chinesische Aktien haben.
Am 17.01.20 verzeichnen die Emerging Marktes noch ein Plus von 3.15 % gegenüber unserem Startzeitpunkt, wohingegen wir am 01.02.2020 ein Defizit von -6.05 % gegenüber dem Startzeitpunkt haben, was ein Einbruch von -9.20 % zum 17.01.2020 entspricht.
Da der Ursprung des COVID-19 Virus auch in China war, könnte man diesen Punkt als Grund des Einbruches interpretieren.
Die Industrie- und  Frontier-Länder bleiben hingegen recht stabil und auch deren bestätigten Fälle sind noch sehr niedrig.
Die Industrieländer erreichen ihren Höchststand am 19.02.20 mit einem Plus von 2.80%.
Danach brachen alle drei Märkte deutlich ein.
Auch in diesem Zeitraum gab es die ersten Todesopfer in Europa und in den USA.
Der derzeitige Tiefpunkt, welcher am 23.03.20 zu registrieren ist, beläuft sich für die Industrieländer -32.10 %, Schwellenländer 31.7 % und Frontier-Länder auf -34.88 %.
Interessanterweise steigen die Marktwerte ab diesem Zeitpunkt wieder an.
Gründe könnten die Nachrichten aus China sein, welche keine weiteren Neu-Infektionen verzeichnen, die FED dem Markt bis zu 1.5 Billionen Dollar zur Verfügung stellt und/oder die Ankündigung der Europäische Zentralbank Anleihen in Höhe von 750 MRD.
Euro zu kaufen.
Auch in Deutschland wurden große Hilfspakete angekündigt.
Um detaillierte Aussagen treffen zu können, müssen wir uns die Kurse auf granularer Ebene anschauen.
Durch eine gezieltere Betrachtung auf Länderebene könnten Zusammenhänge näher beschrieben werden.
Wenn du dich für interaktive Analysen interessierst und tiefer in die Materie eintauchen möchtest: DATANOMIQ COVID-19 Dashboard Hier haben wir ein Dashboard speziell für Analysen für die Aktienmärkte, welches stetig verbessert wird.
Auch sollen Krypto-Währungen bald implementiert werden.
Habt ihr Vorschläge und Verbesserungswünsche, dann lasst gerne ein Kommentar da.
https://data-science-blog.com/wp-content/uploads/2020/04/eiaieaiea.png 570 1175 Hoang Tu Nguyen Hoang Tu Nguyen 2020-04-09 10:30:36 2020-04-09 08:12:56 Ein Einblick in die Aktienmärkte unter Berücksichtigung von COVID-19 Artikelserie: BI Tools im Vergleich – Power BI von Microsoft.
December 23, 20190 Comments in , , Python, Tool Introduction, Tools, Visualization by Klaudius Kostow Den Auftakt dieser Artikelserie zum Vergleich von BI-Tools macht die Softwarelösung Power BI von Microsoft.
Solltet ihr gerade erst eingestiegen sein, dann schaut euch ruhig vorher einmal die einführenden Worte und die Ausführungen zur Datenbasis an.
Lizenzmodell.
Power BI ist in seinem Kern ein Cloud-Dienst und so ist auch die Ausrichtung des Lizenzmodells.
Der Bezug als Stand-Alone SaaS ist genauso gut möglich, wie auch die Nutzung von Power BI im Rahmen des Serviceportfolios Office 365 von Microsoft.
Zusätzlich besteht aber auch die Möglichkeit die Software lokal, also on premise laufen zu lassen.
Beachten sollten man aber die eingeschränkte Funktionalität gegenüber der cloudbasierten Alternative.
Power BI Desktop, das Kernelement des Produktportfolios, ist eine frei verfügbare Anwendung.
Damit schafft Microsoft eine geringe Einstiegsbarriere zur Nutzung der Software.
Natürlich gibt es, wie auf dem Markt üblich, Nutzungsbeschränkungen, welche den User zum Kauf animieren.
Interessanterweise liegen diese Limitierungen nicht in den wesentlichen Funktionen der Software selbst, also nicht im Aufbau von Visualisierungen, sondern vor allem in der beschränkten Möglichkeit Dashboards in einem Netzwerk zu teilen.
Beschränkt auch deshalb, weil in der freien Version ebenfalls die Möglichkeit besteht, die Dashboards teilen zu können, indem eine Datei gespeichert und weiter versendet werden kann.

Microsoft rät natürlich davon ab und verweist auf die Vorteile der Power BI Pro Lizenz

Dem ist i.d.
R.
zuzustimmen, da (wie im ersten Artikel näher erläutert) ein funktionierendes Konzept zur Data Governance die lokale Erstellung von Dashboards und manuelle Verteilung nicht erlauben würde.
Sicherlich gibt es Firmen die Lizenzkosten einsparen wollen und funktionierende Prozesse eingeführt haben, um eine Aktualität und Korrektheit der Dashboards zu gewährleisten.
Ein Restrisiko bleibt.
Demgegenüber stehen relativ geringe Lizenzkosten mit $9,99 pro Monat/User für eine Power BI Pro Lizenz, nutzt man die cloud-basierte Variante mit dem Namen Power BI Service.
Das Lizenzmodell ist für den Einstieg mit wenigen Lizenzen transparent gestaltet und zudem besteht keine Verpflichtung zur Abnahme einer Mindestmenge an Lizenzen, also ist der Einstieg auch für kleine Unternehmen gut möglich.
Das Lizenzmodell wird komplexer bei intensivierter Nutzung der Cloud (Power BI Service) und dem zeitgleichen Wunsch, leistungsfähige Abfragen durchzuführen und große Datenmengen zu sichern.

Mit einer Erweiterung der Pro Lizenz auf die Power BI Premium Lizenz

kann der Bedarf nach höheren Leistungsanforderungen gedeckt werden.
Natürlich sind mit diesem Upgrade Kapazitätsgrenzen nicht aufgehoben und die Premium Lizenz kann je nach Leistungsanforderungen unterschiedliche Ausprägungen annehmen und Kosten verursachen.
Microsoft hat sogenannte SKU´s definiert, welche hier aufgeführt sind.
Ein Kostenrechner steht für eine Kostenschätzung online bereit, wobei je nach Anforderung unterschiedliche Parameter zu SKU`s (Premium P1, P2, P3) und die Anzahl der Pro Lizenzen wesentliche Abweichungen zum kalkulierten Preis verursachen kann.
Die Kosten für die Premium P1 Lizenz belaufen sich auf derzeit $4.995 pro Monat und pro Speicherressource (Cloud), also i.d.
R.
je Kunde.
Sollte eine cloud-basierte Lösung aus Kosten, technischen oder sogar Data Governance Gründen nicht möglich sein, kann der Power BI Report Server auf einer selbst gewählten Infrastruktur betrieben werden.
Eine Premium Lizenz ermöglicht die lokale Bereitstellung der Software.
Anmerkung: Sowohl die Pro als auch die Premium Lizenz umfassen weitere Leistungen, welche in Einzelfällen ähnlich bedeutend sein können.
Um nur einige wenige zu nennen: Eingebettete Dashboards auf Webseiten oder anderer SaaS Anwendungen.
Nutzung der Power BI mobile app.
Inkrementelle Aktualisierung von Datenquellen.
Erhöhung der Anzahl automatischer Aktualisierungen pro Tag (Pro = 8).
u.v.m.
Community & Features von anderen Entwicklern.
Power BI Benutzer können sich einer sehr großen Community erfreuen, da diese Software sich laut Gartner unter den führenden BI Tools befindet und Microsoft einen großen Kundenstamm vorzuweisen hat.
Dementsprechend gibt es nicht nur auf der Microsoft eigenen Webseite https://community.powerbi.com/ eine Vielzahl von Themen, welche erörtert werden, sondern behandeln auch die einschlägigen Foren Problemstellungen und bieten Infomaterial an.
Dieser große Kundenstamm bietet eine attraktive Geschäftsgrundlage für Entwickler von Produkten, welche komplementär oder gar substitutiv zu einzelnen Funktionen von Power BI angeboten werden.
Ein gutes Beispiel für einen ersetzenden Service ist das Tool PowerBI Robots, welches mit Power BI verbunden, automatisch generierte E-Mails mit Screenshots von Dashboards an beliebig viele Personen sendet.
Da dafür keine Power BI Pro Lizenz benötigt wird, hebelt dieser Service die wichtige Veröffentlichungsfunktion und damit einen der Hauptgründe für die Beschaffung der Pro Lizenz teilweise aus. Weiterhin werden Features ergänzt, welche noch nicht durch Microsoft selbst angeboten werden, wie z.
B.
die Erweiterung um ein Process Mining Tool namens PAFnow.
Dieses und viele weitere Angebote können auf der Marketplace-Plattform heruntergeladen werden, sofern man eine Pro Lizenz besitzt.
Daten laden: Allgemeines.
Ein sehr großes Spektrum an Datenquellen wird von Power BI unterstützt und fast jeder Nutzer sollte auf seinen Datenbestand zugreifen können.
Unterstützte Datenquellen sind natürlich diverse Textdateien, SaaS verschiedenster Anbieter und Datenbanken jeglicher Art, aber auch Python, R Skripte sowie Blank Queries können eingebunden werden.
Ebenfalls besteht die Möglichkeit mit einer ODBC-Schnittstelle eine Verbindung zu diversen, nicht aufgelisteten Datenquellen herstellen zu können.
Ein wesentlicher Unterschied zwischen den einzelnen Datenquellen besteht in der Limitierung, eine direkte Verbindung aufsetzen zu können, eine sogenannte DirectQuery.
In der Dokumentation zu Datenquellen findet man eine Auflistung mit entsprechender Info zur DirectQuery.
Die Alternative dazu ist ein Import der Daten in Kombination mit regelmäßig durchgeführten Aktualisierungen.
Mit Dual steht dem Anwender ein Hybrid aus beiden Methoden zur Verfügung, welcher in besonderen Anwendungsfällen sinnvoll sein kann.
Demnach können einzelne Tabellen als Dual definiert und die im Folgenden beschriebenen Vorteile beider Methoden genutzt werden.
Import vs DirectQuery Welche Verbindung man wählen sollte, hängt von vielen Faktoren ab.
Wie bereits erwähnt, besteht eine Limitierung von 8 Aktualisierungen pro Tag und je Dataset bei importierten Datenquellen, sofern man nur eine Pro Lizenz besitzt.
Mit der Nutzung einer DirectQuery besteht diese Limitierung nicht.
Ebenfalls existiert keine Beschränkung in Bezug auf die Upload-Größe von 1GB je Dataset.
Eine stetige Aktualität der Reports ist unter der Einstellung DirectQuery selbst redend.
Wann bringt also der Import Vorteile.
Dieser besteht im Grunde in den folgenden technischen Limitierungen von DirectQuery: Es können nicht mehr als 1 Mio.
Zeilen zurückgegeben werden (Aggregationen wiederum können über mehr Zeilen laufen).
Es können nur eingeschränkt Measures (Sprache DAX) geschrieben werden.
Es treten Fehler im Abfrageeditor bei übermäßiger Komplexität von Abfragen auf.
Zeitintelligenzfunktionen sind nicht verfügbar.
Daten laden: AdventureWorks2017Dataset.
Wie zu erwarten, verlief der Import der Daten reibungslos, da sowohl die Datenquelle als auch das Dataset Produkte von Microsoft sind.
Ein Import war notwendig, um Measures unter Nutzung von DAX anzuwenden.
Power BI ermöglichte es, die Daten schnell in das Tool zu laden.
Beziehungen zwischen Datentabellen werden durch die Software entweder aufgrund von automatischer Erkennung gleicher Attribute über mehrere Tabellen hinweg oder durch das Laden von Metadaten erkannt.
Aufgrund des recht komplexen und weit verzweigten Datasets schien dieses Feature im ersten Moment von Vorteil zu sein, erst in späteren Visualisierungsschritten stellte sich heraus, dass einige Verbindungen nicht aus den Metadaten geladen wurden, da eine falsch gesetzte Beziehung durch eine automatische Erkennung gesetzt wurde und so die durch die Metadaten determinierte Beziehung nicht übernommen werden konnte.
Lange Rede kurzer Sinn: Diese Automatisierung ist arbeitserleichternd und nützlich, insbesondere für Einsteiger, aber das manuelle Setzen von Beziehungen kann wenig auffällige Fehler vermeiden und fördert zugleich das eigene Verständnis für die Datengrundlage.
Microsoft bietet seinen Nutzer an, diese Features zu deaktivieren.
Das manuelle Setzen der Beziehungen ist über das Userinterface (UI) im Register „Beziehungen“ einfach umzusetzen.
Besonders positiv ist die Verwirklichung dieses Registers, .

Da der Nutzer ein einfach zu bedienendes Tool zur Strukturierung der Daten erhält

Ein Entity-Relationship-Modell (ERM) zeigt das Resultat der Verknüpfung und zugleich das Datenmodel gemäß dem Konzept eines Sternenschemas.
Daten transformieren.
Eines der wesentlichen Instrumente zur Transformierung von Daten ist Power Query.
Diese Software ist ebenfalls ein etablierter Bestandteil von Excel und verfügt über ein gelungenes UI, welches die Sprache M generiert.
Ca.
95% der gewünschten Daten Transformationen können über das UI durchgeführt werden und so ist es in den meisten Fällen nicht notwendig, M schreiben zu müssen.
Durch das UI ermöglicht Power Query, wesentliche Aufgaben wie das Bereinigen, Pivotieren und Zusammenführen von Daten umzusetzen.
Aber es ist von Vorteil, wenn man sich zumindest mit der Syntax auskennt und die Sprache in groben Zügen versteht.
Die Sprache M wie auch das UI, welches unter anderem die einzelnen Bearbeitungs-/Berechnungsschritte aufzeigt, ist Workflow-orientiert.
Das UI ist gut strukturiert, und Nutzer finden schnellen Zugang zur Funktionsweise.
Ein sehr gut umgesetztes Beispiel ist die Funktion „Spalten aus Beispielen“.
In nur wenigen Schritten konnten der Längen- und Breitengrad aus einer zusammengefassten Spalte getrennt werden.
Den erzeugten M-Code und den beschriebenen Workflow seht ihr in der folgenden Grafik.
Das Feature zur Zusammenführung von Tabellen ist jedoch problematisch, da das UI von Power Query dem Nutzer keine vorprogrammierten Visualisierungen o.ä.
an die Hand gibt, um die Resultate überprüfen zu können.

Wie bei dem Beispiel Dataset von Microsoft

welches mit über 70 Tabellen eine relativ komplexe Struktur aufweist, können bei unzureichender Kenntnis über die Struktur der Datenbasis Fehler entstehen.
Eine mögliche Folge können die ungewollte Vervielfachung von Zeilen (Kardinalität ist „viele zu viele“) oder gar das Fehlen von Informationen sein (nur eine Teilmenge ist in die Verknüpfung eingeschlossen).
Zur Überprüfung der JOIN Ergebnisse können die drei genannten Register (siehe obige Grafik) dienen, aber ein Nutzer muss sich selbst ein eigenes Vorgehen zur Überwachung der korrekten Zusammenführung überlegen.
Nachdem die Bearbeitung der Daten in Power Query abgeschlossen ist und diese in Power BI geladen werden, besteht weiterhin die Möglichkeit, .

Die Daten unter Nutzung von DAX zu transformieren

Insbesondere Measures bedienen sich ausschließlich dieser Sprache und ein gutes Auto-Fill-Feature mit zusätzlicher Funktionsbeschreibung erleichtert das Schreiben in DAX.
Dynamische Aggregationen und etliche weitere Kalkulationen sind denkbar.
Nachfolgend findet ihr einige wenige Beispiele, welche auch im AdventureWorks Dashboard Anwendung finden: Dynamischer Top N Filter.
Dynamischer Slicer.
Datumskalender.
Dynamischer Titel.
Measures können komplexe Formen annehmen und Power BI bietet eine sehr gute Möglichkeit gebräuchliche Berechnungen über sogenannte Quickmeasures (QM) vorzunehmen.
Ähnlich wie für die Sprache M gibt es ein UI zur Erstellung dieser, ohne eine Zeile Code schreiben zu müssen.
Die Auswahl an QM ist groß und die Anwendungsfälle für die einzelnen QM sind vielfältig.
Als Beispiel könnt ihr euch das Measure „Kunden nach Year/KPI/Category“ im bereitgestellten AdventureWorks Dashboard anschauen, welches leicht abgewandelt auf Grundlage des QM „Verkettete Werteliste“ erstellt wurde.
Dieses Measure wurde als dynamischer Titel in das Balkendiagramm eingebunden und wie das funktioniert seht ihr hier.
Daten visualisieren.
Der letzte Schritt, die Visualisierung der Daten, ist nicht nur der wichtigste, sondern auch der sich am meisten unterscheidende Schritt im Vergleich der einzelnen BI-Tools.
Ein wesentlicher Faktor dabei ist die Arbeitsabfolge in Bezug auf den Bau von Visualisierungen.
Power BI ermöglicht dem Nutzer, einzelne Grafiken in einem UI zu gestalten und in dem selbigen nach Belieben anzuordnen.
Bei Tableau und Looker zum Beispiel werden die einzelnen Grafiken in separaten UIs gestaltet und in einem weiteren UI als Dashboard zusammengesetzt.
Eine Anordnung der Visualisierungen ist in Power BI somit sehr flexibel und ein Dashboard kann in wenigen Minuten erstellt werden.
Verlieren kann man sich in den Details, fast jede visuelle Vorstellung kann erfüllt werden und in der Regel sind diese nur durch die eigene Zeit und das Know-How limitiert.
Ebenfalls kann das Repertoire an Visualisierungen um sogenannte Custom Visualizations erweitert werden.
Sofern man eine Pro Lizenz besitzt, ist das Herunterladen dieser Erweiterungen unter AppSource möglich.
Eine weitere Möglichkeit zur Anreicherung von Grafiken um Detailinformationen, besteht über das Feature Quickinfo.
Sowohl eine schnell umsetzbare und somit wenig detaillierte Einbindung von Details ist möglich, aber auch eine aufwendigere Alternative ermöglicht die Umsetzung optisch ansprechender und sehr detaillierter Quickinfos.
Das Setzen von Filtern kann etliche Resultate und Erkenntnisse mit sich bringen.
Dem Nutzer können beliebige Ansichten bzw.
Filtereinstellungen in sogenannten Bookmarks gespeichert werden, sodass ein einziger Klick genügt.
In dem AdventureWorks Dashboard wurde ein nützliches Bookmark verwendet, welches dem Zurücksetzen aller Filter dient.
Erstellt man Visualisierungen im immer gleichen Format, dann lohnt es sich ein eigenes Design in JSON-Format zu erstellen.
Wenn man mit diesem Format nicht vertraut ist, kann man eine Designvorlage über das Tool Report Theme Generator V3 sehr einfach selbst erstellen.
Existiert ein Datenmodell und werden Daten aus verschiedenen Tabellen im selben Dashboard zusammengestellt (siehe auch Beispiel Dashboard AdventureWorks), dann werden entsprechende JOIN-Operationen im Hintergrund beim Zusammenstellen der Visualisierung erstellt.
Ob das Datenmodell richtig aufgebaut wurde, ist oft erst in diesem Schritt erkennbar und wie bereits erwähnt, muss sich ein jeder Anwender ein eigenes Vorgehen überlegen, um mit Hilfe dieses Features die vorausgegangenen Schritte zu kontrollieren.
Warum braucht Power BI eine Python Integration.
Interessant ist dieses Feature in Bezug auf Machine Learning Algorithmen, welche direkt in Power BI integriert werden können.
Python ist aber auch für einige Nutzer eine gern genutzte Alternative zu DAX und M, sofern man sich mit diesen Sprachen nicht auseinandersetzen möchte.
Zwei weitere wesentliche Gründe für die Nutzung von Python sind Daten zu transformieren und zu visualisieren, unter Nutzung der allseits bekannten Plots.
Zudem können weitere Quellen eingebunden werden.
Ein Vorteil von Python ist dessen Repertoire an vielen nützlichen Bibliotheken wie pandas, matplotlib u.v.m.
Jedoch ist zu bedenken, dass die Python-Skripte zur Datenbereinigung und zur Abfrage der Datenquelle erst durch den Data Refresh in Power BI ausgeführt werden.
In DAX geschriebene Measures bieten den Vorteil, dass diese mehrmals verwendet werden können.
Ein Python-Skript hingegen muss kopiert und demnach auch mehrfach instandgehalten werden.
Es ist ratsam, Python in Power BI nur zu nutzen, wenn man an die Grenzen von DAX und M kommt.
Fazit.
Das Lizenzmodel ist stark auf die Nutzung in der Cloud ausgerichtet und zudem ist die Funktionalität der Software, bei einer lokalen Verwendung (Power Bi Report Server) verglichen mit der cloud-basierten Variante, eingeschränkt.
Das Lizenzmodell ist für den Power BI Neuling, welcher geringe Kapazitäten beansprucht einfach strukturiert und sehr transparent.
Bereits kleine Firmen können so einen leichten Einstieg in Power BI finden, da auch kein Mindestumsatz gefordert ist.
Gut aufbereitete Daten können ohne großen Aufwand geladen werden und bis zum Aufbau erster Visualisierungen bedarf es nicht vieler Schritte, jedoch sind erste Resultate sehr kritisch zu hinterfragen.
Die Kontrolle automatisch generierter Beziehungen und das Schreiben von zusätzlichen DAX Measures zur Verwendung in den Visualisierungen sind in den meisten Fällen notwendig, um eine korrekte Darstellung der Zahlen zu gewährleisten.
Die Transformation der Daten kann zum großen Teil über unterschiedliche UIs umgesetzt werden, jedoch ist das Schreiben von Code ab einem gewissen Punkt unumgänglich und wird auch nie komplett vermeidbar sein.
Power BI bietet aber bereits ein gut durchdachtes Konzept.
Im Großen und Ganzen ist Power BI ein ausgereiftes und sehr gut handhabbares Produkt mit etlichen Features, ob von Microsoft selbst oder durch Drittanbieter angeboten.
Eine große Community bietet ebenfalls Hilfestellung bei fast jedem Problem, wenn dieses nicht bereits erörtert wurde.
Hervorzuheben ist der Kern des Produkts: die Visualisierungen.
Einfach zu erstellende Visualisierungen jeglicher Art in einem ansprechenden Design grenzen dieses Produkt von anderen ab.
Fortsetzung: Tableau wurde als zweites Tool dieser Artikelserie näher beleuchtet.
https://data-science-blog.com/wp-content/uploads/2019/12/Header_NEU_UPLOAD_845x321pix_12.02.20.png 274 720 Klaudius Kostow Klaudius Kostow 2019-12-23 09:30:08 2020-02-23 22:17:58 Artikelserie: BI Tools im Vergleich – Power BI von Microsoft Artikelserie: BI Tools im Vergleich – Datengrundlage.
December 6, 20191 Comment in , , Experience, Tool Introduction, Tools, Visualization by Klaudius Kostow Dieser Artikel wird als Fortsetzung des ersten Artikels, einer Artikelserie zu BI Tools, die Datengrundlage erläutern.
Als Datengrundlage sollen die Trainingsdaten – AdventureWorks 2017 – von Microsoft dienen und Ziel soll es sein, ein möglichst gleiches Dashboard in jedem dieser Tools zu erstellen.
Bei der Datenbasis handelt es sich bereits um ein relationales Datenbankmodel mit strukturierten Daten, welches als Datei-Typ .bak zur Verfügung steht.
Die Daten sind bereits bereinigt und normalisiert, sowie bestehen auch bereits Beziehungen zwischen den Tabellen.
Demnach fallen sowohl aufwendige Datenbereinigungen weg, als auch der Aufbau eines relationalen Datenmodells im Dashboard.
In den meisten Tools ist beides möglich, wenn auch nicht das optimale Programm.

Vor allem sollte vermieden werden Datenbereinigungen in BI Tools vorzunehmen

Alle Tools bieten einem die Möglichkeit strukturierte und unstrukturierte Daten aus verschiedensten Datenquellen zu importieren.
Die Datenquelle wird SQL Server von Microsoft sein, da die .bak Datei nicht direkt in die meisten Dashboards geladen werden kann und zudem auf Grund der Datenmenge ein kompletter Import auch nicht ratsam ist.
Aus Gründen der Performance sollten nur die für das Dashboard relevanten Daten importiert werden.
Für den Vergleich werden 15 von insgesamt 71 Tabellen importiert, um Visualisierungen für wesentliche Geschäftskennzahlen aufzubauen.
Die obere Grafik zeigt das Entity-Relationship-Modell (ERM) zu den relevanten Tabellen.
Die Datengrundlage eignet sich sehr gut für tiefer gehende Analysen und bietet zugleich ein großes Potential für sehr ausgefallene Visualisierungen.
Im Fokus dieser Artikelserie soll aber nicht die Komplexität der Grafiken, sondern die allgemeine Handhabbarkeit stehen.
Allgemein besteht die Gefahr, dass die Kernaussagen eines Reports in den Hintergrund rücken bei der Verwendung von zu komplexen Visualisierungen, welche lediglich der Ästhetik dienlich sind.
Eine Beschränkung soll gelten: So soll eine Manipulation von Daten lediglich in den Dashboards selbst vorgenommen werden.
Bedeutet das keine Tabellen in SQL Server geändert oder Views erstellt werden.
Gehen wir einfach Mal davon aus, dass der Data Engineer Haare auf den Zähnen hat und die Zuarbeit in jeglicher Art und Weise verwehrt wird.
Also ganz nach dem Motto: Help yourself.
???? Daten zum Üben gibt es etliche.
Einfach Mal Github, Kaggle oder andere Open Data Quellen anzapfen.
Falls ihr Lust habt, dann probiert euch doch selber einmal an den Dashboards.
Ihr solltet ein wenig Zeit mitbringen, aber wenn man erstmal drin ist macht es viel Spaß und es gibt immer etwas neues zu entdecken.
Das erste Dashboard und somit die Fortsetzung dieser Artikelserie wird  Power BI als Grundlage haben.
Hier ein paar Links um euch startklar zu machen, falls das Interesse in euch geweckt wurde.
Dataset: AdventureWorks 2017 MS SQL Server MS SSMS MS Power BI (Desktop) https://data-science-blog.com/wp-content/uploads/2019/12/Folie1-scaled.png 972 2560 Klaudius Kostow Klaudius Kostow 2019-12-06 09:00:37 2019-12-05 10:31:25 Artikelserie: BI Tools im Vergleich – Datengrundlage Artikelserie: BI Tools im Vergleich – Einführung und Motivation.
December 2, 20190 Comments in , , Experience, Tool Introduction, Tools, Visualization by Klaudius Kostow „Mit welchem BI-Tool arbeitest du am liebsten?“ Mit dieser Frage werde ich dieser Tage oft konfrontiert.
Meine klassische Antwort und eine typische Beraterantwort: „Es kommt darauf an.“ Nach einem Jahr als Berater sitzt diese Antwort sicher, aber gerade in diesem Fall auch begründet.
Auf den Analytics und Business Intelligence Markt drängen jedes Jahr etliche neue Dashboard-Anbieter und die etablierten erweitern Services und Technik in rasantem Tempo.
Zudem sind die Anforderungen an ein BI-Tool höchst unterschiedlich und von vielen Faktoren abhängig.
Meine Perspektive, also die Anwenderperspektive eines Entwicklers, ist ein Faktor und auch der Kern dieser Artikelserie.
Um die Masse an Tools auf eine machbare Anzahl runter zu brechen werde ich die bekanntesten Tools im Vergleich ausprobieren und hier vorstellen.
Die Aufgabe ist also schnell erklärt: Ein Dashboard mit den gleichen Funktionen und Aussagen in unterschiedlichen Tools erstellen.
Im Folgenden werde ich auch ein paar Worte zur Bewertungsgrundlage und zur Datengrundlage verlieren.
Erstmal kurz zu mir: Wie bereits erwähnt arbeite ich seit einem Jahr als Berater, genauer als Data Analyst in einem BI-Consulting Unternehmen namens DATANOMIQ.
Bereits davor habe ich mich auf der anderen Seite der Macht, quasi als Kunde eines Beraters, viel mit Dashboards beschäftigt.
Aber erst in dem vergangenen Jahr wurde mir die Fülle an BI Tools bewusst und der Lerneffekt war riesig.
Die folgende Grafik zeigt alle Tools welche ich in der Artikelserie vorstellen möchte.
Gartner’s Magic Quadrant for Analytics and Business Intelligence Platform führt jedes Jahr eine Portfolioanalyse über die visionärsten und bedeutendsten BI-Tools durch, unter der genannten befindet sich nur eines, welches nicht in dieser Übersicht geführt wird, ich jedoch als potenziellen Newcomer für die kommenden Jahre erwarte.
Trotz mittlerweile einigen Jahren Erfahrung gibt es noch reichlich Potential nach oben und viel Neues zu entdecken, gerade in einem so direkten Vergleich.
Also seht mich ruhig als fortgeschrittenen BI-Analyst, der für sich herausfinden will, welche Tools aus Anwendersicht am besten geeignet sind und vielleicht kann ich dem ein oder anderen auch ein paar nützliche Tipps mit auf den Weg geben.
Was ist eigentlich eine „Analytical and Business Intelligence Platform“.
Für alle, die komplett neu im Thema sind, möchte ich erklären, was eine Analytical and Business Intelligence Platform in diesem Kontext ist und warum wir es nachfolgend auch einfach als BI-Tool bezeichnen können.
Es sind Softwarelösungen zur Generierung von Erkenntnissen mittels Visualisierung und Informationsintegration von Daten.
Sie sollten einfach handhabbar sein, weil der Nutzer für die Erstellung von Dashboards keine speziellen IT-Kenntnisse mitbringen muss und das Userinterface der jeweiligen Software einen mehr oder minder gut befähigt die meisten Features zu nutzen.
Die meisten und zumindest die oben genannten lassen sich aber auch um komplexere Anwendungen und Programmiersprachen erweitern.
Zudem bestimmt natürlich auch der Use Case den Schwierigkeitsgrad der Umsetzung.
Cloudbasierte BI Tools sind mittlerweile der Standard und folgen dem allgemeinen Trend.
Die klassische Desktop-Version wird aber ebenfalls von den meisten angeboten.
Von den oben genannten haben lediglich Data Studio und Looker keine Desktop- Version.
Für den einfachen User macht das keinen großen Unterschied, welche Version man nutzt.
Aber für das Unternehmen in Gesamtheit ist es ein wesentlicher Entscheidungsfaktor für die Wahl der Software und auch auf den Workflow des Developers bzw.
BI-Analyst kann sich das auswirken.
Unternehmensperspektive: Strategie & Struktur Die Unternehmensstrategie setzt einen wesentlichen Rahmen zur Entwicklung einer Datenstrategie worunter auch ein anständiges Konzept zur Data Governance gehört.
Ein wesentlicher Punkt der Datenstrategie ist die Verteilung der BI- und Datenkompetenz im Unternehmen.
An der Entwicklung der Dashboards arbeiten in der Regel zwei Parteien, der Developer, der im Unternehmen meistens die Bezeichnung BI- oder Data Analyst hat, und der Stakeholder, also einzelner User oder die User ganzer Fachabteilungen.
Prognose: Laut Gartner wird die Anzahl der Daten- und Analyse-Experten in den Fachabteilungen, also die Entwickler und Benutzer von BI Tools, drei Mal so schnell wachsen verglichen mit dem bereits starken Wachstum an IT-Fachkräften.
Nicht selten gibt es für ein Dashboard mehrere Stakeholder verschiedener Abteilungen.
Je nach Organisation und Softwarelösung mit unterschiedlich weitreichenden Verantwortlichkeiten, was die Entwicklung eines Dashboards an geht.
Die obige Grafik zeigt die wesentlichen Prozessschritte von der Konzeption bis zum fertigen Dashboard und drei oft gelebte Konzepte zur Verteilung der Aufgaben zwischen dem User und dem Developer.
Natürlich handelt es sich fast immer um einen iterativen Prozess und am Ende stellen sich auch positive Nebenerkenntnisse heraus.
Verschiedene Tools unterstützen durch Ihre Konfiguration und Features verschiedene Ansätze zur Aufgabenverteilung, auch wenn mit jedem Tool fast jedes System gelebt werden kann, provozieren einige Tools mit ihrem logischen Aufbau und dem Lizenzmodell zu einer bestimmten Organisationsform.
Looker zum Beispiel verkauft mit der Software das Konzept, dem User eine größere Möglichkeit zu geben, das Dashboard in Eigenregie zu bauen und gleichzeitig die Datenhoheit an den richtigen Stellen zu gewährleisten (mittlerer Balken in der Grafik).
Somit wird dem User eine höhere Verantwortung übertragen und weit mehr Kompetenzen müssen vermittelt werden, da der Aufbau von Visualisierung ebenfalls Fehlerpotential in sich birgt.
Ein Full‑Service hingegen unterstützt das Konzept fast aller Tools durch Zuweisen von Berechtigungen.
Teilweise werden aber gewisse kostenintensive Features nicht genutzt oder auf Cloud-Lizenzen verzichtet, so dass jeder Mitarbeiter unabhängig auf einer eigenen Desktop-Version arbeitet, am Ende dann leider die Single Source of Truth nicht mehr gegeben ist.
Denn das führt eigentlich gezwungenermaßen dazu, dass die User sich aus x beliebigen Datentöpfen bedienen, ungeschultes Personal falsche Berechnungen anstellt und am Ende die unterschiedlichen Abteilungen sich mit schlichtweg falschen KPIs überbieten.
Das spricht meistens für ein Unternehmen ohne vollumfängliches Konzept für Data Governance bzw.
einer fehlenden Datenstrategie.
Zu dem Thema könnte man einen Roman schreiben und um euch diesen zu ersparen, möchte ich kurz die wichtigsten Fragestellungen aus Unternehmensperspektive aufzählen, ohne Anspruch auf Vollständigkeit: Wann wird ein Return on Invest (ROI) realisiert werden?.
Wie hoch ist mein Budget für BI-Lösungen?.
Sollen die Mitarbeiter mit BI-Kompetenz zentral oder dezentral organisiert sein?.
Wie ist meine Infrastruktur aufgebaut.
Cloudbasiert oder on Premise?.

Soll der Stakeholder/User Zeit-Ressourcen für den Aufbau von Dashboards erhalten?

Über welche Skills verfügen die Mitarbeiter bereits?.
Welche Autorisierung in Bezug auf die Datensichtbarkeit und -manipulation haben die jeweiligen Mitarbeiter der Fachabteilungen?.
Bedarf an Dashboards: Wie häufig werden diese benötigt und wie oft werden bestehende Dashboards angepasst?.
Kann die Data Exploration durch den Stakeholder/User einen signifikanten Mehrwert liefern?.
Werden Dashboards in der Regel für mehrere Stakeholder gebaut?.
Die Entscheidung für die Wahl eines Dashboards ist nicht nur davon abhängig, wie sich die Grafiken von links nach rechts schieben lassen, sondern es handelt sich auch um eine wichtige strategische Frage aus Unternehmersicht.
Ein Leitsatz hierbei sollte lauten: Die Strategie des Unternehmens bestimmt die Anforderungen an das Tool und nicht andersrum.
Perspektive eines Entwicklers:      Bewertungsgrundlage der Tools So jetzt Mal Butter bei die Fische und ab zum Kern des Artikels.
Jeder der Artikel wird aus den folgenden Elementen bestehen: Das Tool: Daten laden.
Daten transformieren.
Daten visualisieren.
Zukunftsfähigkeit am Beispiel von Pythonintegration.
Handhabbarkeit.
Umweltfaktoren: Community.
Dokumentation.
Features anderer Entwickler(-firmen) zur Erweiterung.
Lizenzmodell Cloud (SaaS) ODER on premise Lizenzen?.
Preis (pro Lizenz, Unternehmenslizenz etc.).
Freie Version.
Im Rahmen dieser Artikelserie erscheinen im Laufe der kommenden Monate folgende Artikel zu den Reviews der BI-Tools: Power BI von Microsoft.
Tableau.
MicroStrategy (erscheint demnächst).
Looker (erscheint demnächst).
Qlik Sense (erscheint demnächst).

Über einen vorausgehend veröffentlichten Artikel wird die Datengrundlage erläutert

die für alle Reviews gemeinsam verwendet wird: Vorstellung der Datengrundlage https://data-science-blog.com/wp-content/uploads/2019/12/bi-dashboard-header.png 478 1400 Klaudius Kostow Klaudius Kostow 2019-12-02 09:52:34 2020-02-18 18:20:42 Artikelserie: BI Tools im Vergleich – Einführung und Motivation Mit Dashboards zur Prozessoptimierung.
November 6, 20190 Comments in , , , , , , , Tools by Geschäftlicher Erfolg ergibt sich oft aus den richtigen Fragen – zum Beispiel: „Wie kann ich sicherstellen, dass mein Produkt das beste ist?“, „Wie hebe ich mich von meinen Mitbewerbern ab?“ und „Wie baue ich mein Unternehmen weiter aus?“ Moderne Unternehmen gehen über derartige Fragen hinaus und stellen vielmehr die Funktionsweise ihrer Organisation in den Fokus.
Fragen auf dieser Ebene lauten dann: „Wie kann ich meine Geschäftsprozesse so effizient wie möglich gestalten?“, „Wie kann ich Zusammenarbeit meiner Mitarbeiter verbessern?“ oder auch „Warum funktionieren die Prozesse meines Unternehmens nicht so, wie sie sollten?“ Read this article in English:  “Process Paradise by the Dashboard Light” Um die Antworten auf diese (und viele andere!) Fragen zu erhalten, setzen immer mehr Unternehmen auf Process Mining.
Process Mining hilft Unternehmen dabei, den versteckten Mehrwert in ihren Prozessen aufzudecken, indem Informationen zu Prozessmodellen aus den verschiedenen IT-Systemen eines Unternehmens automatisch erfasst werden.
Auf diese Weise kann die End-to-End-Prozesslandschaft eines Unternehmens kontinuierlich überwacht werden.
Manager und Mitarbeiter profitieren so von operativen Erkenntnissen und können potenzielle Risiken ebenso erkennen wie Möglichkeiten zur Verbesserung.
Process Mining ist jedoch keine „Wunderwaffe“, die Daten auf Knopfdruck in Erkenntnisse umwandelt.
Eine Process-Mining-Software ist vielmehr als Werkzeug zu betrachten, das Informationen erzeugt, die anschließend analysiert und in Maßnahmen umgesetzt werden.
Hierfür müssen die generierten Informationen den Entscheidungsträgern jedoch auch in einem verständlichen Format zur Verfügung stehen.
Bei den meisten Process-Mining-Tools steht nach wie vor die Verbesserung der Analysefunktionen im Fokus und die generierten Daten müssen von Experten oder Spezialisten innerhalb einer Organisation bewertet werden.
Dies führt zwangsläufig dazu, dass es zwischen den einzelnen Schritten zu Verzögerungen kommt und die Abläufe bis zur Ergreifung von Maßnahmen ins Stocken geraten.
Process-Mining-Software, die einen kooperativeren Ansatz verfolgt und dadurch das erforderliche spezifische Fachwissen verringert, kann diese Lücke schließen.
Denn nur wenn Informationen, Hypothesen und Analysen mit einer Vielzahl von Personen geteilt und erörtert werden, können am Ende aussagekräftige Erkenntnisse gewonnen werden.
Aktuelle Process-Mining-Software kann natürlich standardisierte Berichte und Informationen generieren.
In einem sich immer schneller ändernden Geschäftsumfeld reicht dies jedoch möglicherweise nicht mehr aus.
Das Erfolgsgeheimnis eines wirklich effektiven Process Minings besteht darin, Herausforderungen und geschäftliche Möglichkeiten vorherzusehen und dann in Echtzeit auf sie zu reagieren.
Dashboards der Zukunft Nehmen wir ein analoges Beispiel, um aufzuzeigen, wie sich das Process Mining verbessern lässt.
Der technologische Fortschritt soll die Dinge einfacher machen: Denken Sie beispielsweise an den Unterschied zwischen der handschriftlichen Erfassung von Ausgaben und einem Tabellenkalkulator.
Stellen Sie sich nun vor, die Tabelle könnte Ihnen genau sagen, wann Sie sie lesen und wo Sie beginnen müssen, und würde Sie auf Fehler und Auslassungen aufmerksam machen, bevor Sie überhaupt bemerkt haben, dass sie Ihnen passiert sind.

Fortschrittliche Process-Mining-Tools bieten Unternehmen

die ihre Arbeitsweise optimieren möchten, genau diese Art der Unterstützung.
Denn mit der richtigen Process-Mining-Software können individuelle operative Cockpits erstellt werden, die geschäftliche Daten in Echtzeit mit dem Prozessmanagement verbinden.
Der Vorteil: Es werden nicht nur einzelne Prozesse und Ergebnisse kontinuierlich überwacht, sondern auch klare Einblicke in den Gesamtzustand eines Unternehmens geboten.
Durch die richtige Kombination von Process Mining mit den vorhandenen Prozessmodellen eines Unternehmens werden statisch dargestellte Funktionsweisen eines bestimmten Prozesses in dynamische Dashboards umgewandelt.
Manager und Mitarbeiter erhalten so Warnungen über potenzielle Probleme und Schwachstellen in Ihren Prozessen.
Und denken Sie daran, dynamisch heißt nicht zwingend störend: Die richtige Process-Mining-Software setzt an der richtigen Stelle in Ihren Prozessen an und bietet ein völlig neues Maß an Prozesstransparenz und damit an Prozessverständnis.
Infolgedessen können Transformationsinitiativen und andere Verbesserungspläne jederzeit angepasst und umstrukturiert werden und Entscheidungsträger mittels automatisierter Nachrichten sofort über Probleme informiert werden, sodass sich Korrekturmaßnahmen schneller als je zuvor umsetzen lassen.
Der Vorteil: Unternehmen sparen Zeit und Geld, da Zykluszeiten verkürzt, Engpässe lokalisiert und nicht konforme Prozesse in der Prozesslandschaft der Organisation aufgedeckt werden.
Dynamische Dashboards von Signavio  Testen Sie Signavio Process Intelligence und erleben Sie selbst, wie die modernste und fortschrittlichste Process-Mining-Software Ihnen dabei hilft, umsetzbare Einblicke in die Funktionsweise Ihres Unternehmens zu erhalten.
Mit Signavios Live Insights profitieren Sie von einer zentralen Ansicht Ihrer Prozesse und Informationen, die in Form eines Ampelsystems dargestellt werden.
Entscheiden Sie einfach, welche Prozesse und Aktivitäten Sie innerhalb eines Prozesses überwachen möchten, platzieren Sie Indikatoren und wählen Sie Grenzwerte aus.
Alles Weitere übernimmt Signavio Process Intelligence, das Ihre Prozessmodelle mit den Daten verbindet.
Lassen Sie veraltete Arbeitsweisen hinter sich.
Setzen Sie stattdessen auf faktenbasierte Erkenntnisse, um Ihre Geschäftstransformation zu unterstützen und Ihre Prozessmanagementinitiativen schneller zum Erfolg zu führen.
Erfahren Sie mehr über Signavio Process Intelligence oder registrieren Sie sich für eine kostenlose 30-Tage-Testversion über www.signavio.com/try.
Erfahren Sie in unserem kostenlosen Whitepaper mehr über erfolgreiches Process Mining mit Signavio Process Intelligence.
2019-11-06 10:45:56 2019-11-21 11:01:42 Mit Dashboards zur Prozessoptimierung A Bird’s Eye View: How Machine Learning Can Help You Charge Your E-Scooters.
June 4, 20190 Comments in Artificial Intelligence, Big Data, , , , Data Science Hack, , Machine Learning, , Python, Tools, Visualization by Perry Johnson Bird scooters in Columbus, Ohio Ever since I started using bike-sharing to get around in Seattle, I have become fascinated with geolocation data and the transportation sharing economy.
When I saw this project leveraging the mobility data RESTful API from the Los Angeles Department of Transportation, I was eager to dive in and get my hands dirty building a data product utilizing a company’s mobility data API.
Unfortunately, the major bike and scooter providers (Bird, JUMP, Lime) don’t have publicly accessible APIs.
However, some folks have seemingly been able to reverse-engineer the Bird API used to populate the maps in their Android and iOS applications.
One interesting feature of this data is the nest_id, which indicates if the Bird scooter is in a “nest” — a centralized drop-off spot for charged Birds to be released back into circulation.
I set out to ask the following questions: Can real-time predictions be made to determine if a scooter is currently in a nest?.
For non-nest scooters, can new nest location recommendations be generated from geospatial clustering?.
To answer these questions, I built a full-stack machine learning web application, NestGenerator, which provides an automated recommendation engine for new nest locations.
This application can help power Bird’s internal nest location generation that runs within their Android and iOS applications.
NestGenerator also provides real-time strategic insight for Bird chargers who are enticed to optimize their scooter collection and drop-off route based on proximity to scooters and nest locations in their area.
Bird The electric scooter market has seen substantial growth with Bird’s recent billion dollar valuation  and their $300 million Series C round in the summer of 2018.
Bird offers electric scooters that top out at 15 mph, cost $1 to unlock and 15 cents per minute of use.
Bird scooters are in over 100 cities globally and they announced in late 2018 that they eclipsed 10 million scooter rides since their launch in 2017.
Bird scooters in Tel Aviv, Israel With all of these scooters populating cities, there’s much-needed demand for people to charge them.
Since they are electric, someone needs to charge them.
A charger can earn additional income for charging the scooters at their home and releasing them back into circulation at nest locations.
The base price for charging each Bird is $5.00.
It goes up from there when the Birds are harder to capture.
Data Collection and Machine Learning Pipeline The full data pipeline for building “NestGenerator” Data From the details here, I was able to write a Python script that returned a list of Bird scooters within a specified area, their geolocation, unique ID, battery level and a nest ID.
I collected scooter data from four cities (Atlanta, Austin, Santa Monica, and Washington D.
C.) across varying times of day over the course of four weeks.
Collecting data from different cities was critical to the goal of training a machine learning model that would generalize well across cities.
Once equipped with the scooter’s latitude and longitude coordinates, I was able to leverage additional APIs and municipal data sources to get granular geolocation data to create an original scooter attribute and city feature dataset.
Data Sources: Walk Score API: returns a walk score, transit score and bike score for any location.
Google Elevation API: returns elevation data for all locations on the surface of the earth.
Google Places API: returns information about places.
Places are defined within this API as establishments, geographic locations, or prominent points of interest.
Google Reverse Geocoding API: reverse geocoding is the process of converting geographic coordinates into a human-readable address.
Weather Company Data: returns the current weather conditions for a geolocation.
LocationIQ: Nearby Points of Interest (PoI) API returns specified PoIs or places around a given coordinate.
OSMnx: Python package that lets you download spatial geometries and model, project, visualize, and analyze street networks from OpenStreetMap’s APIs.
Feature Engineering After extensive API wrangling, which included a four-week prolonged data collection phase, I was finally able to put together a diverse feature set to train machine learning models.
I engineered 38 features to classify if a scooter is currently in a nest.
Full Feature Set The features boiled down into four categories: Amenity-based: parks within a given radius, gas stations within a given radius, walk score, bike score.
City Network Structure: intersection count, average circuity, street length average, average streets per node, elevation level.
Distance-based: proximity to closest highway, primary road, secondary road, residential road.
Scooter-specific attributes: battery level, proximity to closest scooter, high battery level (> 90%) scooters within a given radius, total scooters within a given radius.
Log-Scale Transformation For each feature, I plotted the distribution to explore the data for feature engineering opportunities.
For features with a right-skewed distribution, where the mean is typically greater than the median, I applied these log transformations to normalize the distribution and reduce the variability of outlier observations.
This approach was used to generate a log feature for proximity to closest scooter, closest highway, primary road, secondary road, and residential road.
An example of a log transformation Statistical Analysis: A Systematic Approach Next, I wanted to ensure that the features I included in my model displayed significant differences when broken up by nest classification.
My thinking was that any features that did not significantly differ when stratified by nest classification would not have a meaningful predictive impact on whether a scooter was in a nest or not.
Distributions of a feature stratified by their nest classification can be tested for statistically significant differences.
I used an unpaired samples t-test with a 0.01% significance level to compute a p-value and confidence interval to determine if there was a statistically significant difference in means for a feature stratified by nest classification.
I rejected the null hypothesis if a p-value was smaller than the 0.01% threshold and if the 99.9% confidence interval did not straddle zero.
By rejecting the null-hypothesis in favor of the alternative hypothesis, it’s deemed there is a significant difference in means of a feature by nest classification.
Battery Level Distribution Stratified by Nest Classification to run a t-test Log of Closest Scooter Distribution Stratified by Nest Classification to run a t-test Throwing Away Features Using the approach above, I removed ten features that did not display statistically significant results.
Statistically Insignificant Features Removed Before Model Development Model Development I trained two models, a random forest classifier and an extreme gradient boosting classifier since tree-based models can handle skewed data, capture important feature interactions, and provide a feature importance calculation.
I trained the models on 70% of the data collected for all four cities and reserved the remaining 30% for testing.
After hyper-parameter tuning the models for performance on cross-validation data it was time to run the models on the 30% of test data set aside from the initial data collection.
I also collected additional test data from other cities (Columbus, Fort Lauderdale, San Diego) not involved in training the models.
I took this step to ensure the selection of a machine learning model that would generalize well across cities.
The performance of each model on the additional test data determined which model would be integrated into the application development.
Performance on Additional Cities Test Data The Random Forest Classifier displayed superior performance across the board I opted to move forward with the random forest model because of its superior performance on AUC score and accuracy metrics on the additional cities test data.
AUC is the Area under the ROC Curve, and it provides an aggregate measure of model performance across all possible classification thresholds.
AUC Score on Test Data for each Model Feature Importance Battery level dominated as the most important feature.
Additional important model features were proximity to high level battery scooters, proximity to closest scooter, and average distance to high level battery scooters.
Feature Importance for the Random Forest Classifier The Trade-off Space Once I had a working machine learning model for nest classification, I started to build out the application using the Flask web framework written in Python.
After spending a few days of writing code for the application and incorporating the trained random forest model, I had enough to test out the basic functionality.
I could finally run the application locally to call the Bird API and classify scooter’s into nests in real-time.
There was one huge problem, though.
It took more than seven minutes to generate the predictions and populate in the application.
That just wasn’t going to cut it.
The question remained: will this model deliver in a production grade environment with the goal of making real-time classifications? This is a key trade-off in production grade machine learning applications where on one end of the spectrum we’re optimizing for model performance and on the other end we’re optimizing for low latency application performance.
As I continued to test out the application’s performance, I still faced the challenge of relying on so many APIs for real-time feature generation.
Due to rate-limiting constraints and daily request limits across so many external APIs, the current machine learning classifier was not feasible to incorporate into the final application.
Run-Time Compliant Application Model After going back to the drawing board, I trained a random forest model that relied primarily on scooter-specific features which were generated directly from the Bird API.
Through a process called vectorization, I was able to transform the geolocation distance calculations utilizing NumPy arrays which enabled batch operations on the data without writing any “for” loops.
The distance calculations were applied simultaneously on the entire array of geolocations instead of looping through each individual element.
The vectorization implementation optimized real-time feature engineering for distance related calculations which improved the application response time by a factor of ten.
Feature Importance for the Run-time Compliant Random Forest Classifier This random forest model generalized well on test-data with an AUC score of 0.95 and an accuracy rate of 91%.
The model retained its prediction accuracy compared to the former feature-rich model, but it gained 60x in application performance.
This was a necessary trade-off for building a functional application with real-time prediction capabilities.
Geospatial Clustering Now that I finally had a working machine learning model for classifying nests in a production grade environment, I could generate new nest locations for the non-nest scooters.
The goal was to generate geospatial clusters based on the number of non-nest scooters in a given location.
The k-means algorithm is likely the most common clustering algorithm.
However, k-means is not an optimal solution for widespread geolocation data because it minimizes variance, not geodetic distance.
This can create suboptimal clustering from distortion in distance calculations at latitudes far from the equator.
With this in mind, I initially set out to use the DBSCAN algorithm which clusters spatial data based on two parameters: a minimum cluster size and a physical distance from each point.
There were a few issues that prevented me from moving forward with the DBSCAN algorithm.
The DBSCAN algorithm does not allow for specifying the number of clusters, which was problematic as the goal was to generate a number of clusters as a function of non-nest scooters.
I was unable to hone in on an optimal physical distance parameter that would dynamically change based on the Bird API data.
This led to suboptimal nest locations due to a distortion in how the physical distance point was used in clustering.
For example, Santa Monica, where there are ~15,000 scooters, has a higher concentration of scooters in a given area whereas Brookline, MA has a sparser set of scooter locations.
An example of how sparse scooter locations vs.
highly concentrated scooter locations for a given Bird API call can create cluster distortion based on a static physical distance parameter in the DBSCAN algorithm.
Left:Bird scooters in Brookline, MA.
Right:Bird scooters in Santa Monica, CA.
Given the granularity of geolocation scooter data I was working with, geospatial distortion was not an issue and the k-means algorithm would work well for generating clusters.
Additionally, the k-means algorithm parameters allowed for dynamically customizing the number of clusters based on the number of non-nest scooters in a given location.
Once clusters were formed with the k-means algorithm, I derived a centroid from all of the observations within a given cluster.
In this case, the centroids are the mean latitude and mean longitude for the scooters within a given cluster.
The centroids coordinates are then projected as the new nest recommendations.
NestGenerator showcasing non-nest scooters and new nest recommendations utilizing the K-Means algorithm.
NestGenerator Application After wrapping up the machine learning components, I shifted to building out the remaining functionality of the application.
The final iteration of the application is deployed to Heroku’s cloud platform.
In the NestGenerator app, a user specifies a location of their choosing.
This will then call the Bird API for scooters within that given location and generate all of the model features for predicting nest classification using the trained random forest model.
This forms the foundation for map filtering based on nest classification.
In the app, a user has the ability to filter the map based on nest classification.
Drop-Down Map View filtering based on Nest Classification Nearest Generated Nest To see the generated nest recommendations, a user selects the “Current Non-Nest Scooters & Predicted Nest Locations” filter which will then populate the application with these nest locations.
Based on the user’s specified search location, a table is provided with the proximity of the five closest nests and an address of the Nest location to help inform a Bird charger in their decision-making.
NestGenerator web-layout with nest addresses and proximity to nearest generated nests Conclusion By accurately predicting nest classification and clustering non-nest scooters, NestGenerator provides an automated recommendation engine for new nest locations.
For Bird, this application can help power their nest location generation that runs within their Android and iOS applications.
NestGenerator also provides real-time strategic insight for Bird chargers who are enticed to optimize their scooter collection and drop-off route based on scooters and nest locations in their area.
Code The code for this project can be found on my GitHub Comments or Questions.
Please email me an E-Mail.
https://data-science-blog.com/wp-content/uploads/2019/05/machine-learning-birds-eye-header.png 566 1500 Perry Johnson Perry Johnson 2019-06-04 08:45:25 2019-05-31 10:08:20 A Bird’s Eye View: How Machine Learning Can Help You Charge Your E-Scooters WordPress › Error There has been a critical error on your website.
Learn more about debugging in WordPress.

Tags: , , , , , ,

Leave a Reply

Your email address will not be published. Required fields are marked *