Plattform für die Bauindustrie
Laut Anthony Reid, Senior Manager of Analytics bei Komatsu Mining, war das Unternehmen auf der Suche nach einer Plattform, mit der es den Zugriff auf Analysen von Maschinendaten für verschiedene Nutzergruppen demokratisieren kann. Cloudera bot Reid zufolge die schnelle Performance, Datensicherheit und den Kundensupport, um die eigenen Teams so unkompliziert wie möglich in Richtung Big Data zu bewegen. Mit der Implementierung von Cloudera Enterprise auf Microsoft Azure konnte Komatsu Mining erhebliche Kosteneinsparungen realisieren. „Wir können alle Daten mit weniger Berechnungen und viel geringerer Komplexität liefern“, sagt Reid.
Workloads im Cluster
Die gesamte Anwendung läuft in der Azure-Cloud von Microsoft. In einem Hochleistungs-Cluster laufen HBase-Workloads mit acht Nodes. Hinzu kommt ein Langzeitspeicher mit Impala- und Kudu-Workloads mit sechs Datenknoten. Cluster für Test und Entwicklung teilen sich auf beide Bereiche auf. Gemeinsam mit dem Resource-Team von Cloudera und einem Microsoft-Berater startete das Team um Reid im Juni 2016 mit dem Deployment. Bereits im Februar 2017 konnte das alte Produktionssystem abgeschaltet werden und der Betrieb lief vollständig mit allen Live-Daten, Streaming und allen verbundenen Kunden auf der Cloud-Plattform.
Abläufe besser verstehen
Die Smart-Solutions-Mitarbeiter in den Regionen nutzen die Plattform, um den Kunden Einblicke in ihre Abläufe zu geben. Zeitreihendaten werden über Open TSDB in Apache HBase geladen. Apache Impala (in Inkubation) unterstützt Adhoc-SQL-Abfragen. Zur Visualisierung der Daten wird Grafana, eine offene Plattform für Analytik und Monitoring, eingesetzt. Durch die Demokratisierung des Datenzugriffs und die Bereitstellung intuitiver Analysetools konnte Komatsu Mining den angestrebten Grad an Benutzerakzeptanz erreichen. In der Vergangenheit haben beispielsweise einige ausgewählte Personen Trends aus den Daten erstellt und diese Trends den Alarmbedingungen auf einer Maschine zugeordnet. Indem sie den Datenzugriff auf die Regionen öffnen und den Regionen selbst die Erstellung eigener Berichte ermöglichen, können die Mitarbeiter von Smart Solutions nun schneller verwertbare Informationen aus den Daten erhalten und aussagefähigere Dashboards erstellen, die weit über die Möglichkeiten bisheriger Analysetools hinausgehen. Die Plattform bietet auch Analytics-Entwicklern auf der Suche nach Innovationen die Möglichkeit, von ihnen bevorzugte Data Science-Tools – R, Python, Matlab und mehr – beim Erstellen von Modellen zu verwenden.
