Datenintegration in GIS und ETL-Prozesse

Daten räumlich aufbereiten und integrieren

Wie kommen Ihre Adress-, Kontakt-, Standort- und andere Daten auf eine digitale Landkarte?

Sie werden durch einen sogenannten ETL-Prozess aus ihrer ursprünglichen Quelle, etwa einer Excel-Liste, extrahiert (E), dann in ein neues Format, welches auf einer Karte dargestellt werden kann, transformiert (T) und schließlich ins GIS – zum Beispiel ins WebGIS oder ins QGIS – geladen (L).

Die Daten in den Listen oder Dateien, welche in verschiedenen Formaten vorliegen, werden auf diese Weise räumlich aufbereitet, damit sie auf einer interaktiven Landkarte im GIS visuell dargestellt werden können. WIGeoGIS kümmert sich für Sie um diese Datenintegration.

Bild: Datenintegrations-Prozesse machen die Daten, die meist aus unterschiedlichen Quellen und Systemen kommen, "GIS-tauglich".

Je nach der konkreten Ausgangslage und dem Ziel der Datenanalysen im GIS benötigt dieser Prozess andere Zwischenschritte. So müssen die Adressdaten oft zuerst

• geocodiert
• zu größeren Einheiten aggregiert
• bzw. umgekehrt zu kleineren Einheiten disaggregiert
• generalisiert
• mit zusätzlichen Informationen angereichert werden
  

Am Ende dieses Prozesses ziehen Sie einen viel größeren Nutzen aus Ihren Daten: Sie können die visualisierten und verknüpften Daten mithilfe unserer GIS-Software in einer digitalen Landkarte

• auswerten
• analysieren und
• operativ nutzen

Was bringt das Aggregieren von Daten zu größeren Einheiten?

Eine häufige Art der räumlichen Aufbereitung von Daten ist das Aggregieren. Dabei werden mehrere Datenpunkte zu einer größeren Einheit zusammengefasst.

Ein typisches Beispiel ist das Zusammenfassen des Umsatzes von Postleitzahl- auf Bundesland- oder Landkreis-Ebene oder auch von Bundesland- auf Länder-Ebene. So lässt sich im GIS auf einen Blick erkennen, wie viel Umsatz in einem bestimmten Landkreis gemacht wurde, obwohl die ursprünglichen Listen nur die Umsätze pro Postleitzahl enthalten.

„Beim Aggregieren handelt es sich um den Prozess, mehrere kleine Datenpunkte zusammenzufassen, um daraus Informationen zu ziehen. Ich habe zum Beispiel Kundenpunkte und kenne den Umsatz, den jeder Kunde gebracht hat. Beim Aggregieren fassen wir die Kunden pro Gemeinde zusammen, sodass Aussagen über die Umsätze der Gemeinden getroffen werden können. Auch können dann die Umsätze der Gemeinden miteinander verglichen werden. Das ist nur ein Beispiel für Datenaggregation. Natürlich können auch Gemeinden zu Bundesländern aggregiert werden, um wiederum eine Aussage über die Umsätze in den Bundesländern treffen zu können.“
Andreas Marth, Head of Solutions, WIGeoGIS

Häufig geht es beim Aggregieren um Umsatzzahlen. Aber auch die Potenziale in verschiedenen Regionen können zu größeren Regionen wie etwa zu Bundesländern zusammengefasst werden, sodass in der interaktiven Landkarte ersichtlich wird, welche Bundesländer die höchsten Potenziale aufweisen.

Bild: Eine gängige Methode der Datenintegration ist die räumliche Aggregation. Punkte wie Kunden, Einwohner etc. werden zu Flächen aggregiert und die aggregierten Werte farbig lesbar gemacht.

Wann braucht es die Disaggregation von Daten?

Disaggregieren ist der umgekehrte Weg der Aggregation. Sie haben zum Beispiel einen bestimmten Wert nur auf Bundesland-Ebene, alle anderen Werte aber auf Gemeinde-Ebene, wollen aber Aussagen über Gemeinden treffen.

Um das zu ermöglichen, arbeiten wir mit der Methode der Disaggregation.

„Eine Disaggregation wird meist dann gemacht, wenn Daten in feinerer Granularität entweder nicht flächendeckend verfügbar oder sehr teuer sind.“
Josef Mayer, Head of Solutions, WIGeoGIS

Ein Beispiel: Ich weiß zwar, wie viele Auto-Zulassungen es pro Bezirk gibt, brauche diese Zahl im GIS aber eine Ebene tiefer: auf Postleitzahl-Ebene. Wenn in einem Bezirk mit zehn Postleitzahlen 100.000 Autos zugelassen wurden, kann ich nicht davon ausgehen, dass in jedem Postleitzahl-Gebiet 10.000 Autos zugelassen wurden. Das wäre zu vereinfachend und würde der Realität nicht nahekommen. Daher bedienen wir uns verschiedener Schlüssel und Hilfsgrößen, zum Beispiel der Einwohner-Zahl, der bebauten Fläche oder der Anzahl der Wohnbauten in den einzelnen Postleitzahl-Gebieten. Entsprechend dieser Schlüssel teilen wir dann die Auto-Zulassungen auf die Postleitzahlen auf.

Wichtig: Eine Disaggregation ist immer nur eine Annäherung an die Realität. Aber es ist oft besser, mit wahrscheinlichen Werten zu arbeiten als auf bestimmte Daten ganz zu verzichten.

Weil bei einer Disaggregation oft Daten aus unterschiedlich aufgelösten Gebietseinheiten miteinander kombiniert werden, ist eine verlässliche Berechnung nur auf räumlicher Ebene möglich. Wer die entsprechenden Zahlen und Daten nur in Tabellen- oder Listenform hat, kann sich der Methode nur sehr eingeschränkt bedienen – bzw. muss diese Zahlen zuerst einmal geokodieren und auf eine digitale Karte bringen.

Viele WIGeoGIS-Kunden, darunter Claas und Stihl profitieren bereits von der Methode der Disaggregation. Auch für Fressnapf disaggregiert WIGeoGIS Daten:

„Wir machen eine Disaggregation der Potenzialdaten in unterschiedlichen Ländern mit unterschiedlichen Datengenauigkeiten und berechnen kundenspezifische Potenziale auf einem 500x500-Meter-Raster. So erhalten wir länderübergreifend eine einheitliche Datenbasis und können unsere Analysen nach dem gleichen Schema, mit gleicher Datenqualität und über die Länder hinweg vergleichbar durchführen.“
Giuseppe Mustillo, Head of International Expansion Analytics and Controlling, Fressnapf Immobilien- und Vermögensverwaltungs GmbH

ETL-Prozesse automatisieren

ETL-Prozesse – also das Extrahieren, Transformieren und Hochladen der Daten ins GIS – werden in der Regel automatisiert, sodass eine Änderung in Ihrer Datenbank automatisch auf der interaktiven Landkarte erscheint. In regelmäßigen Abständen – das kann zum Beispiel einmal pro Woche, einmal täglich oder jede Minute sein – holt sich das GIS die Daten aus Ihrer Datenbank, also zum Beispiel aus diversen Excel-Listen und anderen Dateien. So müssen Sie die Liste nicht selbst jedes Mal neu hochladen, wenn Sie darin eine Änderung vorgenommen haben – und Ihr WebGIS oder QGIS ist immer aktuell.

„Durch die Automatisierung des ETL-Prozesses muss sich der Kunde keine Gedanken darüber machen, ob oder wann er die Daten im GIS aktualisieren muss."
Andreas Marth, Head of Solutions, WIGeoGIS

Bild: Daten aus unterschiedlichen Quellen und Systemen lassen sich durch ETL-Prozesse zusammenführen und "GIS-tauglich" machen.

Besonders in Konzernen und größeren Unternehmen ist es meist nicht einfach, die Daten aus den unterschiedlichen Datentöpfen zusammenzutragen und sicherzustellen, dass diese regelmäßig aktualisiert werden, um sie für geografische Analysen zu nutzen. Da hilft die automatisierte Datenintegration.

Ein WIGeoGIS-Kunde, der bereits von den Vorteilen des automatisieren ETL-Prozesses profitiert, ist die Österreichische Post:

„Wir haben mithilfe von WIGeoGIS ein Tool für die Standortplanung geschaffen, welches die relevanten Informationen aus unterschiedlichen internen und externen Datenquellen auf einer Plattform zusammenträgt. Dabei werden im Hintergrund automatisierte Prozesse zur Datenaufbereitung und -Analyse durchgeführt, um sicherzustellen, dass Entscheidungen auch immer auf Basis der neuesten Daten und des aktuellen Wissensstandes passieren.“
Simone Ortner, Österreichische Post AG

Viele Anwender nutzen den automatisierten ETL-Prozess. So werden Workflows "vom Excel zur Karte und zum Bericht" automatisiert. Inhalte aus den Excel-Tabellen werden so immer aktuell in Kartenberichten ausgegeben. Das spart im Vergleich zu einer manuellen und nicht automatisierten Analyse sehr viel Zeit.

Warum werden angereicherte Daten wertvoller?

Was angereichert wird, gewinnt an Wert. Auch Daten werden durch die Anreicherung aufgewertet. In der Regel werden Daten um folgende Informationen angereichert:

• Interne Unternehmensinformationen
• Geografische Informationen
• Demografische Informationen oder
• um eine Kombination der genannten Merkmale

„Sobald ich eine Adresse auf die Karte bringe, kann ich sie mit sämtlichen Informationen, die mir im GIS aus anderen Quellen vorliegen, anreichern.“
Josef Mayer, Head of Solutions, WIGeoGIS

Bild: Für Standortanalysen reichern Unternehmen Standorte mit relevanten Informationen zum Standortumfeld an. Pro Einzugsgebiet werden Mitbewerber, Einwohner, Kaufkraft und mehr ermittelt. Das ist wichtig, um Unternehmensentscheidungen zu standardisieren und zu objektivieren.

Einige Beispiele für die Datenanreicherung

• Sie reichern den Kunden-Datensatz um Koordinaten an und erkennen auf der digitalen Landkarte mit einem Klick, welche Kunden 20 Minuten von einem Standort entfernt sind.
• Sie reichern Kunden-Datensätze um die Information an, welchen Außendienst-Mitarbeitern sie zugeordnet sind und sehen in der interaktiven Karte, welche Mitarbeiter wie viele Kunden betreuen, wo diese sind und wie viel sie im letzten Quartal bestellt haben.
• Sie reichern geografische Daten durch räumliche Merkmale an, z.B. durch die Info, dass sie in einem Tourismus- oder Industriegebiet oder an einer Hauptstraße liegen.
• Geo-Daten können auch um Infos zu Kaufkraft, Altersstruktur und Beschäftigungsquote, zum Akademiker- oder Kinderanteil in einer Region angereichert werden. So lässt z.B. der Anteil an Babys Rückschlüsse über den Bedarf an Windeln zu.

Viele WIGeoGIS-Kunden nutzen die Möglichkeit des Datenanreicherns.