axmann insider 2016
axmann insider 2017
axmann insider 2018
axmann insider 2019-07
axmann insider 2019-10
axmann insider 2020-01
axmann insider 2020-02
axmann insider 2020-03
axmann insider 2021-01
axmann insider 2021-02
axmann insider 2021-03
axmann insider 2022-01
axmann insider 2022-02
Ausgabe 2019-10
Neue FME-Version, neuer Ax(Mann), Datenkonvertierung
Vorwort
willkommen zu einer neuen Ausgabe des axmann insider.
FME 2019 ist zwar schon einige Zeit verfügbar, doch Thomas Galka wartet immer gerne den zweiten Release des Jahres ab. Anhand der Version 2019.1 hat sich Thomas für Sie die besonderen Neuerungen im Detail angesehen.
axmann geoinformation wächst! Seit Anfang September unterstützt uns Julian Joksch mit seinem umfangreichen Wissen im Datenmanagement. Hier stellen wir Ihnen unsere personelle Verstärkung ein bisschen vor.
In dem FME-Labor-Beitrag „Datenkonvertierung” beschäftigen wir uns mit ein paar grundlegenden Voraussetzungen für eine erfolgreiche Datenüberführung.
Wir wünschen Ihnen viel Spaß beim Lesen,
Ihr Team von axmann geoinformation
Details zur Version FME 2019.1
Mit der neuen Release kommen zu den bereits in FME 2019.0 vorgestellten Funktionen zahlreiche neue hinzu.
So gibt es jetzt in der Benutzeroberfläche von FMEDesktop die Möglichkeit in den DarkMode umzuschalten. Dies hängt nicht nur mit der Vorliebe einiger FME-User für diese Farbgebung zusammen, sondern schont auch die Augen bei Arbeiten in dunklen Lichtverhältnissen.
DataInspector
Die größte Neuerung ist aber sicherlich der integrierte DataInspector in FMEWorkbench. Mittels des VisualPreview kann man jetzt eine Vorschau auf die erzeugten Daten erhalten, ohne die Applikation wechseln zu müssen.
Zudem erlaubt das VisualPreview die Darstellung von Zeitreihen in einer Animation, was speziell bei wissenschaftsbasierten Rasterformaten, wie z.B. netCDF wichtig ist.
Mit der Autosize-Funktion werden neue FeatureTypes immer in der optimalen Breite eingefügt. Dadurch sind die FeatureType-Namen von Beginn an lesbar.
Dass man seine Einstellungen bei den Transformer-Parametern als Default speichern kann, war den meisten Nutzern bereits bekannt. FME 2019.1 erlaubt jetzt zudem das Abspeichern unterschiedlicher Paramtereinstellungen in eigens benannten Vorlagen.
Transformer überarbeitet, ergänzt
Zahlreiche Transformer wurden überarbeitet und um neue Funktionen erweitert. So erlaubt z.B. der Tester nun auch den Vergleich von Zeitangaben. Der ChangeDetector erkennt neben neuen und gelöschten, nun auch geänderte (Updated) Features. Der ESRIReprojector wird in FME 2019.1 von Haus aus mit eigenen ESRI-Bibliotheken ausgestattet und bedarf daher keine explizite ArcGIS-Installation mehr.
Neue Transformer betreffen hauptsächlich das Machine-Learning wie z.B. RasterObjectDetector, RasterObjectDetectorTrainer oder der NaturalLanguageProcessor.
Neue Formate
Wie bei jedem Versionsupdate kamen auch in FME 2019.1 neue Formate hinzu. Über den IFC-Standard war es schon seit Längerem möglich, Revit-Daten mit FME zu bearbeiten. FME 2019.1 verfügt jetzt aber über einen nativen Revit-Reader, der die Daten direkt im FME einlesen kann. Weitere neue Formate sind z.B. TopoJSON, Garmin Binary oder das in medizinischen Kreisen bekannte DICOM MRI, welches als Punktwolken-Format bei MRTs zum Einsatz kommt. Selbst das seit über 30 Jahren im Einsatz befindliche Shapefile bekommt einen neuen Reader und Writer. Momentan noch als Technical Preview, wird es ab 2020 das offizielle Format zum Lesen und Schreiben von Shapefiles.
Automatisierungen
Neben FMEDesktop steht auch der FMEServer 2019.1 mit neuen Automatisierungs-Methoden bereit, wovon die sogenannten Automatations mit Sicherheit die größte Neuerung sind.
Bisher wurden Automatisierungsaufgaben mittels Notification-Dienst umgesetzt. Dabei musste man zwischen Publications und Subscribtions unterscheiden und diese dann über entsprechende Topics miteinander verbinden. Mit den Automatations werden beim FMEServer 2019 die Automatisierungs-Aufgaben jetzt, nach bekannter Workbench-Manier, grafisch erstellt. Während beim FMEDesktop, der Workspace mit einem Reader gestartet wird, benutzt man beim FMEServer den Trigger um einen Automatisierungsworkflow anzustoßen (z.B. Directory Watch, E-Mail-Eingang etc.). Diesen verbindet man mit einem „Transformer“, der hier Action heißt (z.B. bestimmter Workspace soll gestartet werden). Je nachdem, wie das Ergebnis von diesem Schritt ausfällt (successfull bzw. failed), kann die „Datenausgabe“ mittels External Action erfolgen (z.B. E-Mail wird versendet). Komplexe Automatisierungsaufgaben können dadurch auf einfache Weise definiert werden.
Macht man zudem den Start eines Workspaces vom Ergebnis eines anderen abhängig, so sprechen wir vom Workflow Orchestration, einer weiteren Neuerung vom FMEServer 2019. Damit wird man selbst zum Workspace-Dirigenten, indem man viele Workspaces zu einer harmonischen Transformations-Symphonie miteinander verbindet. Zum Beispiel könnte man mit einem einzigen Schedule-Ereignis mehrere Workspaces parallel starten. Diese könnten dann wiederum weitere Unterprozesse initiieren, die am Ende über die Merge-Funktion wieder zu einem einzigen Automatisierungs-Strom miteinander verbunden werden. Diese Funktion wartet ab, bis alle damit verbundenen Prozesse durchgelaufen sind, um erst dann einen letzten, finalen Prozess zu starten.
Die FMEServer Apps erlauben dem Nutzer, das Starten von Workspaces am FMEServer mittels einer URL. Ein eigener Zugang (User/Passwort) ist dazu nicht nötig.
Mit den SystemEvents kann der FMEServer jetzt noch besser überwacht werden. Zum Beispiel kann man sich benachrichtigen lassen, wenn die Lizenz abläuft, ein neuer User erstellt oder ein Repository gelöscht wird, bzw. wenn der FMEServer irgendwelche Fehlermeldungen ausgibt (z.B. beim Verbindungsausfall zur Administrationsdatenbank).
Mit FME Data Express App 1.1 ist das Starten von Workspaces am FMEServer über mobile Endgeräte jetzt noch einfacher (zu haben als Android- und iOS – Version).
Mit der Unterstützung von Kubernetes (ab FMEServer 2019.1 nicht mehr nur als Technical Preview), ist jetzt auch die Virtualisierung durch Container-basierte Ansätze, wie z.B. Docker, in einem noch größeren Umfang möglich.
Vorstellung: Julian Joksch
Schon als Kind war Julians Interesse an Landkarten, zur Information und als Orientierungshilfe, groß. Dies war auch der Grund für sein Studium der Geodäsie und Geoinformatik an der TU Wien, das sich nicht nur mit der Frage „Wo?“ beschäftigt, sondern auch das „Wie?“ beantwortet. Da der Bezug zur Informationstechnologie jedoch nicht zu kurz kommen durfte, war die Geoinformation genau der richtige Schwerpunkt für Julian.
Neben seinem Studium durfte er bei unterschiedlichen Firmen in der EDV sowie Geoinformation Praxis sammeln und Prozesse aktiv mitgestalten. Tätigkeiten auf dem Gebiet der Telekommunikation waren hierbei besonders prägend.
Nach Abschluss des Studiums fasste Julian in einem Raumplanungsbüro, im Bereich Geodatenmanagement, Fuß. Zu seinen Aufgaben zählte unter anderem die Erfassung, Prozessierung und Visualisierung raumbezogener Daten im Rahmen unterschiedlicher Projekte.
Es freut uns sehr, dass Julian seit Anfang September Teil des axmann-Teams ist und uns im Bereich des Datenmanagements tatkräftig unterstützt.
FME Labor
Überblick
Das Konvertieren von Daten in Formate, die es ermöglichen, Informationen zu verstehen, zu analysieren und zu präsentieren, ist in allen Arbeitsbereichen erforderlich. Das Anzeigen von Daten in einem anderen Format kann dazu beitragen, Erkenntnisse zu gewinnen, die andernfalls unbemerkt bleiben können. Es ist also auch die Perspektive, die manchmal ein besseres Verständnis der Daten geben kann. Da Daten oft in einem Dateiformat gespeichert werden, das nur mit bestimmter Software bearbeitet werden kann, ist eine Datenkonvertierung häufig schon aus Gründen der Barrierefreiheit erforderlich.
Datenstruktur und Kompatibilität
Um eine sinnvolle Datenkonvertierung zu erreichen, muss die Struktur des Dateiformats, in dem die Daten gespeichert sind, und des Formats, in das die Daten konvertiert werden sollen, bekannt sein. Beispiel: Sowohl eine .txt- als auch eine .doc-Datei sind ähnliche Formate, da sie beide in der Regel zum Speichern von Nur-Text verwendet werden. Die .doc-Dateistruktur berücksichtigt jedoch im Gegensatz zur .txt-Dateistruktur Formatierungs- und andere zusätzliche Stylinginformationen.
Unterschiedliche Dateiformate sind die Ursache von Datensilos. Wenn Sie also mehrere Anwendungen verwenden, die Ihre Daten erstellen, analysieren oder speichern, ist ein Datenkonvertierungsprozess unvermeidbar, um Einschränkungen und Inkompatibilität zu überwinden und die Daten frei fließen zu lassen.
Informationsverlust?
Ein häufiges (und irritierendes) Problem, das bei der Datenkonvertierung auftreten kann, ist der Verlust von Informationen. Wenn Sie z. B. eine .doc- in eine .txt-Datei konvertieren, verlieren Sie aufgrund der strukturellen Unterschiede der Dateien unweigerlich Styling- und Formatierungsinformationen. Wenn Sie ein Shapefile in ein Bild konvertieren, gehen die Tabellendaten verloren, da Bilddateien diese Art von zusätzlichen Informationen nicht unterstützen.
FME für die Datenkonvertierung
FME hilft dabei, Daten schnell und einfach von einem Format in ein anderes zu konvertieren. FME unterstützt über 450 Formate und Anwendungen, unabhängig von der Struktur oder dem Grad der Kompatibilität, die die Daten mit anderen Formaten und Anwendungen haben. Es gibt integrierte Hilfe für die unterstützten Dateistrukturen, sodass Sie Ihre Daten lesen und schreiben können, ohne für ein bestimmtes Format geschult zu sein. Während Sie Ihre Daten einfach direkt mit FME lesen und schreiben können, liegt der Hauptvorteil von FME jedoch darin, benutzerdefinierte Workflows erstellen zu können. So können Sie genau steuern, wie Ihre Daten konvertiert werden. Sie können z. B. eine AutoCAD DWG-Datei mit Koordinaten haben, die Sie in ein Shapefile konvertieren möchten. Eine DWG-Datei ist eine Zeichnungsdatei, die zum Speichern von 2D-Entwurfsdaten verwendet wird, während ein Shapefile zum Speichern räumlicher Daten verwendet wird. Mit FME können Sie Ihre DWG zusammen mit den Metadaten in ein Shapefile konvertieren. Wenn Sie angeben, dass Ihre DWG-ID-Informationen als Attribut in Ihrem Shapefile gespeichert werden sollen, konvertieren Sie am Ende sowohl die visuellen als auch die beschreibenden Komponenten der Datei.
Durch die Verwendung von vorgefertigten “Transformern” können die Daten vor der Konvertierung auch noch bearbeitet werden. Dadurch wird sichergestellt, dass genau die benötigten Daten konvertiert werden und dass keine essentielle Information verloren geht. Die Erstellung von Workflows in FME mit Transformatoren ermöglicht die Integration von spezifischen Regeln und Standards. Mit FME sind Sie nicht auf 1:1-Datenkonvertierungsworkflows beschränkt.
FME ist DIE Datenintegrationsplattform mit der weltweit besten Unterstützung für Geodaten, kann jedoch noch viel mehr als nur räumliche Daten verarbeiten. FME kann Ihnen helfen, Geschäftsdaten, 3D-Daten und Anwendungen innerhalb derselben Plattform zu integrieren.
Profitieren auch Sie von FME speziell in Ihrem Unternehmen. Wir kommen gerne für eine “Bestandsaufnahme” zu Ihnen, um die Vorteile zu ermitteln.
