S3

amazon webservices

Amazon S3

10.04.2014

Seit dem sich das Cloud Computing immer größerer Beliebtheit erfreut, stehen immer mehr Nutzer vor der Anforderung Geodaten in der „Cloud“ zu speichern zu müssen. Für FME ergeben sich daraus in erster Linie 2 Szenarios:

 

  • GIS-Daten sollen aus der Cloud heruntergeladen und bearbeitet werden können
  • GIS-Daten sollen nach einer Bearbeitung in ein Cloud-Service hochgeladen werden

 

Amazon S3

Amazon Simple Storage Service (S3) ist ein Cloud Storage Service, welches die Speicherung einer unlimitierten Anzahl von Dateien erlaubt. Die Größe einer Datei, kann dabei bis zu 5GB betragen. Folgende Feautures stellt der Amazon S3-Service zur Verfügung:

 

  • Speicherung einer unlimitierten Anzahl von Objekten von einer Größe bis zu 5GB/Objekt
  • 100 Buckets pro User. Ein Bucket entspricht einem Ordner. Der Name des Buckets muß im gesamten S3-Service eindeutig sein.
  • Jedes Objekt wird in einem Bucket gespeichert und über einem user-Key identifiziert. Die Anzahl von Objekten in einem Bucket ist unbegrenzt.
  • Objekte können über einen speziellen AWS-User veröffentlicht werden und so anderen Nutzern zur Verfügung gestellt werden. Dies kann für einzelne Objekte als auch für ganze Buckets umgesetzt werden.
  • S3 unterstützt nicht die gewohnte Datei-Ordner-Struktur. Innerhalb eines Buckets befinden sich die Objekte in einer flachen Struktur und können nicht in Unterbuckets gespeichert werden.
  • Zu jedem Objekt können Metadaten erstellt werden.
  •  Buckets können versioniert werden. Auf diese Weise wird nach der Änderung eines Objekts auch dessen alte Version beibehalten.

 

Amazon S3 mit FME 2014

Für die Unterstützung von Amazon S3 wurden in FME 2014 zwei neue Transformer eingeführt:  S3Uploader und S3Downloader. Um diese Transformer nutzen zu können, sind die Anmeldedaten (Access Key und Secret) für den S3-Account notwendig. Beim Hochladen kann eine Datei in der Filestruktur ausgewählt werden, bzw. es kann auch direkt aus einem FME-Prozess heraus hochgeladen werden. Daten können in einer Datei oder in ein Attribut hinein heruntergeladen werden.


Amazon S3 mit FMEServer 2014

Der FMEServer 2014 stellt den „Amazon Simple Storage Service Subscriber“ zur Verfügung. Damit ist es möglich mittels einer Notification einen Upload auf einen S3-Dienst zu veranlassen. Wie im Falle der Transformer, so sind auch hier die Anmeldedaten für den S3-Dienst und die Angabe des Buckets und Keys notwendig. Die Datei, welche hochgeladen werden soll, kann aus den Shared Ressources oder dynamisch über den Notification-Inhalt ausgewählt werden.

 

Amazon S3 mit FME 2013 und älter

Bei älteren Versionen von FME muss die S3-Struktur auf dem lokalen Rechner gemountet werden, um den S3-Service nutzen zu können. Das kann mit diversen Produkten von Drittanbietern umgesetzt werden. Diese Software-Produkte benutzen zahlreiche Optionen wie z.B. Proxy, Min/Max der Upload-Rate und Min/Max-Anzahl der gleichzeitigen Verbindungen.

 

Die Softwareprodukte TnTDrive oder Gladinet wurden in diesem Zusammenhang bereits erfolgreich mit FME getestet. Nachdem die S3-Struktur gemountet wurde, steht sie, ähnlich wie ein gemapptes Netzlaufwerk dem lokalen Rechner zur Verfügung. Diese Laufwerke können anschließen als Quell- bzw. Zielressourcen für die zu bearbeitenden Datensätze benutzt werden. Der einzige merkbare Unterschied ist die längere Durchlaufzeit, da die Daten vom S3-Service herunter- bzw. darauf hochgeladen werden müssen.

Top