Extract, Transform, Load

Owned by Dirk Münker
Last updated: Apr. 25, 2024
2 min read

Das ETL-Modul in brandbox wurde so entwickelt, dass es nun möglich ist weit konfigurativ Inhalte aus komplexen Datenstrukturen in anders strukturierte Datentabellen zu transformieren.

Datentransformation

Allgemein

  • Der Aufbau von Datentransformationsprofilen wurde deutlich vereinfacht

  • Beim wählen von Filtern, sollen nur die Filter angezeigt werden, die zur aktuellen Tabelle gehören

  • Layoutknoten und Publikationen verhalten sich nun wie zielgerichtet für Print-Ausleitungen

    • Datensatzauswahl

    • Tabellenkopfstruktur

    • Bildergallerie

Extraktion

Verarbeitung endlosrekursiver Inhalte

  • Es kommt vor, dass Daten endlos rekursiv verknüpft werden (Beispiel A[0] > B[0] > A[1] > B[1])

  • Die Rekursion kann bei der Extraktion berücksichtig werden, indem man auf die jeweilige Ebene wählt und auf sie zugreift

Konfigurative Nutzung von SQL

  • SELECT wird auf die Werte reduziert, die im Feldmapping tatsächlich verarbeitet werden

  • INNER JOIN oder LEFT JOIN sind möglich

  • Verarbeitung von generischen Verknüpfungen ist möglich

Transformation

Sequenzielle Platzhalterverarbeitung

  • Platzhalter können beim Mapping erstellt und sequenziell verarbeitet werden

  • Dadurch ist eine komplexe Transformation möglich

mehr …

Verwenden von Filtern

  • In den Quellen

  • Der Datensatz muss basierend auf der Tabelle eindeutig sein

  • Datensätze sollen mittels Filters reduziert werden

  • Beim Ausführen eines Datentransformationsprofils

mehr …

Native Funktionen

  • ODM-Daten werden nativ verarbeitet

  • Sprachen (Collations) können konfigurativ verarbeitet werden

Wichtiger Fall: Print-Element mit Tabellenstrukturen

siehe …

Speichervorgänge

Ausführen von Datentransformationsprofilen

  • Datentransformationsprofile können nun so konfiguriert werden, dass Sie direkt beim Ziel-Datensatz auslösen

  • Es ist möglich sie über ein Kontextmenü anzusteuern und auszulösen. Man kann dann Filter auf allen Ebenen wählen.

Update, Create und Relate

  • Datensätze können aktualisiert oder angelegt werden

  • Komplexe Datensatzstrukturen können nun verknüpft werden

Hochperformante Exports

  • Mithilfe einer vorkonfigurierten Abfrage (low-code) ist es nun möglich, Exports als XML und CSV zu erzeugen.

  • Beispiel: Export nicht bestellter Warenkorbartikel