Eine Transformation liest Daten von einer vorhergehenden Operation, bearbeitet die Daten nach den definierten Regeln und gibt das Resultat an die nächste Operation weiter. Die Möglichkeiten bei den Regeln reichen von einfachem Ändern der Attribute (z.B. “Alles in Großbuchstaben”) über komplexe logische Verknüpfungen (z.B. “Streichel die Katze aber nur wenn sie rot oder blau ist”) bis zu selbst definierten Werkzeugen, die beliebige Änderungen an der Tabelle zulassen. Mehr zu deren Erstellung findet sich im Kapitel ’Regeln’.

Transformationen sind quasi die Kernkomponente von Chioro in denen die Verarbeitung/Veränderung der Attribute/Daten stattfindet.

Die Konfiguration umfasst folgende Aspekte.

• Welche Daten werden direkt weitergegeben und welche bearbeitet?
• Welche Attribute werden, durch die Verknüpfung der vorhandenen Daten, neu erstellt?
• Welche Attribute werden direkt auf einen neuen Namen kopiert/gemappt.
• Sollen in die Verarbeitung Daten aus einer Datentabelle eingebunden werden?

#Tab Transformation

#Transformation konfigurieren/Basis

1. Der Name der Transformation. Als Standard nummeriert Chioro die Transformationen einfach durch, der Name kann beliebig angepasst werden.
2. Ist dieser Schalter an (default) werden alle Attribute in den Datensatz am Ausgang übernommen. In der Stellung aus werden nur die Attribute weitergegeben zu denen eine Regel existiert.
3. Als Standard werden Datensätze, die völlig leer sind verworfen und gelöscht (default). Ist dieser Schalter aktiv werden leere Datensätze weitergeführt.
4. Die parallele Verarbeitung der Daten kann verhindert werden. Dies ist sinnvoll, wenn die Daten Abhängigkeiten untereinander haben. Allerdings wird die Verarbeitung deutlich langsamer.

#Transformation konfigurieren/Eigenschaften

Es können Metadaten hinterlegt werden. Diese sind im ganzen Flow verfügbar. Siehe auch bei Metadaten.

#Transformation konfigurieren/KI-Mapping

Im Tab KI-Mapping wird das Verhalten des KI-gestützten Attribut-Mappings (der “Zauberstab” neben einem Regelblock) für diese eine Transformation konfiguriert. An die KI werden zwei Prompts gesendet:

• System-Prompt – allgemeines Hintergrundwissen zur Aufgabenstellung (z.B. “Es handelt sich um einen Assistenten für Datenmapping. Anhand einer Liste von Quell- und Zielattributen sollen diese einander zugeordnet werden …”). Der System-Prompt enthält keine Variablen und wird unverändert an die KI übergeben. Er stellt den sicheren Erweiterungspunkt dar: an dieser Stelle kann projektspezifischer Kontext ohne technisches Risiko ergänzt werden.
• Benutzer-Prompt – die eigentliche Anfrage je Aufruf. Es handelt sich um eine Handlebars-Vorlage mit den Variablen {{sourceAttributes}} und {{targetAttributes}}, in welche Chioro zur Laufzeit die tatsächlichen Quell- und Zielattribute einfügt. Dieser Prompt sollte nur geändert werden, wenn die Auswirkungen vollständig bekannt sind – werden die Variablen entfernt oder umbenannt, erhält die KI keine Daten mehr und der Zauberstab liefert keine korrekten Ergebnisse. Aus diesem Grund ist der Benutzer-Prompt standardmäßig hinter dem Link Benutzer-Prompt ändern verborgen.

Reihenfolge der Standardwerte: ist ein Feld in dieser Operation leer, wird der Standard aus der OPENAI_PROVIDER-Administrationskonfiguration verwendet. Ist auch dort kein Wert hinterlegt, greift der eingebaute Standard. Anpassungen können auf diese Weise wahlweise pro Operation (lokal) oder organisationsweit in der Administrationskonfiguration vorgenommen werden.

Über die Schaltfläche Auf Standard zurücksetzen (oben rechts über dem jeweiligen Textfeld) wird der entsprechende eingebaute Standard wieder in das Feld geladen und kann anschließend bearbeitet werden.

Mit der Option Beispielwerte aus Quellspalten einbeziehen (Top 5) werden zusätzlich die fünf häufigsten Werte jeder Quellspalte an die KI übermittelt. Dies erleichtert die Zuordnung insbesondere bei Spalten, deren Bedeutung sich nicht aus dem Namen, sondern erst aus den Inhalten ergibt (beispielsweise eine Spalte ext_id, deren Werte erkennbar EAN-Codes enthalten). Im Gegenzug erhöht sich der Token-Verbrauch der Anfrage.

#Beispiel: System-Prompt für SAP-Quelldaten anpassen

Stammen die Quelldaten aus einem SAP-System und folgen die Zielattribute dem BMEcat-1.2-Standard, kann der System-Prompt um projektspezifischen Kontext erweitert werden, indem am Ende des Standardtextes folgende Zeilen ergänzt werden:

Zusätzlicher Kontext:
- Die Quellattribute stammen aus einem SAP-Export. Felder wie MATNR (Materialnummer),
  MAKTX (Materialkurztext) oder MEINS (Mengeneinheit) sind SAP-typische Bezeichner.
- Die Zielattribute folgen dem BMEcat-1.2-Standard. Felder wie SUPPLIER_PID,
  DESCRIPTION_SHORT oder ORDER_UNIT entsprechen dort definierten Elementen.
- Semantische Übereinstimmungen sind reiner Namensähnlichkeit vorzuziehen
  (MATNR → SUPPLIER_PID, MAKTX → DESCRIPTION_SHORT, MEINS → ORDER_UNIT).

#Geltungsbereich der Änderungen

Eine Änderung am System- oder Benutzer-Prompt in diesem Tab wirkt sich ausschließlich auf diese eine Transformation aus. Andere Transformationen im selben Flow oder in anderen Flows bleiben unverändert und verwenden weiterhin entweder den Wert aus der Administrationskonfiguration oder den eingebauten Standard.

Soll eine Anpassung organisationsweit für alle Transformationen gelten, ist sie statt hier in der OPENAI_PROVIDER-Administrationskonfiguration im Feld Attribut-Mapping System-Prompt bzw. Attribut-Mapping Benutzer-Prompt zu hinterlegen. Operationen, deren eigenes Override leer bleibt, übernehmen anschließend automatisch den dort hinterlegten Wert.

#Transformation konfigurieren/Kommentar

Der hier hinterlegte Kommentar wird angezeigt, wenn der Mauszeiger länger als eine Sekunde in der grafischen Flowübersicht auf einer Operation verweilt.

#Ausführung

Hier kann die manuelle Ausführung der Transformation gestartet werden.

#Historie

Informationen über die vorhergehenden Ausführungen der Transformation.

#Info Metriken

Grundlegende Informationen zu den Daten im Ergebnis der Transformation. Für weitergehende Analyse der Daten kann die Datenansicht unterhalb genutzt werden.

#Tab Regeln

#Zuordnungsblöcke

Hier können Blöcke definiert werden, um Regeln zu strukturieren, Attribute aus einem Schema einzufügen oder Regeln aus einer Datentabelle erstellt werden.

Die genaue Beschreibung findet sich unter Regelblöcke.

#Attribut-Zuordnung

Hier erfolgt die Zuweisung der Attribute. Auch können Werkzeuge auf die Attribute angewendet werden.

Die genaue Beschreibung findet sich unter Regeln.

#Attribute

Eine Liste der momentan bekannten Attribute. Diese können zur Zuweisung auf eine Regel gezogen werden.

Zu beachten ist, dass die eigentliche Transformation nicht in Echtzeit erfolgt und je nach Anzahl der Regeln und Anzahl der Zeilen einige Zeit in Anspruch nimmt. Die Vorschau erfolgt in Echtzeit, da nur ein sehr kleiner Datensatz transformiert wird, der auf dem Bildschirm sichtbar ist. Unser jüngster Benchmark einer tatsächlichen Transformation mit 100.000 Zeilen und 120 Regeln in einer typischen Chioro-Instanz dauerte ungefähr 15 Minuten.