Wenn AI-Agenten Datenpipelines mitentwickeln

Warum reicht es nicht, wenn ein Agent SQL schreiben kann?

Eine einzelne Transformation lässt sich oft schnell formulieren. Im Betrieb muss sie jedoch zur Datenquelle, zum fachlichen Modell und zu den nachfolgenden Anwendungen passen. Ein syntaktisch gültiger Join kann Datensätze vervielfachen; eine scheinbar harmlose Filterregel kann wichtige Fälle ausschließen.

Für sinnvolle Unterstützung braucht ein Agent deshalb mehr als den aktuellen Fehlertext. Er benötigt nachvollziehbaren Kontext darüber, welche Daten verarbeitet werden, welche Annahmen gelten und welche Ergebnisse erwartet werden.

Welche Aufgaben übernehmen die Lakeflow-Bausteine?

Ingestion: Daten übernehmen

Für die Datenaufnahme unterscheidet Databricks unter anderem verwaltete Konnektoren und stärker anpassbare SQL- und Spark-Ansätze. Die Wahl richtet sich nach Quelle und benötigter Kontrolle. Authentifizierung, Änderungen im Quellschema und der Umgang mit erneuten Lieferungen bleiben wichtige Architekturfragen.

Transformation: Datenflüsse deklarativ beschreiben

Spark Declarative Pipelines auf Lakeflow unterstützen Batch- und Streaming-Verarbeitung in SQL und Python. Teams beschreiben die gewünschten Transformationen. Für die fachliche Qualität müssen sie weiterhin passende Regeln und erwartete Ergebnisse festlegen.

Orchestrierung: Aufgaben und Abhängigkeiten ausführen

Lakeflow Jobs koordiniert wiederkehrende Aufgaben mit Zeitplänen, Abhängigkeiten und Kontrollfluss. So kann etwa eine Transformation erst nach dem erfolgreichen Laden einer Quelle starten und bei einem Fehler eine definierte Folgeaktion auslösen.

Was kann Genie Code bei der Entwicklung unterstützen?

Nach der Dokumentation für Lakeflow Designer kann Genie Code Operatoren hinzufügen, konfigurieren und verbinden, Ausdrücke schreiben sowie bei Fehlern helfen. Die Funktion nutzt Plattformkontext und muss im jeweiligen Workspace verfügbar sein.

Ein hilfreicher Auftrag benennt deshalb Quelle, Ziel und fachliche Kriterien. „Bereinige die Kundendaten“ lässt viele Entscheidungen offen. Konkreter wäre: „Vereinheitliche die Datentypen dieser Felder; schreibe unvollständige Datensätze in einen Prüfbereich; erhalte die ursprüngliche Kundenkennung.“

Für uns liegt der Wert in einer schnelleren, nachvollziehbaren Ausarbeitung solcher Schritte. Die fachliche Bewertung der vorgeschlagenen Logik muss im Arbeitsablauf verankert bleiben.

Ein Beispiel: Ein Quellsystem liefert ein anderes Datumsformat

Das folgende Szenario ist fiktiv. Ein Lieferant ändert das Format eines Datumsfeldes. Ein Teil der täglichen Bestellungen kann dadurch nicht mehr in die erwartete Silver-Tabelle geschrieben werden.

Eine AI-Unterstützung könnte den fehlerhaften Verarbeitungsschritt und betroffene Werte untersuchen und eine Anpassung der Umwandlung vorschlagen. Die Entscheidung hängt aber davon ab, ob beispielsweise Tag und Monat eindeutig erkennbar sind. Eine großzügigere Konvertierung könnte fehlerhafte Datumswerte unbemerkt akzeptieren.

Ein kontrollierter Ablauf prüft daher zunächst eine Auswahl betroffener und bisher gültiger Datensätze. Die neue Regel muss beides korrekt behandeln. Unklare Werte bleiben separat erkennbar. Erst nach der Prüfung wird die Änderung übernommen und die Verarbeitung des betroffenen Zeitraums gezielt nachgeholt.

Ein behobener technischer Fehler ist erst dann ein gutes Ergebnis, wenn die fachliche Bedeutung der Daten erhalten bleibt.

Welche Übergaben müssen kontrolliert bleiben?

Lineage in Unity Catalog kann helfen, Abhängigkeiten und nachgelagerte Auswirkungen zu verstehen. Für den konkreten Ablauf empfehlen wir zusätzlich vier klar geregelte Übergaben:

• Vom Problem zum Vorschlag: Fehlerbild, betroffene Daten und erwartetes Verhalten dokumentieren.
• Vom Vorschlag zum Test: Die Änderung gegen gültige Daten, Fehlerfälle und fachliche Kennzahlen prüfen.
• Vom Test zur Freigabe: Verantwortliche und erlaubte automatische Aktionen festlegen.
• Von der Freigabe zum Betrieb: Ausführung überwachen und einen nachvollziehbaren Rückweg vorsehen.

Zugriffsrechte und Laufzeitgrenzen gehören in denselben Entwurf. Ein Entwicklungsassistent sollte nur die Daten und Aktionen erreichen, die für seine Aufgabe vorgesehen sind.

Wie lässt sich der Nutzen realistisch prüfen?

Ein guter Pilot enthält wiederkehrende Aufgaben mit bekannten fachlichen Erwartungen. Gemessen werden etwa Zeit bis zum geprüften Vorschlag, Nacharbeit, bestandene Qualitätsprüfungen und der Aufwand für einen sicheren Wiederanlauf.

Bei Hanlea verbinden wir diese Bewertung mit Plattformarchitektur und Betriebsverantwortung. So wird sichtbar, welche Schritte sich sinnvoll unterstützen lassen und wo zusätzlicher Kontext oder bessere Datenmodelle zuerst helfen würden.

Häufige Fragen zu Agentic Data Engineering

Heißt AI-Unterstützung, dass Änderungen automatisch produktiv gehen?

Das ist eine gesonderte Betriebsentscheidung. Vorschlag, Prüfung und produktive Ausführung können unterschiedliche Berechtigungen und Freigaben benötigen. Die verfügbaren Funktionen ersetzen diese Festlegung nicht.

Ist eine automatisch reparierte Pipeline fachlich korrekt?

Ein erfolgreicher Lauf belegt zunächst die technische Ausführbarkeit. Fachliche Korrektheit muss an erwarteten Daten und Ergebnissen geprüft werden.