Zwei Agent Harnesses, eine Lakehouse-Datenplattform: Wann sich welcher Agentic-AI-Ansatz im Data Engineering eignet

Ein konkretes Transformationsprojekt, zwei unterschiedliche Herausforderungen

Ausgangspunkt ist ein umfangreiches Modernisierungsprojekt im Finanzsektor. Bestehende ETL-Prozesse, Datenbestände und Geschäftsregeln sollen aus einer über viele Jahre gewachsenen Systemlandschaft in eine moderne Lakehouse-Architektur überführt werden. Gleichzeitig entstehen auf der neuen Databricks-Umgebung neue Datenprodukte.

Die Anforderungen sind hoch: Das Projektteam muss komplexe Legacy-Logik verstehen, fachliche Regeln zuverlässig übertragen und neue Transformationsstrecken implementieren. Dabei dürfen weder Datenqualität noch Sicherheit, Nachvollziehbarkeit oder regulatorische Compliance beeinträchtigt werden.

Für diese Aufgaben nutzt das Projekt Agentic AI. Analyse- und Implementierungsaufwände, die bei einem weitgehend manuellen Vorgehen mehrere Wochen beanspruchen würden, lassen sich dadurch deutlich reduzieren. Im Projekt wurde jedoch schnell deutlich, dass ein einzelnes Agent-Harness nicht für alle Aufgaben gleichermaßen geeignet ist.

Entscheidend ist vor allem, wie viel Kontext, Zugriff und Handlungsfreiheit ein Agent für die jeweilige Aufgabe benötigt. Ein Agent-Harness bezeichnet dabei die technische Umgebung, in der ein KI-Agent auf Informationen und Werkzeuge zugreifen und Aufgaben mit einem definierten Grad an Autonomie ausführen kann.

VS Code und GitHub Copilot für das Reverse Engineering

Eine zentrale Herausforderung im Projekt ist das Reverse Engineering der bestehenden ETL-Prozesse. Die zu analysierenden Abläufe sind über Jahre gewachsen und teilweise nur unvollständig dokumentiert. Relevante Logik befindet sich unter anderem in Quellcode, Stored Procedures, Konfigurationsdateien, verschiedenen Repositories und technischen Dokumentationen.

Für diese Aufgabe wird ein Harness auf Basis von VS Code und GitHub Copilot eingesetzt. Es ermöglicht dem Engineering-Agenten, über einzelne Dateien und Systeme hinaus zu arbeiten. Abhängig von den freigegebenen Werkzeugen und Berechtigungen kann der Agent:

• Code über mehrere Repositories hinweg untersuchen und vergleichen,
• Abhängigkeiten zwischen Komponenten und Datenflüssen nachverfolgen,
• SQL, Skripte und Konfigurationsdateien analysieren,
• Shell-Befehle und Tests ausführen,
• Transformationslogik und fachliche Regeln dokumentieren,
• die Überführung der Legacy-Logik in die Lakehouse-Architektur vorbereiten.

Diese Breite ist im konkreten Projekt besonders wichtig, weil die relevanten Informationen nicht in einer einzigen Entwicklungsumgebung oder Plattform vorliegen. Der Agent muss Zusammenhänge über System- und Repository-Grenzen hinweg erkennen können.

Der geschätzte Aufwand für das Reverse Engineering lag bei einem weitgehend manuellen Vorgehen bei rund 500 Personentagen. Durch die agentische Unterstützung konnte der tatsächlich Aufwand auf unter 100 Personentage reduziert werden. Die Ergebnisse zeigen das erhebliche Potenzial des Ansatzes.

Mehr Flexibilität bedeutet auch ein höheres Risiko

Die für das Reverse Engineering benötigte Flexibilität ist zugleich die größte Governance-Herausforderung des VS-Code-basierten-Harnesses. Entwicklerinnen und Entwickler können Erweiterungen installieren, unterschiedliche Modelle oder Werkzeuge anbinden und eigene Workflows aufbauen. Ohne zentrale Leitplanken können dadurch individuelle, schwer kontrollierbare Agentenumgebungen entstehen und damit gewissermaßen das agentische Äquivalent zu Schatten-IT.

Gerade in einem Projekt im Finanzsektor ist dies kritisch. Nicht freigegebene Dienste könnten sensiblen Code, Metadaten oder Daten verarbeiten. Agenten könnten mit zu weitreichenden Berechtigungen arbeiten oder Änderungen vornehmen, die nicht ausreichend protokolliert und geprüft werden.

Für den Projekteinsatz sind daher klare Vorgaben erforderlich. Dazu gehören insbesondere:

• zentral freigegebene Modelle, Erweiterungen und Werkzeuge,
• rollenbasierte Zugriffs- und Berechtigungskonzepte,
• eine nachvollziehbare Protokollierung agentischer Aktivitäten,
• verbindliche Test- und Review-Prozesse,
• definierte menschliche Freigabepunkte,
• wiederverwendbare und zentral gepflegte Konfigurationen.

Der Einsatz im Projekt zeigt: Je größer der Handlungsspielraum eines Agenten ist, desto stärker müssen technische und organisatorische Kontrollmechanismen ausgeprägt sein.

Databricks Genie Code für die Implementierung im Lakehouse

Parallel zum Reverse Engineering der bestehenden ETL-Prozesse übernimmt das Projektteam eine zweite zentrale Aufgabe: die Entwicklung neuer Datenprodukte in der Databricks-Umgebung. Dafür erstellt es dbt-Core-Modelle und implementiert die erforderlichen Transformationen entlang der Medallion-Architektur.

In dieser Phase kommt Databricks Genie Code zum Einsatz. Im Unterschied zum breiter angelegten VS-Code-Harness arbeitet Genie Code stärker innerhalb des gemeinsamen Plattformkontexts. Es kann die Engineers dabei unterstützen:

• bestehende Datenbestände und Databricks-Artefakte zu verstehen,
• SQL- und Python-Code zu generieren und zu optimieren,
• dbt-Core-Modelle zu entwickeln und zu überarbeiten,
• Transformationen entlang der Medallion-Architektur (Bronze, Silber, Gold) umzusetzen,
• mit Notebooks und Pipelines zu arbeiten,
• neue Datenprodukte und Anwendungsfälle schneller zu realisieren.

Der engere Plattformfokus kann Aufgaben außerhalb von Databricks einschränken. Wenn umfangreiche Interaktionen mit externen Repositories, Infrastrukturwerkzeugen oder heterogenen Legacy-Systemen erforderlich sind, ist Genie Code daher möglicherweise weniger geeignet.

Innerhalb der Zielumgebung wird diese Begrenzung im Projekt jedoch zum Vorteil. Das Team arbeitet in einem stärker standardisierten Kontext mit gemeinsamen Datenbeständen, Berechtigungen, Entwicklungsartefakten und Governance-Vorgaben. Dadurch lassen sich einheitliche Engineering-Praktiken leichter etablieren und skalieren.

Genie Code unterstützt im Projekt außerdem Datenbankadministratoren, die bisher vor allem mit Oracle und PL/SQL gearbeitet haben. Bei ihrem Einstieg in Databricks und dbt Core hilft die agentische Unterstützung dabei, neue Technologien, Syntax und Entwicklungsmuster schneller zu verstehen und anzuwenden.

Breite beim Verstehen, Standardisierung bei der Umsetzung

Das Projekt zeigt, dass die beiden Harnesses nicht als konkurrierende Lösungen betrachtet werden sollten. Sie erfüllen unterschiedliche Aufgaben innerhalb derselben Transformation:

• VS Code mit GitHub Copilot bietet den erforderlichen systemübergreifenden Zugriff für das Reverse Engineering der bestehenden ETL-Landschaft. Diese Flexibilität ermöglicht eine umfassende Analyse, erfordert jedoch strenge Governance.
• Databricks Genie Code unterstützt die anschließende Implementierung innerhalb der neuen Lakehouse-Umgebung. Der klarere Plattformfokus fördert Standardisierung, gemeinsame Entwicklungsmuster und kontrollierte Arbeitsabläufe.
• Der kombinierte Einsatz verbindet die notwendige Breite beim Reverse Engineering mit einer stärker standardisierten Umsetzung auf der Zielarchitektur.

Die Trennlinie verläuft dabei nicht strikt zwischen Reverse Engineering und Implementierung. Beide Harnesses können grundsätzlich Engineering-Aufgaben unterstützen. Entscheidend ist vielmehr ihr jeweiliger Handlungskontext: Das Reverse Engineering benötigt Zugriff über zahlreiche technische Grenzen hinweg, während die Implementierung von einem gemeinsamen und kontrollierten Plattformkontext profitiert.

Produktivität braucht überprüfbare Qualität

Die im Projekt erzielten Produktivitätsgewinne sind erheblich. Geschwindigkeit allein ist jedoch kein ausreichender Erfolgsmaßstab. Agentisch erzeugter Code und Implementierungen müssen denselben Qualitätsanforderungen genügen wie manuell erstellte Ergebnisse.

Dazu gehören:

• automatisierte Tests für Transformations- und Geschäftslogik,
• Peer-Reviews für generierten oder veränderten Code,
• Prüfungen der Datenqualität und Datenherkunft,
• Sicherheits- und Berechtigungskontrollen,
• eine nachvollziehbare Dokumentation,
• klar zugeordnete menschliche Verantwortung.

Agentic AI ersetzt in diesem Projekt daher nicht die Expertise der Data Engineers, Architekten und Fachverantwortlichen. Sie reduziert vor allem zeitaufwendige Analyse- und Implementierungsarbeit und schafft damit mehr Raum für Validierung, fachliche Klärung und Architekturentscheidungen.

Fazit

Das konkrete Modernisierungsprojekt im Finanzsektor macht deutlich: Der wirksamste Agent-Harness ist derjenige, der zum jeweiligen Aufgabenbereich passt.

VS Code mit GitHub Copilot bietet die Reichweite, die für das Reverse Engineering einer heterogenen und historisch gewachsenen ETL-Landschaft erforderlich ist. Databricks Genie Code stellt dagegen einen stärker standardisierten Rahmen für die Implementierung mit dbt Core innerhalb der Lakehouse-Architektur bereit.

Durch die Kombination beider Ansätze lassen sich Analyse und Umsetzung erheblich beschleunigen. Voraussetzung ist, dass Flexibilität, Sicherheit und Governance von Beginn an gemeinsam betrachtet werden. Gerade in einem regulierten Umfeld entsteht nachhaltiger Mehrwert nicht durch möglichst viel Autonomie, sondern durch einen bewusst definierten Handlungsspielraum für jeden Agenten.

Sie möchten moderne Datenplattformen gestalten und Generative sowie Agentic AI sicher und wertorientiert einsetzen? adesso unterstützt Sie dabei. Weitere Informationen und passende Inhalte finden Sie auf der adesso-Website zu Generative AI.