Bronze, Silver, Gold: Wie aus Rohdaten nutzbare Daten werden

Was bedeutet Medallion-Architektur?

Eine moderne Datenplattform muss unterschiedliche Lieferstände und Qualitätsniveaus beherrschbar machen. Eine frisch eingetroffene Datei hat einen anderen Zweck als eine abgestimmte Kennzahl für das Management. Medallion trennt diese Aufgaben in nachvollziehbare Verarbeitungsschritte.

Databricks beschreibt Medallion als logisches Entwurfsmuster, in dem Struktur und Datenqualität schrittweise verbessert werden. Das Muster ist eine Orientierung für die Architektur. Drei entsprechend benannte Ordner allein schaffen noch keine verlässliche Datenbasis.

Welche Aufgaben haben Bronze, Silver und Gold?

Wichtig ist der Umgang mit fehlerhaften Daten. Ein unvollständiger Datensatz muss identifizierbar bleiben. Ob er verworfen, korrigiert oder in einen getrennten Prüfbereich geschrieben wird, ist eine bewusste fachliche Entscheidung.

Ein Beispiel: Warum zwei Teams verschiedene Umsätze sehen

Das folgende Beispiel ist fiktiv. Ein Unternehmen erhält Bestellungen aus einem Shopsystem und Zahlungsinformationen aus dem ERP. Vertrieb und Finance berechnen daraus unterschiedliche Umsätze. Die Ursache liegt in der Frage, wann eine Bestellung zählt und wie Stornierungen behandelt werden.

In Bronze werden die jeweiligen Lieferstände mit Quelle und Eingangszeit erhalten. Dadurch kann das Team später nachvollziehen, welche Informationen zu einem bestimmten Zeitpunkt vorlagen.

In Silver werden Bestellnummern vereinheitlicht, Dubletten behandelt und Zahlungen den passenden Bestellungen zugeordnet. Eine Zahlung ohne bekannte Bestellung wird in einen Prüfbereich geschrieben. Das Team kann diese Fälle zählen und einen Verantwortlichen benennen.

In Gold entstehen getrennt definierte fachliche Sichten: etwa bestellter Umsatz für den Vertrieb und vereinnahmter Umsatz für Finance. Beide können korrekt sein, wenn Definition, Zeitraum und Zweck klar sind. Eine dokumentierte Überleitung erklärt die Unterschiede.

Eine verlässliche Kennzahl braucht eine nachvollziehbare Herkunft und eine abgestimmte fachliche Definition.

Welche Rolle spielen die Technologien dahinter?

Das Schichtenmodell beschreibt zunächst die Organisation der Daten. Die technischen Bausteine übernehmen unterschiedliche Aufgaben: Eine Verarbeitungsengine führt Transformationen aus, ein Tabellenformat verwaltet Tabellenzustände und ein Dateiformat beschreibt die gespeicherten Daten.

Delta Lake ergänzt die Speicherung unter anderem um Transaktionen, Versionierung und Funktionen für Schemaänderungen. Apache Parquet ist ein spaltenorientiertes Dateiformat für effiziente Speicherung und Analyse. Diese Aufgaben ergänzen sich.

Für die Nachvollziehbarkeit beschreibt Unity Catalog Lineage, wie Quellen, Transformationen und nachgelagerte Auswertungen zusammenhängen. Welche Metadaten erfasst werden können, hängt von den eingesetzten Komponenten und deren Einbindung ab.

Was sollte ein Team vor der Umsetzung entscheiden?

• Qualitätsregeln: Welche Felder müssen vorhanden sein, welche Beziehungen stimmen und welche Fehler verhindern die Weiterverarbeitung?
• Verantwortung: Wer klärt fehlerhafte Lieferungen und wer genehmigt Änderungen an Kennzahlen?
• Wiederanlauf: Wie werden Korrekturen und verspätete Daten eingespielt, ohne Bestände unkontrolliert zu verdoppeln?
• Zugriff und Aufbewahrung: Wer benötigt welche Daten, und wie lange dürfen die jeweiligen Bestände gespeichert bleiben?

Bei Hanlea verbinden wir diese Entscheidungen mit dem konkreten Datenprodukt. Ein guter Einstieg ist ein fachlich klarer Datenfluss mit wenigen Quellen, dokumentierten Qualitätsregeln und einem messbaren Ergebnis. Danach lässt sich beurteilen, welche Bausteine weitere Teams wiederverwenden können.

Häufige Fragen zur Medallion-Architektur

Muss jede Verarbeitung genau drei physische Kopien erzeugen?

Das Muster beschreibt logische Aufgaben. Welche Tabellen, Sichten oder Materialisierungen tatsächlich benötigt werden, richtet sich nach Nutzung, Wiederanlauf und Betriebsanforderungen. Zusätzliche Kopien sollten einen klaren Zweck erfüllen.

Ist Gold automatisch die beste Quelle für jeden AI-Use-Case?

Ein aggregiertes Geschäftsmodell kann passende Details bereits verloren haben. Die geeignete Datenbasis hängt von der Aufgabe ab. Entscheidend sind nachvollziehbare Qualität, erlaubter Zugriff und die benötigte Granularität.