Databricks ist eine einheitliche Data-Lake-Warehouse- und KI-Plattform, die vom Gründerteam von Apache Spark gegründet wurde. Es bietet umfassende Linkfunktionen von der Data-Engineering-SQL-Analyse bis hin zu ML-Training und LLM-Feinabstimmung. Zu den Kernprodukten gehören Databricks MLflow, Feature Store, Model Serving und Mosaic AI.

Databricks

Kernparameter und Statistiken von Databricks

Databricks ist als einheitliche „Daten + KI“-Plattform positioniert und nicht als einfaches Trainings-Framework oder Data Warehouse. Es stellt das Data Lake Warehouse (Delta Lake), die SQL-Analyse, die Verfolgung von ML-Experimenten und das Training großer Modelle unter demselben Governance-System zusammen, und die zentrale Bereitstellungsform ist eine Hosting-Plattform auf Unternehmensebene.

Projekte	Öffentliche Informationen
Offizielle Positionierung	Einheitliche Daten- und KI-Plattform
Kernform	Bereitstellung von Data Lake Warehouse + ML-Plattform + KI-Inferenz
Bereitstellungspfad	Multi-Cloud-Hosting (AWS, Azure, GCP), noch keine Standalone-Version
Kernkomponenten	Delta Lake, MLflow, Unity-Katalog, Mosaik-KI, Modellbereitstellung, Serverloses SQL
Open-Source-Projekte	Apache Spark, Delta Lake, MLflow, Apache Iceberg-Integration
Marktbewertung	Etwa 43 Milliarden US-Dollar (2024), und eine neue Finanzierungsrunde im Jahr 2025 soll Gerüchten zufolge einen Wert von mehr als 60 Milliarden US-Dollar haben
Wichtige Akquisitionen	MosaicML (2023, 1,3 Mrd. USD), Tabular (2024, nicht bekannt gegebener Betrag), Arcion (2024)
Unternehmenskunden	Mehr als 10.000 Unternehmenskunden weltweit (offizielle Offenlegung Stand 2025)

Die Essenz der Mosaik-KI-Integration: Nach der Übernahme von MosaicML im Jahr 2023 erhielt Databricks nicht nur das LLM-Schulungsframework, sondern auch die MPT-Reihe von Open-Source-Modellgewichten und ein Ingenieurteam mit Erfahrung in MLSys-Gipfeltreffen. Dies ermöglichte es Databricks, den Identitätswechsel von einem „Data-Lake-Warehouse-Unternehmen“ zu einem „Daten- und KI-Plattformunternehmen“ in der Wettbewerbslandschaft abzuschließen und direkt einen dreistufigen Cross-Wettbewerb mit Snowflake, AWS SageMaker und Google Vertex AI zu bilden.

Versteckte Kosten der Multi-Cloud-Strategie: Obwohl Multi-Cloud-Unterstützung beansprucht wird, ist die Serviceverfügbarkeit in jeder Cloud inkonsistent – ​​die Photon-Engine auf AWS ist am besten optimiert, Azure ist tief in Active Directory integriert, GCP ist die neueste Version und die Veröffentlichung einiger erweiterter Funktionen verzögert sich. Bei der Auswahl eines Modells müssen Unternehmen die Vollständigkeit der Funktionen in der Ziel-Cloud bestätigen, um eine Unterschätzung der tatsächlichen Migrationskosten aufgrund von „Multi-Cloud“-Versprechen zu vermeiden.

Databricks-Benutzer und Marktbekanntheit

Die Marktbekanntheit von Databricks zeigt ein klares Muster von „stark auf der B-Seite und schwach auf der C-Seite“. Sein kommerzieller Wert wird hauptsächlich durch die Beschaffungsentscheidungen von Daten- und KI-Teams auf Unternehmensebene bestimmt und nicht durch die Mundpropaganda einzelner Entwickler.

Unternehmenskundengröße: Laut offiziellen Angaben bedient Databricks mehr als 10.000 Unternehmenskunden auf der ganzen Welt, darunter Finanzdienstleistungen, Gesundheitswesen, Einzelhandel, Fertigung, Medien und Unterhaltung sowie andere Branchen. Zu den typischen Kunden gehören Shell Regeneron, Comcast H&M usw. Der Umsatz übersteigt im Geschäftsjahr 2025 2 Milliarden US-Dollar, wobei das Wachstum im Jahresvergleich weiterhin über 40 % beträgt. Die Umsatzstruktur wird von jährlichen Unternehmensverträgen dominiert (einschließlich reservierter DBU-Pakete und flexiblem Pay-as-you-go-Anteil). Die Community-Version und die persönliche Version generieren fast keine direkten Einnahmen.

Ökologischer Einfluss von Open Source: Die Daten seiner drei großen Open-Source-Projekte können überprüft werden – Apache Spark hat mehr als 39.000 Sterne auf GitHub, Delta Lake hat mehr als 7.500 Sterne und MLflow hat mehr als 19.000 Sterne. Die Community-Aktivität und die Unternehmensakzeptanzrate dieser drei Projekte liegen im Spitzenniveau ähnlicher Projekte. Es ist jedoch anzumerken, dass es zwischen diesen Open-Source-Projekten und den kommerziellen Produkten von Databricks eine funktionale Schichtung von „Open-Source-Community-Version vs. erweiterte Unternehmensversion“ gibt – einige erweiterte Funktionen (wie Delta-Sharing, Photon-Vektorisierungs-Engine, MLflow-Zertifizierung auf Unternehmensebene) sind nur in der kommerziellen Version verfügbar.

Wettbewerbslandschaft der Branche: Databricks und Snowflake stehen im Bereich Data Warehouse/Lake Warehouse in direkter Konkurrenz. Snowflake ist für seine „Benutzerfreundlichkeit und Hosting-Erfahrung“ bekannt und Databricks ist für seine „Offenheit und Tiefe der KI-Integration“ bekannt. Analytische Institutionen wie Gartner haben beide im Leader-Quadranten im Bereich Datenmanagement nebeneinander platziert. In der tatsächlichen Auswahl sind die beiden jedoch kein vollständiger Ersatz – Teams, die Standard-SQL-Analysen bevorzugen und nicht vom Spark-Ökosystem abhängig sind, bevorzugen tendenziell Snowflake; Unternehmen, die bereits über Spark/ML-Technologie-Stacks verfügen und Daten- und KI-Plattformen vereinheitlichen müssen, bevorzugen tendenziell Databricks.

Evaluierung und Benchmarking durch Dritte: In der Kategorie der einheitlichen Daten+KI-Plattform ist die Leistung von Databricks im TPCDS-Benchmarktest zwei- bis viermal besser als die vergleichbarer Konkurrenzprodukte (dank der Photon-Vektorisierungs-Engine), aber der Vorteil ist im traditionellen TPC-H-Data-Warehouse-Szenario nicht offensichtlich. In der Dimension der ML-Plattform liegt die Community-Akzeptanzrate von MLflow vor Kubeflow und SageMaker Pipelines, aber es gibt immer noch Tools von Drittanbietern (wie Weights & Biases, Arize AI), die es in einigen Szenarien hinsichtlich der Beobachtbarkeit auf Produktionsebene und der Modellüberwachungstiefe ersetzen können.

Kostenvorteile von Databricks

Die Kostenstruktur von Databricks weist die Merkmale einer „doppelten Abrechnung für Rechen- und Plattformdienste“ auf. Die Kosten setzen sich aus der zugrunde liegenden Cloud-Ressourcengebühr und der Databricks DBU (Databricks Unit) der oberen Schicht zusammen. Das Verständnis dieser zweistufigen Architektur ist eine Voraussetzung für die Kostenkontrolle.

C-Client/Einzelbenutzer: Die Community-Version bietet ein begrenztes kostenloses Kontingent, geeignet für persönliches Lernen und kleine Experimente. Allerdings weist die Community Edition viele schwerwiegende Einschränkungen auf: Die Anzahl der Cluster-Parallelität ist begrenzt, die Unternehmensebenen-Governance von Unity Catalog wird nicht unterstützt, es gibt keinen Zugriff auf Mosaik-KI-Schulungen und die maximale Speicherkapazität ist begrenzt. Für einzelne Benutzer, die Data Engineering und ML auf Databricks erlernen möchten, reicht die Community Edition für den Einstieg aus; Sobald Sie sich mit der LLM-Feinabstimmung oder der Bereitstellung auf Produktionsebene befassen, müssen Sie auf einen Pay-as-you-go- oder Prepaid-Plan upgraden.

Entwickler-/API-Aufrufe: Bei Aufruf über Serverless SQL Warehouse oder Notebook-API basiert die Abrechnung auf der DBU-Nutzung und es gibt kein einheitliches festes Paket. Der DBU-Einheitspreis variiert je nach Workload-Typ (SQL, ETL, ML-Training, Inferenz) und Cloud-Anbieter. Am Beispiel von SQL Warehouse auf AWS beträgt der Preis etwa 0,55 $ pro DBU (Referenzpreis, abhängig von der offiziellen Preisseite), und eine einzelne mittlere Abfrage verbraucht 1–5 DBU. Das bedeutet, dass die direkten Rechenkosten einer einfachen Analyse zwischen 0,5 und 3 US-Dollar liegen können, sodass sie für den flexiblen Einsatz durch kleine Teams geeignet ist.

Enterprise/Private Deployments: Dies ist der eigentliche Umsatzkern von Databricks. Unternehmen kaufen über Unternehmensverträge ein, die in der Regel drei Hauptkostenelemente umfassen:

Kostenelemente	Beschreibung	Anteilsschätzung
DBU-Vorverkaufspakete	Zahlen Sie im Voraus bei einem Jahres- oder Mehrjahresvertrag und erhalten Sie ermäßigte Tarife (normalerweise etwa 15–25 % für einen 1-Jahres-Vertrag, bis zu 30–40 % für 3 Jahre)	Ungefähr 50-60 %
Cloud-Infrastruktur	Zugrunde liegende AWS/Azure/GCP-Ressourcen (EC2/VM, S3/Blob Storage, Netzwerkverkehr) werden direkt vom Cloud-Anbieter und nicht innerhalb der DBU abgerechnet	Etwa 30-40 %
Mehrwertdienste	Supportpläne, Schulungen, Professional Services (PS) und andere optionale Add-ons auf Unternehmensebene	Etwa 5-10 %

Worauf man bei Unternehmensverträgen achten sollte, sind die Reservierungskosteneffizienz und das flexible Überverkaufsrisiko: Durch den Vorabkauf von DBU-Paketen kann der Stückpreis erheblich gesenkt werden. Wenn die reservierte DBU jedoch nicht tatsächlich aufgebraucht ist, verfällt sie häufig (Use-it-or-lose-it), was zu versteckter Verschwendung führt; Wenn umgekehrt Überverkäufe ein Pay-as-you-go (Überschreitungen) auslösen, ist der Stückpreis 40–60 % höher als der Vorkaufspreis. Daher besteht die empfohlene Kaufstrategie darin, reservierte Pakete auf der Grundlage von 70–80 % der geschätzten Nutzung zu erwerben, wobei der verbleibende flexible Teil auf dem Volumen basiert, und die Klausel „Reservierte DBU kann verlängert werden“ im Vertrag anzustreben.

Kostenbenchmarking mit Wettbewerbsprodukten: Im Vergleich zu Snowflake vermeidet Databricks plattformübergreifende Datenübertragungsgebühren aufgrund der nativen Integration mit Spark in ETL- und ML-Trainingsszenarien (bei Snowflake fallen zusätzliche Ausgangsgebühren an, wenn Daten in die ML-Trainingsumgebung ausgegeben werden). Aber in reinen SQL-Analyseszenarien sind die sekundengenauen Abrechnungs- und Auto-Suspend-Strategien von Snowflake in Zeiten geringer Aktivität normalerweise wirtschaftlicher. Im Vergleich zu AWS SageMaker eliminiert die einheitliche Governance (Unity Catalog) von Databricks die versteckten Betriebs- und Wartungskosten der Berechtigungssynchronisierung zwischen mehreren Tools.

Hauptfunktionen von Databricks

Das Funktionssystem von Databricks dreht sich um das vollständige Konzept „Dateneingabe in den See -> Verwaltung -> Analyse -> Schulung -> Bereitstellung“, anstatt verstreute Tools zusammenzusetzen.

• Delta Lake Data Lake Warehouse: Die einheitliche Speicherschicht ermöglicht die Weiterentwicklung des ACID-Transaktionsschemas und Zeitreisen (Backtracking der Datenversion). Im Vergleich zur direkten Verwendung von Spark zur Verarbeitung von Originaldateien verbessert Delta Lake die Datenzuverlässigkeit auf Datenbankebene und vermeidet Dateninkonsistenzen, die durch „schmutzige Schreibvorgänge“ und „Halbzeitaktualisierungen“ verursacht werden. Akzeptanzbedenken: Im Lake-Warehouse-Szenario müssen die Ausführungszeit und der Ressourcenverbrauch der OPTIMIZE/ZORDER-Wartungsvorgänge von Delta Lake für sehr große Tabellen (PB-Ebene) vor der Auswahl einem Benchmarking unterzogen werden.

• Unity Catalog Unified Governance: Eine fein abgestufte Zugriffskontrolle für Daten, Funktionen, Modelle und Notebooks ist die Hauptbarriere der Unternehmensfunktionen von Databricks. Unity Catalog bietet eine einheitliche Ansicht der Metadaten über Arbeitsbereiche hinweg und löst die Kernprobleme „Wo sind die Daten, wer kann darauf zugreifen und wie werden sie überprüft“, wenn mehrere Teams einen Cluster gemeinsam nutzen? Unterschiede zu Konkurrenzprodukten: Die Governance von Snowflake ist unabhängig von der Rechenschicht, während Unity Catalog tief in die Rechenschicht von Databricks integriert ist – was bedeutet, dass die Konsistenz der Governance-Richtlinien eine Herausforderung darstellt, wenn eine externe Engine für den Zugriff auf von Unity Catalog verwaltete Daten verwendet wird.

• Training und Feinabstimmung des Mosaik-KI-Modells: Basierend auf den durch die Übernahme von MosaicML erworbenen Fähigkeiten werden verteiltes LLM-Training, Feinabstimmung und Bewertung bereitgestellt. Unterstützt parallele Strategien wie Megatron-LM und FSDP sowie eine eigene optimierte Composer-Schulungsbibliothek. Die Plattform verwaltet direkt die Experimentverfolgung, den Checkpoint-Speicher und die Modellregistrierung und reduziert so die Kosten für die Migration vom Experiment zur Produktion. Implementierungstipps: Mosaik-KI-Trainingsvorgänge verbrauchen eine große Menge an DBU. Es wird empfohlen, ein kleines Modell (z. B. 7B-Parameterebene) zu verwenden, um die Trainingspipeline und die Datenqualität während der Entwicklungsphase zu überprüfen, und es dann nach der Bestätigung auf eine Skala von 70B+ zu erweitern.

• Vollständiges MLflow-Lebenszyklusmanagement: Das native integrierte MLflow unterstützt Experimentverfolgung, Modellregistrierung, Versionsverwaltung und Bereitstellung. Die Offenheit von MLflow liegt in der Tatsache, dass es nicht an Databricks gebunden ist – derselbe Satz experimenteller Datensätze kann durch externen Argumentationskontext gelesen werden, aber die von Databricks bereitgestellte MLflow-Bereitstellung (Model Serving) ist in Bezug auf GPU-Skalierungslatenz und A/B-Testunterstützung besser als die Community-Version.

• Delta Sharing Open Data Sharing: Ein plattform- und organisationsübergreifendes sicheres Datenaustauschprotokoll, das es Empfängern ermöglicht, freigegebene Daten zu lesen, ohne Databricks zu verwenden. Dies bietet eine reibungslose Zusammenarbeitslösung in groß angelegten Datenkooperationsszenarien (z. B. Datenaustausch zwischen vor- und nachgelagerten Lieferketten, gemeinsame Risikokontrollmodellierung durch Finanzinstitute).

• Photon Vectorization Engine: Eine native C++-Engine, die für Delta Lake optimiert ist und in SQL-Analysen und ETL-Szenarien 2-4x schneller ist als herkömmliche Spark-JVM-Engines (offizieller Benchmark). Photon wird automatisch aktiviert und erfordert keine Benutzeranpassung. Es ist jedoch zu beachten, dass sein Beschleunigungseffekt bei Spaltenscans und Aggregationsabfragen am deutlichsten ist und die Verbesserung in komplexen JOIN-Szenarien mit häufigem Mischen begrenzt ist.

Databricks-Modell- und Versionsentwicklung

Als Hosting-Plattform und nicht als unabhängige Software basiert die Versionsentwicklung von Databricks auf Runtime (Databricks Runtime, DBR), mit einer LTS-Hauptversion etwa einmal im Quartal, ergänzt durch monatliche Nebenversionen. Im Folgenden sind überprüfbare wichtige Meilensteine der Veröffentlichung aufgeführt:

DBR-Hauptlinie LTS veröffentlicht

Version	Erscheinungsdatum	Kernänderungen
DBR 10.4 LTS	2022-04	Spark 3.2.x, Einführung der öffentlichen Vorschau von Photon
DBR 11.3 LTS	2022-08	Unity Catalog GA, MLflow 2.0-Integration
DBR 12.2 LTS	2023-04	Photon GA, Serverless SQL ist offiziell verfügbar, Delta Lake 2.3
DBR 13.3 LTS	2023-08	MLflow 2.4, Mosaik-KI-Integration beginnt, Delta Sharing GA
DBR 14.3 LTS	2024-04	Spark 3.5.x, Photon erweitert auf ETL, Unity Catalog Lineage GA
DBR 15.4 LTS	2025-12	Die neueste LTS-Version unterstützt das Mosaik-KI-Training vollständig und erweitert Lakehouse Federation

Hinweis zur Versionsrichtlinie: LTS-Versionen von Databricks bieten einen Mindestwartungszyklus von 2 Jahren und Nicht-LTS-Versionen nur 6 Monate. Für Produktions-Workloads wird empfohlen, immer LTS-Versionen zu verwenden und zwei bis drei Monate nach einer Hauptversion zu warten, bevor Sie ein Upgrade durchführen. Das Abwarten des Community-Feedback-Zyklus kann dabei helfen, Stabilitätsprobleme bei früheren Versionen zu umgehen.

Produktmeilensteine (Nicht-Laufzeitebene)

• 2020-06: Delta Lake ist Open Source und legt den Grundstein für die technische Roadmap von Lakecang. – 2021-06: Databricks SQL GA, Übergang vom Data Engineering zum SQL-Analysemarkt, direktes Benchmarking von Snowflake.
• 2022-07: Der Unity-Katalog wird offiziell veröffentlicht, um das Problem der Fragmentierung der Datenverwaltung mehrerer Teams zu lösen.
• 2023-06: Übernahme von MosaicML (1,3 Milliarden US-Dollar), um LLM-Schulungsfunktionen und Modelle der MPT-Serie zu erhalten.
• 2024-06: Übernahme von Tabular (Apache Iceberg-Kernmitarbeiterteam) zur Stärkung der Iceberg-Integration.
• 2025-05: Lakehouse Federation GA, einheitliche Abfrage externer Datenquellen (Snowflake, Redshift, PostgreSQL usw.) ohne Migration.

Kernurteil: Die Hauptlinie der Versionsentwicklung von Databricks ist die Transformation von einer „Spark-Hosting-Plattform zu einer einheitlichen Daten- und KI-Plattform“. Die Übernahme von MosaicML im Jahr 2023 war der Wendepunkt – seitdem hat jede LTS-Version die Erfahrungslücke zwischen Datentechnik und KI-Schulung verringert. Die Lakehouse Federation gibt im Jahr 2025 ein Signal heraus: Sie erfordert keine Daten mehr, um in Delta Lake zu leben, sondern erweitert den Governance-Bereich auf externe Datenquellen, was die Schwelle für die Migration bestehender Snowflake/Redshift-Benutzer zu Databricks senkt.

Technische Vorteile von Databricks

Die technische Barriere von Databricks liegt nicht in der absoluten Leistungsführerschaft einer einzelnen Komponente, sondern in der Schließung der „Spiegellücke zwischen Data Engineering und KI-Training“ – in der traditionellen Architektur werden Daten im Warehouse verwaltet, aber das Trainingsmodell muss die Daten per ETL in eine unabhängige Umgebung übertragen, und die Berechtigungen, Versionen und Qualitätsverfolgung im Prozess werden oft unterbrochen.

Unified Storage und Governance: Die Kombination aus Delta Lake + Unity Catalog verwirklicht die Architektur „Wo die Daten sind, ist auch die KI“. Das Modelltraining erfordert keine zusätzliche ETL mehr, um Daten aus dem Data Warehouse zu verschieben – das Trainingsskript liest die kuratierten Daten direkt in Delta Lake und nutzt Unity Catalog, um die Berechtigungen der Tabelle auf Zeilen-/Spaltenebene zu erben. Der direkte Effekt dieser Architektur besteht darin, dass das Data-Engineering-Team und das ML-Team dieselben Daten, dieselben Berechtigungskonfigurationen und dieselben Audit-Protokolle verwenden, wodurch die „Übersetzungskosten“ der teamübergreifenden Koordination entfallen.

Vektorisierte Ausführung der Photon-Engine: Photon ist eine von Databricks in C++ neu geschriebene Abfrageausführungs-Engine, die die JVM-basierte Ausführung von Spark durch eine native vektorisierte Ausführung ersetzt. Im TPCDS-Benchmark reduzierte Photon die Latenz für gängige SQL-Abfragen um das Zwei- bis Vierfache. Sein technischer Kern umfasst: Spaltenvektorisierungsverarbeitung (unter Verwendung des SIMD-Befehlssatzes), adaptive Ausführungsplanoptimierung (adaptive Anpassung der Anzahl der Shuffle-Partitionen) sowie speziell optimierte Hash-Aggregation und JOIN-Algorithmen. Photon wird automatisch aktiviert, ohne dass Benutzer SQL- oder Pipeline-Code ändern müssen – das bedeutet, dass Unternehmen Leistungsverbesserungen erzielen können, ohne vorhandenen Code zu ändern, und die Migrationskosten nahezu bei Null liegen.

Verteilte Trainingsoptimierung für Mosaik-KI: Mit der Übernahme von MosaicML integriert Databricks seine Composer-Trainingsbibliothek und die Flash Attention-Integration umfassend in die Plattform. In der Llama 2/3-Serie fein abgestimmter Benchmarks ist der Durchsatz von Mosaic AI etwa 1,3-1,8-mal höher als die Standard-PyTorch-FSDP-Implementierung (offizieller Benchmark, abhängig von tatsächlichen Umständen). Zu den wichtigsten Optimierungen gehören: automatische Gradientenakkumulation, Aktivierungs-Checkpointing, FP8-Training mit gemischter Präzision und Verknüpfung mit der Photon-Engine, um ein kopierfreies Lesen von Trainingsdaten zu erreichen. Tatsächliche Fallstricke: Die Stabilität des verteilten Trainings wird erheblich von der Netzwerktopologie beeinflusst. Es wird empfohlen, Verzögerungsbandbreitentests zu verwenden, um die Kommunikationsleistung zwischen Knoten zu überprüfen, bevor offiziell mit dem Training begonnen wird, um häufige Trainingsunterbrechungen aufgrund von NCCL-Zeitüberschreitungen zu vermeiden.

Zero Migration Queries für Lakehouse Federation: Funktionen von GA 2025. Ermöglicht Benutzern die direkte Abfrage externer Datenquellen wie Snowflake, Redshift, BigQuery, PostgreSQL usw. über Unity Catalog, ohne Daten zu verschieben. Die Föderationsschicht verwendet Prädikat-Pushdown und statistische Informationsbereinigung, um nur die Zeilen und Spalten zurück in die Berechnungsschicht zu ziehen, die wirklich benötigt werden, anstatt die gesamte Tabelle zu kopieren. Dies bietet Unternehmen in der „Migrationsübergangsphase“ die Möglichkeit, dass Systeme auf beiden Seiten koexistieren können, wodurch der Entscheidungsdruck und das Risiko von Betriebsunterbrechungen der „ALL-IN-Migration“ verringert werden.

Sicherheits- und Compliance-Architektur: Unity Catalog bietet Filterung auf Zeilenebene, Maskierung auf Spaltenebene (Column-Level Masking) und attributbasierte Zugriffskontrolle (ABAC). Audit-Protokolle können in SIEM-Systeme exportiert werden, um die Compliance-Anforderungen von SOC 2 und DSGVO zu erfüllen. Daten werden während der Übertragung und Speicherung standardmäßig verschlüsselt, und Kunden können Verschlüsselungsschlüssel über Bring Your Own Key (BYOK) verwalten. Compliance-Grenze: Die Zertifizierung von Databricks deckt SOC 2 Typ II, ISO 27001 und HIPAA ab, aber Sie müssen beim Betrieb in China die Einschränkungen der Datenresidenz beachten – die Compliance-Bereitstellung in China muss über die Azure China-Region oder Partner erfolgen, und die direkte globale Multi-Cloud-Bereitstellung erfüllt die Klassifizierungsanforderungen möglicherweise nicht vollständig.

So verwenden Sie Databricks

Der Nutzungseingang von Databricks ist basierend auf Rollen und Szenarien in drei Pfade unterteilt. Jeder Pfad verfügt über unterschiedliche Funktionen und Berechtigungen.

So verwenden Sie	Geeignet für Rolle	Funktionen	Kosten
Arbeitsbereich-Benutzeroberfläche	Dateningenieure, Datenwissenschaftler	Notebook-Entwicklung SQL-Abfrage Dashboard-Erstellung ML-Experimentverfolgung	Von DBU + Cloud-Ressourcen
Serverloses SQL-Warehouse	SQL-Analyst	Reine SQL-Abfrage, keine Clusterverwaltung erforderlich, automatische Erweiterung und Kontraktion	Abrechnung durch DBU
API/SDK	Plattform-Ingenieur ML-Ingenieur	Verwalten Sie Jobs, Modellbereitstellungen und Cluster programmgesteuert über die REST-API oder das Python SDK	Abrechnung pro DBU

Typischer Arbeitsablauf:

1. Arbeitsbereich erstellen: Erstellen Sie einen Databricks-Arbeitsbereich in der Zielcloud (AWS/Azure/GCP), schließen Sie die Initialisierung der Unity Catalog-Metadaten und die Integration des Identitätsanbieters (IdP) ab. Dieser Schritt wird normalerweise in der Cloud-Konsole oder der Databricks-Kontokonsole ausgeführt und dauert etwa 1–2 Tage (einschließlich Netzwerkkonfiguration und Koordinierung der Sicherheitsrichtlinien).

2. Daten in den Lake: Laden Sie Rohdaten (CSV, JSON, Parquet) über den Auto Loader (inkrementelles Lesen neuer Dateien im Cloud-Speicher) oder den COPY INTO-Befehl in die Delta Lake-Tabelle. Auto Loader unterstützt die automatische Inferenz und Weiterentwicklung von Schemas und reduziert so den Arbeitsaufwand für die manuelle Definition von Schemas.

3. Datentransformation und -analyse: Verwenden Sie Python/SQL/Scala für ETL in Notebook oder führen Sie Ad-hoc-Abfragen über Databricks SQL durch. Für Produktions-ETL-Jobs wird empfohlen, Datenpipelines deklarativ mithilfe von Delta Live Tables (DLT) zu definieren, das Abhängigkeiten und inkrementelle Aktualisierungen automatisch verarbeitet.

4. ML-Training und Modellbereitstellung: Starten Sie den Trainingsjob in der Notebook- oder Mosaik-AI-Schnittstelle, die experimentellen Indikatoren werden automatisch in MLflow aufgezeichnet und die Modellprodukte werden in der Modellregistrierung von Unity Catalog registriert. Stellen Sie das registrierte Modell auf dem Model Serving-Endpunkt bereit, konfigurieren Sie die Regeln für die automatische GPU-Skalierung und stellen Sie die REST-API für den Aufruf nachgeschalteter Anwendungen bereit.

Häufige Integrationsszenarien: Databricks ist nativ in MLflow Tracking integriert. Durch den Aufruf von „mlflow.start_run()“ im Trainingscode können Parameter, Indikatoren und Modellprodukte ohne zusätzliche Konfiguration automatisch aufgezeichnet werden. Wenn Sie einen externen MLflow-Server verwenden, müssen Sie die „mlflow“-Bibliothek auf dem Cluster installieren und den Tracking-URI konfigurieren.

Produktpreise

Das Preismodell unterliegt der offiziellen Echtzeitseite. In der Regel wird ein Freemium- oder Abonnementsystem eingeführt, grundlegende Funktionen können kostenlos genutzt werden und erweiterte Funktionen oder die Hochfrequenznutzung erfordern eine Zahlung.

Anwendungsszenarien

Die Anwendungsszenarien von Databricks umfassen die beiden Dimensionen traditionelles Data Engineering und KI-Training. Die folgenden vier Szenarien wurden in tatsächlichen Unternehmensbereitstellungen umfassend überprüft:

• Integrierter Aufbau von Enterprise Lakes und Warehouses: Vereinheitlichen Sie den ursprünglichen Hadoop/Spark-Cluster und mehrere Datenquellen auf Delta Lake, um Datenmanagement und KI-Training auf derselben Plattform zu realisieren. Typischer Kundenpfad: Ersetzen Sie zunächst die alten Hive-Tabellen in mehreren wichtigen Datenfeldern (z. B. Benutzerverhalten, Transaktionsdatensätze), überprüfen Sie die Leistungsverbesserung und Datenqualitätsverbesserung und erweitern Sie sie dann schrittweise auf alle Datenquellen. Implementierungstipps: Es wird nicht empfohlen, die gesamte Datenmigration in der ersten Phase des Lake-Warehouse-Aufbaus durchzuführen – Priorität wird der Migration hochfrequenter Abfragen und Datendomänen eingeräumt, die verwaltet werden müssen. Archivierte Daten mit geringer Zugriffshäufigkeit können über Delta Sharing oder External Table beibehalten werden.

• Live- und Batch-ETL-Pipelines: Erstellen Sie deklarative Datenpipelines mit Auto Loader und Delta Live Tables, um Daten inkrementell aus dem Cloud-Speicher zu laden und Schemaentwicklungs- und Datenqualitätsbeschränkungen automatisch zu verarbeiten. Mit dem Erwartungsmechanismus von DLT können Sie Datenqualitätsregeln definieren (nicht leer, Eindeutigkeit, referenzielle Integrität). Daten, die die Regeln nicht erfüllen, werden in die Warteschlange „Fehler“ oder „Warnung“ eingegeben, ohne die gesamte Pipeline zu blockieren. Unterschiede zur Airflow-Lösung: DLT erfordert kein manuelles Schreiben von DAGs und Konfigurationszeitplänen – ETL-Logik wird in SQL oder Python deklariert und die Plattform verwaltet automatisch Ausführungspläne und Fehlerbehebung.

• LLM-Feinabstimmung und Modellbereitstellung im Unternehmensmaßstab: Nutzen Sie die Mosaik-KI zur Feinabstimmung großer Open-Source-Modelle (Llama, Falcon, MPT usw.) auf proprietären Datensätzen. Der Kernwert ist nicht das Trainings-Framework selbst, sondern die Integration mit Unity Catalog – Trainingsdaten werden direkt aus der verwalteten Delta Lake-Tabelle gelesen, Modellprodukte werden im Katalog registriert und von Model Serving bereitgestellt, und die Datenherkunft und Berechtigungskontrolle der gesamten Verbindung werden einheitlich geprüft. Szenariogrenze: Wenn das Unternehmen nur externe APIs aufrufen muss (z. B. mit OpenAI oder Anthropic), anstatt Modelle auf seinen eigenen Daten zu trainieren, sind die Vorteile von Databricks nicht gültig – leichtgewichtige Tools (z. B. LangChain + Vektordatenbank) sind kostengünstiger.

• Datenwissenschaft und explorative ML-Analyse: Datenwissenschaftler verwenden Notebook, um schnell Daten zu untersuchen, Prototypmodelle zu trainieren und Experimente automatisch in MLflow aufzuzeichnen. Durch das Hinzufügen von Feature Store (Online-Feature-Warehouse) kann das experimentelle Modell nahtlos mit der Produktionsinferenz verbunden werden, wodurch der klassische Haltepunkt „hohe Offline-AUC und keine Online-Features“ vermieden wird. Konfigurationsbedenken: Die Echtzeit-Feature-Latenz des Feature Store (normalerweise Sekunden bis Minuten) muss den Latenzanforderungen der Online-Inferenz entsprechen. Anforderungen an Echtzeitfunktionen im Millisekundenbereich erfordern externen Online-Speicher wie Redis.

Anwendbare Personen

Databricks verfügt über eine klare, nach Rollen geschichtete Anpassungsstrategie, aber aufgrund der Lernkurve und der Kostenschwelle ist es nicht für alle Datenpraktiker geeignet.

• Data Engineering Team: Die Kernbenutzergruppe. Einheitliche Datenverwaltungs-ETL- und Governance-Tools reduzieren die Wartungskosten für mehrere Systeme. Delta Live Tables reduziert den Arbeitsaufwand für die Pipeline-Wartung von der Orchestrierung im DAG-Stil bis hin zur deklarativen Definition, sodass sich Teams mehr auf die Datenqualität statt auf die Pipeline-Planung konzentrieren können. Überschreitung der Grenze: Wenn die Kernarbeitslast Ihres Teams bereits aus reinen SQL-Analysen besteht und keine ML- oder Stream-Verarbeitungsanforderungen bestehen, haben Snowflake oder Redshift möglicherweise eine flachere Lernkurve und möglicherweise niedrigere Gesamtkosten.

• ML-Team und Datenwissenschaftler: Wir hoffen, vom Experiment bis zur Produktion auf derselben Plattform arbeiten zu können, um die durch die begrenzte Migration verursachten Inkonsistenzprobleme zu reduzieren. Der Wert der MLflow-Integration und des Feature Store zeigt sich am deutlichsten in dieser Rolle – experimentelle Parameter, Modellartefakte und Feature-Pipelines befinden sich innerhalb derselben Governance-Domäne. Ungeeignete Grenze: Für Teams, die eine extrem hohe Kontrolltiefe über das Trainingsframework benötigen (wie das AI Lab, das sich mit LLM-Pre-Training-Forschung beschäftigt), ist die Trainingsplanungsflexibilität von Databricks geringer als bei der direkten Verwendung von Slurm + nativem PyTorch, und die GPU-DBU-Kosten bei sehr umfangreichen Schulungen können höher sein als bei der Verwendung ursprünglicher GPU-Instanzen.

• SQL-Analysten und Geschäftsanalyseteam: Mit Databricks SQL können Sie Delta Lake-Daten mit Standard-SQL abfragen, ohne Python oder Scala schreiben zu müssen. Serverless SQL Warehouse macht die Clusterverwaltung überflüssig, aber ein Haupthindernis ist der Unterschied in den SQL-Dialekten – einige komplexe Analysefunktionen verhalten sich in der Photon-Engine möglicherweise etwas anders als in Standard-Spark-SQL. Voraussetzung: Das Team muss über grundlegende Data-Warehouse-Konzepte verfügen. Für Geschäftsleute mit absolut null SQL-Kenntnissen ist der direkte Einstieg nicht zu empfehlen.

• Unternehmensarchitekten und IT-Entscheidungsträger: Notwendigkeit der Vereinheitlichung der Daten- und KI-Infrastruktur in einer Multi-Cloud-Umgebung mit Schwerpunkt auf Sicherheitsüberprüfungen, Kostenkontrolle und Plattformstandardisierung. Unity Catalog und Delta Sharing bieten eine konforme Grundlage für Bereitstellungen im Unternehmensmaßstab. Nicht für Grenzen geeignet: Wenn die Datenverwaltung des Unternehmens noch keinen bestimmten Reifegrad erreicht hat (z. B. ist kein grundlegendes Metadatenmanagement eingerichtet), löst die direkte Einführung von Databricks das Governance-Problem nicht automatisch, kann jedoch aufgrund der Komplexität der Plattform den Betriebs- und Wartungsdruck erhöhen. Es wird empfohlen, zunächst ein Data-Governance-Framework einzurichten und dann die Plattformtechnologie auszuwählen.

Zusammenfassung und Ausblick

Der Kernwert von Databricks liegt im „gleichen Plattform“-Konzept von Data Engineering und KI-Training. Durch die Kombination von Delta Lake, Unity Catalog und Mosaik-KI werden Datenverwaltung, Modelltraining und Inferenzbereitstellung in derselben Governance-Domäne vereinheitlicht, wodurch die Kosten für den Kontextwechsel vom Experiment zur Produktion und die versteckten Verluste bei der Datenübertragung reduziert werden.

Aktuelle Kernvorteile: Delta Lake + Unity Catalog + Mosaik-KI bilden eine der vollständigsten Kombinationen der Daten- + KI-Plattform. Die Photon-Engine erreicht in SQL-Analyseszenarien eine zwei- bis vierfache Beschleunigung ohne Codeänderungen. Das Open-Source-Ökosystem (Spark, Delta Lake, MLflow) bietet Unternehmen die Portabilität von Technologie-Stacks und vermeidet die Bindung an einen einzelnen Cloud-Anbieter. Lakehouse Federation reduziert die Reibung bei der Migration externer Datenquellen weiter.

Schwere aktuelle Einschränkung: Die DBU-Preise können in groß angelegten Trainingsszenarien höhere Gesamtkosten verursachen als die direkte Verwendung roher GPU-Instanzen. Die Komplexität des einheitlichen Betriebs und der Wartung von Multi-Cloud-Bereitstellungen ist höher als die von Single-Cloud-Lösungen – Verzögerungen bei der Datenreplikation und die Aufrechterhaltung der Konsistenz über Clouds hinweg erfordern zusätzliche technische Investitionen. Im direkten Wettbewerb mit Snowflake in reinen SQL-Analyseszenarien sind die Lern- und Nutzungskosten auf oberflächlicher Ebene (Einstiegserfahrung) im Nachteil. Die Planungsflexibilität des Trainingsrahmens von Mosaic AI ist immer noch geringer als bei der direkten Verwendung professioneller Planer wie Slurm/PBS.

Folgebeobachtungspunkte: Die Auswirkungen des im Jahr 2025 erworbenen Tabular-Teams auf das Iceberg-Ökosystem – wie wird der Formatwettbewerb zwischen Delta Lake und Iceberg verlaufen; ob die Serverless-Produktlinie auf ML-Schulungen ausgeweitet wird (derzeit deckt Serverless nur SQL und ETL ab und die Schulung erfordert weiterhin eine manuelle Clusterverwaltung); Die Compliance-Fortschritte von Databricks auf dem heimischen Markt – derzeit stützt es sich hauptsächlich auf die Region Azure China, und direkte Full-Stack-Lokalisierungsalternativen sind noch nicht ausgereift.

Beschaffungs- und Einführungsrisikobewertung: Es wird empfohlen, dass Unternehmen zunächst eine nicht kritische Datendomäne (z. B. Marketinganalyseberichte oder interne Wissensdatenbank) als Pilotprojekt auswählen, die Funktionsüberprüfung und den Aufbau von Teamkapazitäten innerhalb von 3–6 Monaten abschließen und vor der Erweiterung die Anpassungsfähigkeit der Plattform an bestehende Datenpipelines bestätigen. Konzentrieren Sie sich auf Beschaffungsvertragsebene auf: DBU-Einheitspreis-Sperrfrist und überverkaufte Preisgrenze, Umgang mit ungenutztem Kontingent reservierter Pakete (verlängert vs. ungültig), Datenmigrationsgebührenbedingungen und Reifegrad der Integration zwischen Unity Catalog und bestehendem IdP (LDAP/AD/Okta). Für Branchen, die strenge Anforderungen an die Datensouveränität haben (Finanzen, Regierungsangelegenheiten, medizinische Versorgung), wird empfohlen, zusätzlich zur privatisierten Bereitstellung oder zu Azure-exklusiven Regionslösungen gleichzeitig die selbst erstellte Route des Open-Source-Technologie-Stacks (Trino + Iceberg + MLflow) als Kontrolllösung zu evaluieren, um das Risiko einer Bindung an einen einzelnen Lieferanten zu vermeiden. Zusammengenommen ist Databricks eine der Plattformen mit der umfassendsten Funktionalität in ihrem Bereich, ihre Wertfreisetzung hängt jedoch stark von der Data-Governance-Reife des Unternehmens und der technischen Reserve des Engineering-Teams ab – wenn diese beiden Voraussetzungen nicht erfüllt sind, wird die Kapitalrendite der Plattform erheblich reduziert.

Verwandte Tools: hugging-face, replicate

So verwenden Sie Databricks

• Web-Client: Sie können ihn nutzen, indem Sie die offizielle Website besuchen und ein Konto registrieren. Die meisten Funktionen erfordern keine Installation.
• API-Zugriff: Bietet RESTful API, Entwickler können den API-Schlüssel erhalten und ihn in ihre eigenen Anwendungen integrieren.

Versionsinfo

• Databricks-Plattformupdate vom Juni 2026 ：Die Cloud-Plattform wird kontinuierlich iteriert und hat noch keine feste Versionsnummer. （2026-06）
• Databricks Runtime 15.4 LTS ：Einen offiziellen genauen Termin gibt es noch nicht. （2025-12）