Bewertungen 4,2
Bewertungen 4,5
DP-750 Implementing Data Engineering Solutions with Azure Databricks
Unternehmen stehen heute vor der Herausforderung, wachsende Datenmengen effizient zu verarbeiten und aussagekräftige Erkenntnisse daraus zu gewinnen. Azure Databricks bietet dafür eine leistungsstarke Cloud-Plattform, die Data Engineering, Analytics und maschinelles Lernen in einem einheitlichen System vereint.
Zentrale Themen
- Konzeption und Aufbau leistungsfähiger Datenflüsse
- Analyse und Transformation umfangreicher Datensätze mit Apache Spark
- Gestaltung effizienter Lakehouse-Strukturen mit Delta Lake
- Einbindung vielfältiger Quellen in einheitliche Datenräume
- Steigerung der Verarbeitungsgeschwindigkeit und Sicherung der Datenqualität
- Steuerung und Orchestrierung automatisierter Cloud-Workflows
- Strukturierung und Management heterogener Datensätze
- Verarbeitung kontinuierlicher Datenströme in Echtzeit
Voraussetzung
Wer erste Erfahrungen mit SQL und Cloud-Diensten mitbringt, kann die Inhalte direkt anwenden. Kenntnisse in Datenbankkonzepten und technischen Analyseprozessen erleichtern den Einstieg.
Zielgruppe
Der Kurs richtet sich an alle, die Azure Databricks für professionelle Datenprojekte nutzen und ihre Cloud-Kompetenzen gezielt ausbauen möchten – von der Pipeline bis zur Analyse.
Azure Databricks gehört zu den führenden Plattformen im Cloud-Data-Engineering. Mit dem DP-750 Training legst du eine solide Basis für datengetriebene Projekte und erweiterst deine technische Expertise in einem stark wachsenden Berufsfeld.
Kursinhalte
Rechenressourcen im Databricks Workspace einrichten
- Passende Compute-Typen identifizieren und auswählen
- Leistung und Skalierungsparameter festlegen
- Photon, Runtime, Spark und ML konfigurieren
- Bibliotheken installieren und verwalten
- Zugriffsrechte einrichten und pflegen
Objekte im Unity Catalog anlegen und strukturieren
- Einheitliche Namenskonventionen einhalten
- Kataloge, Schemas und Namensräume aufbauen
- Volumes im Unity Catalog erstellen
- Tabellen, Views und materialisierte Views einrichten
- Externe Kataloge anbinden und konfigurieren
- DDL-Operationen auf Tabellen anwenden
- AI/BI Genie für Data Discovery einrichten
Unity-Catalog-Objekte schützen und absichern
- Zugriffsrechte auf Unity-Catalog-Objekte steuern
- Tabellen-, Spalten- und Zeilenzugriffsschutz implementieren
- Azure Key Vault-Schlüssel in Azure Databricks einsetzen
- Authentifizierung über Dienstprinzipale konfigurieren
- Ressourcen mit Managed Identities absichern
Unity-Catalog-Objekte verwalten und pflegen
- Tabellen- und Spaltendefinitionen aktuell halten
- ABAC mit Tags und Richtlinien konfigurieren
- Zeilenfilter und Spaltenmaskierungen einrichten
- Datenaufbewahrungsrichtlinien definieren und umsetzen
- Data Lineage im Catalog Explorer nachverfolgen
- Audit-Logs konfigurieren und auswerten
- Delta-Sharing-Strategien sicher gestalten
Datenmodelle für den Unity Catalog konzipieren und realisieren
- Datenquellen erfassen und Aufnahme-Konfiguration vornehmen
- Das passende Ingestion-Tool wählen (z. B. Lakeflow Connect, Notebooks, Azure Data Factory)
- Zwischen Batch- und Streaming-Ladeverfahren entscheiden
- Geeignetes Tabellenformat bestimmen (Parquet, Delta, CSV, JSON, Iceberg)
- Partitionierungsstrategien festlegen
- Den passenden SCD-Typ bestimmen
- Daten-Granularität gezielt definieren
- Änderungshistorie in Datensätzen erfassen
- Clustering-Ansatz festlegen (Liquid Clustering, Z-Ordering, Deletion Vectors)
- Entscheidung zwischen Managed und Unmanaged Tables treffen
Daten in den Unity Catalog einbinden
- Daten per Lakeflow Connect aufnehmen (Batch & Streaming)
- Notebooks zur Datenerfassung nutzen (Batch & Streaming)
- Daten per SQL laden (CTAS, CREATE OR REPLACE, COPY INTO)
- CDC-Feeds für kontinuierliche Datenintegration einsetzen
- Spark Structured Streaming für Echtzeit-Datenaufnahme verwenden
- Azure Event Hubs als Streaming-Quelle anbinden
- Lakeflow Spark Declarative Pipelines mit Auto Loader einsetzen
Daten aufbereiten, umformen und in den Unity Catalog überführen
- Datenprofile erstellen und Verteilungen untersuchen
- Passende Datentypen für Spalten festlegen
- Duplikate, fehlende Werte und Nulls entfernen
- Filterbedingungen, Gruppierungen und Aggregationen anwenden
- Datensätze per Join, Union und Intersect zusammenführen
- Pivotierung und Denormalisierung von Datensätzen
- Merge-, Insert- und Append-Operationen für das Laden nutzen
Datenqualität im Unity Catalog sicherstellen und kontrollieren
- Prüfungen für Nullwerte, Kardinalität und Wertebereiche einrichten
- Datentypvalidierungen konfigurieren
- Schemas kontrollieren und Abweichungen behandeln
- Pipeline-Erwartungen in Lakeflow Spark Declarative Pipelines für Qualitätskontrolle nutzen
Datenpipelines konzipieren und implementieren
- Ablauflogik für Datenpipelines festlegen
- Zwischen Notebook- und Lakeflow-Pipeline-Ansatz entscheiden
- Task-Logik für Lakeflow entwickeln und konfigurieren
- Fehlerbehandlungsstrategien für Pipelines und Jobs umsetzen
- Notebook-basierte Datenpipelines aufbauen
- Lakeflow Pipelines zur Datenverarbeitung einsetzen
Lakeflow-Jobs aufbauen und betreiben
- Aufträge anlegen, einrichten und konfigurieren
- Job-Trigger definieren und aktivieren
- Projektabläufe planen und terminieren
- Benachrichtigungen für Jobs einrichten
- Automatische Neustarts für Jobs und Pipelines konfigurieren
Azure Databricks für professionelle Entwicklungsprozesse nutzen
- Versionskontrolle mit Git strukturiert einsetzen
- Branches pflegen, Pull Requests koordinieren und Konflikte lösen
- Testkonzepte umsetzen (Komponenten-, Integrations-, E2E- und UAT-Tests)
- Databricks Asset Bundles einrichten und paketieren
- Bundles über die Azure Databricks CLI deployen
- Bundles über die REST-API deployen
Workloads überwachen, analysieren und optimieren
- Clusterauslastung für Leistung und Kosteneffizienz steuern
- Lakeflow-Jobs debuggen (Repair, Restart, Pause und Run)
- Performance-Probleme in Apache Spark-Jobs und Notebooks beheben
- Caching-, Skew-, Spill- und Shuffle-Probleme mit DAG, Spark UI und Query Profile analysieren
- Delta-Tabellen mit OPTIMIZE und VACUUM optimieren
- Log-Streaming mit Log Analytics in Azure Monitor aufsetzen
- Alert-Regeln in Azure Monitor konfigurieren
Jetzt kostenlos beraten lassen
Unsere Fördermaßnahmen gelten ausschließlich für Teilnehmende mit Wohn- oder Arbeitssitz in Deutschland.
Eine Förderung außerhalb Deutschlands ist nicht möglich.
Für Berufseinsteiger, Arbeitsuchende, Quereinsteiger, Startups, Berufserfahrene, Aufsteiger, Spezialisten …
Welche praktischen Fähigkeiten vermittelt der DP-750 Kurs?
- Aufbau von Datenflüssen, Umgang mit großen Datenmengen und produktive Umsetzung skalierbarer Lösungen mit Azure Databricks.
Was macht den DP-750 Kurs für Data Engineers besonders wertvoll?
- Im Training lernst du, wie Echtzeitverarbeitung, Analytics und Cloud-Workflows in einer Plattform kombiniert werden.
Welche Technologien werden im DP-750 Training eingesetzt?
- Apache Spark, Delta Lake und Azure Databricks bilden die technologische Basis für produktive Data-Engineering-Workflows in der Cloud.
Welche messbaren Vorteile bringt Azure Databricks im Projekteinsatz?
- Höhere Verarbeitungsgeschwindigkeit, automatisierte Datenflüsse und robuste Analytics für umfangreiche Datensätze.
Für welche Zielgruppe ist der DP-750 besonders geeignet?
- Ideal für alle, die Azure-basiertes Data Engineering systematisch aufbauen oder vorhandene Cloud-Kenntnisse gezielt vertiefen möchten.
Wie bereitet der DP-750 auf Big-Data-Projekte vor?
- Skalierbare Architekturmuster, leistungsstarke Verarbeitungsansätze und praxisorientierte Databricks-Lösungen stehen im Mittelpunkt.
Was lernst du über Delta Lake im DP-750 Training?
- Durch den Einsatz moderner Lakehouse-Technologien verbessern sich Datenqualität, Pipeline-Zuverlässigkeit und Analysegeschwindigkeit.
Welchen strategischen Vorteil bietet Azure Databricks Unternehmen?
- Azure Databricks vereint Datenintegration, KI-Anwendungen und Analytics nahtlos in einer Plattform und schafft so ein effizientes Ökosystem.
Dein persönlicher Weg zur passenden Weiterbildung – wir beraten Dich individuell
Unsere erfahrenen Bildungsberater:innen begleiten Dich von der ersten Frage bis zum Start Deiner Weiterbildung.
