Data Warehouse Entwickler – Data Warehouse Cloud Migration
DIE AUFGABE
Im Rahmen des 21-monatigen Projekts wurde die Business-Intelligence-(BI)-Plattform von einem Hadoop-Stack zu Snowflake und einem Data-Warehouse-Automation-Tool migriert.
Die wesentlichen Aufgaben bestanden in der Anpassung des bestehenden Datenmodells an die neue Plattform sowie das neue Toolset.
Ein weiterer Schwerpunkt war die Integration des neuen Databricks Data Lakes in die Snowflake-Umgebung mittels S3 Bucket Stage und Snowflake External Tables.
Die Deployment-Prozesse von Snowflake-Artefakten wurden mithilfe von dem Tool Schemachange und Gitlab CI/CD umgesetzt.
Des Weiteren wurde die Ablaufsteuerung durch die Entwicklung von Templates für Apache Airflow optimiert.
Ein wesentliches Ziel des Projekts war die Steigerung der Performance in Snowflake. Dazu zählt beispielsweise der effiziente Einsatz von Warehouses und die Nutzung von Clustered Tables.
DIE HERAUSFORDERUNGEN
Die Migration der BI-Plattform von Hadoop zu Snowflake und einem Data-Warehouse-Automation-Tool stellte uns vor einige Herausforderungen.
Die Anpassung des bestehenden Datenmodells an die neue Plattform stellte eine besonders komplexe Herausforderung dar.
Die Integration des Databricks Data Lakes in die Snowflake-Umgebung erforderte eine sorgfältige Planung und Implementierung, insbesondere beim Einsatz von S3 Bucket Stage und Snowflake External Tables.
Ein weiterer anspruchsvoller Aspekt war die Leistungssteigerung in Snowflake. Dabei waren eine effiziente Nutzung der Datenlager sowie die Implementierung von Clustered Tables von entscheidender Bedeutung.
Die Steuerung der Arbeitsabläufe mittels Apache Airflow erforderte die Entwicklung robuster Templates, um eine reibungslose und effiziente Ausführung sicherzustellen.
Das gesamte Projekt profitierte von einer Vielzahl an Technologien, darunter Snowflake, schemachange, Datavault Builder, Apache Airflow, Databricks, Hadoop sowie Atlassian Jira und Confluence. Diese wurden nahtlos integriert und optimal genutzt.
IHR UNTERNEHMEN PLANT AUCH DIE MIGRATION EINES DATA WAREHOUSE IN DIE CLOUD?
Sie benötigen aber noch weiteres Know-How? Dann nehmen Sie Kontakt mit uns auf. Gerne beraten wir Sie und finden gemeinsam die passende Lösung für Ihre Herausforderungen bei der Entwicklung einer neuen Data Warehouse Automation Lösung.
Datenschutz ist uns wichtig. Ihre E-Mail wird nur für die Beantwortung Ihrer Anfrage genutzt. Weitere Informationen finden Sie in unserer Datenschutzerklärung.
