{"id":493,"date":"2024-08-10T12:36:30","date_gmt":"2024-08-10T12:36:30","guid":{"rendered":"https:\/\/oberle-it-beratung.de\/?p=176"},"modified":"2024-08-10T12:36:30","modified_gmt":"2024-08-10T12:36:30","slug":"beispieldaten-fuer-ein-data-warehouse","status":"publish","type":"post","link":"https:\/\/www.elrebo.de\/index.php\/2024\/08\/10\/beispieldaten-fuer-ein-data-warehouse\/","title":{"rendered":"Beispieldaten f\u00fcr ein Data Warehouse"},"content":{"rendered":"\n

Um ein Data Warehouse aufzubauen und seine Funktionalit\u00e4t zu zeigen, ben\u00f6tigt man einen Datenbestand, der sich \u00fcber die Zeit \u00e4ndert. Ich habe mich lange gefragt, was f\u00fcr einen Datenbestand man daf\u00fcr verwenden k\u00f6nnte. Die Daten sollten sinnvoll und frei verf\u00fcgbar sein.<\/p>\n\n\n\n

Eine erste Idee war, die Strommarktdaten von Deutschland zu verwenden, die von der Bundesnetzagentur \u00fcber die Website SMARD<\/a> in einer Creative Commons Lizenz zur Verf\u00fcgung gestellt werden. <\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Quelle: Stromerzeugung und -verbrauch in Deutschland vom 31. Juli bis 10.August 2024 von Bundesnetzagentur | SMARD.de <\/p>\n\n\n\n

Allerdings ist dieser Anwendungsfall doch sehr weit weg von dem, was ein durchschnittliches Unternehmen von seinem Data Warehouse erwartet. Es gibt dabei nicht die \u00fcblichen Kunden, Produkte, Bestellungen und Lieferungen, zu denen die Data Warehouses in Unternehmen Auskunft geben sollen. <\/p>\n\n\n\n

Es gibt jedoch einen Datenbestand, der viel besser f\u00fcr ein Data Warehouse Beispiel geeignet ist, er ist sogar speziell daf\u00fcr erstellt worden: die Daten des “Samen- und Pflanzenhandel Willibald”. Es handelt sich dabei um ein Projekt der Deutschsprachige Data Vault User Group (DDVUG) e.V.<\/a> <\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Quelle: Willibalds DWA Challenge https:\/\/dwa-compare.info<\/a><\/p>\n\n\n\n

Es handelt sich dabei um die Daten f\u00fcr die Data Warehouse Automation Challenge (DWA Challenge), an der Anbieter von Data Warehouse Automation teilnehmen k\u00f6nnen. Die DWA Challenge soll Unternehmen, die ein Data Warehouse aufbauen wollen, bei der Tool-Auswahl helfen. Auch diese Daten stehen in einer Creative Commons Lizenz zur Verf\u00fcgung, sie sind aber im Gegensatz zu den Strommarktdaten “echte” Unternehmensdaten eines Handelsunternehmens, also mit Kunden, Produkten, Bestellungen und Lieferungen.<\/p>\n\n\n\n

In meinem letzten Beitrag Die Kraft der Abstraktion<\/a> habe ich bereits erw\u00e4hnt, wie man die Komponenten eines Data Vaults in einer kompakten Darstellung beschreiben kann und dass man diese Darstellung zum Generieren der Skripte verwenden kann, die das Data Warehouse verwendet, das ich im Beitrag “Ein DWH mit git, linux, Docker, PostgreSQL, dbt und AutomateDV<\/a>” beschrieben habe. Dieses Konzept will ich jetzt auf die Willibald-Daten anwenden. Ich gehe dabei so vor:<\/p>\n\n\n\n