![\"\"](\"https:\/\/elrebo.de\/wp-content\/uploads\/2024\/08\/Bildschirmfoto-2024-08-22-um-22.17.09-929x1024.png\")
<\/figure>\n\n\n\nF\u00fcr jede Lieferung wird dann ein Skript aufgerufen, dass die Willibald-Daten in das Data Warehouse \u00fcbernimmt. Hier wird als Beispiel das Skript lieferung_1.sh gezeigt, dass die erste Lieferung ins Data Warehouse \u00fcbernimmt:<\/p>\n\n\n\n Die \u00dcbernahme der 2. und der 3. Lieferung wird mit entsprechenden Skripten ausgef\u00fchrt.<\/p>\n\n\n\n Als Beispiel m\u00f6chte ich hier die \u00dcbernahme der Kundendaten genauer beschreiben. Die Schnittstelle “Kunde” f\u00fcr die Kundendaten ist deshalb gut geeignet, da sie recht einfach ist. Es gibt darin eine Kunden-ID (“KundeID”) und ein paar Informationen zu jedem Kunden. Die einzige Besonderheit ist das Feld VereinsPartnerID, das einen Fremdschl\u00fcssel in die Tabelle der VereinsPartner darstellt.<\/p>\n\n\n\n In den folgenden Kapiteln beschreibe ich, wie diese Kundendaten von den csv-Dateien bis in den Raw Vault \u00fcbertragen werden.<\/p>\n\n\n\n Im Skript 0102_willibald_load.ps1 werden f\u00fcr die Schnittstelle “Kunde” diese beiden SQL-Skripte aufgerufen:<\/p>\n\n\n\n Diese Skripte werden bei jeder Daten\u00fcbernahme ausgef\u00fchrt und f\u00fcllen die Tabelle Willibald.Kunde mit den aktuellen Daten aus der Schnittstelle.<\/p>\n\n\n\n Au\u00dferdem wird die Information \u00fcber die Schnittstelle Willibald.Kunde in der dbt-Datei schema.yml als Source eingetragen, damit sie im dbt-Modell genutzt werden kann.<\/p>\n\n\n\n Im Skript 0201_psa.ps1 wird das Skript psa_wb_kunde.sql aufgerufen, mit dem die Tabelle <\/p>\n\n\n\n erstellt wird.<\/p>\n\n\n\n Im Skript 0302_load.ps1 werden die Skripte aufgerufen, mit denen die folgenden Tabellen und Views erstellt werden:<\/p>\n\n\n\n F\u00fcr jemanden, der die Prinzipien von Data Vault 2.0 kennt, ist es klar, welche Bedeutung die Hubs, Links und Satellites im Raw Vault haben. Und dass es sinnvoll sein kann, f\u00fcr den einfacheren Zugriff auf die Daten Views auf die Links und Satellites zu definieren, ist sicher auch verst\u00e4ndlich.<\/p>\n\n\n\n Was aber sind die oben erw\u00e4hnten “Last Seen”-Tabellen?<\/p>\n\n\n\n Satellites enthalten einen Record f\u00fcr jeden neuen Zustand der Daten. Was Satellites nicht leisten k\u00f6nnen, ist Auskunft dar\u00fcber zu geben, wann ein Datensatz einfach komplett aus der Datenlieferung verschwunden ist. Wenn ein Datensatz f\u00fcr einen Satelliten ab einem bestimmten Zeitpunkt in den gelieferten Daten nicht mehr vorkommt, dann bleibt der zuletzt \u00fcbernommene Datensatz weiterhin aktiv. Die “Last Seen”-Tabellen sind unsere L\u00f6sung, um dieses Problem zu l\u00f6sen. F\u00fc jede \u00dcbergabedatei in der Stage und f\u00fcr jeden darin definierten Hub und Link wird ein Satellite erstellt, der als einziges Feld den Timestamp des letzten Ladens als “LAST_SEEN” enth\u00e4lt. Dieser Satellite schreibt demnach zu jedem Ladezeitpunkt f\u00fcr jeden gelesenen Key einen neuen Datensatz.<\/p>\n\n\n\n In einem nach der \u00dcbernahme ausgef\u00fchrten SQL-Skript werden f\u00fcr jeden Key alle Datens\u00e4tze au\u00dfer dem letzten aus der “Last Seen”-Tabelle gel\u00f6scht, so dass diese f\u00fcr jeden Key die Information enth\u00e4lt, wann dieser Key zuletzt in der Stage gesehen worden ist.<\/p>\n\n\n\n Die Verwendung des AutomateDV-Makros f\u00fcr Satelliten dient zusammen mit dem SQL-Skript dazu, diese L\u00f6sung einfach umsetzen zu k\u00f6nnen. Ein eigenes Makro f\u00fcr solche LS-Tabellen w\u00e4re sicher eine interessante Weiterentwicklung des Konzepts.<\/p>\n\n\n\n Insgesamt werden f\u00fcr die Kundendaten 19 Dateien ben\u00f6tigt, in denen Informationen zur \u00dcbertragung der Kundendaten in den Raw Vault des Data Warehouse bereitgestellt werden.<\/p>\n\n\n\n Auch wenn in diesen Dateien bereits Makros aus dem dbt-Plugin AutomateDV verwendet werden, so ist der Aufwand, diese Dateien zu erstellen, doch immer noch viel zu gro\u00df. <\/p>\n\n\n\n Wir haben deshalb eine einfache Steuersprache definiert, mit deren Hilfe die Informationen f\u00fcr alle diese Dateien in einer einzigen Steuerdatei bereitgestellt werden k\u00f6nnen. Die ben\u00f6tigten Tabellen werden dann aus dieser Steuerdatei generiert und in das dbt-Modell \u00fcbernommen. Wie das vor sich geht, ist der Inhalt eines der n\u00e4chsten Beitr\u00e4ge.<\/p>\n\n\n","protected":false},"excerpt":{"rendered":" In diesem Beitrag m\u00f6chte ich, wie zuvor bereits angek\u00fcndigt, ins Detail gehen und zeigen, wie wir die Daten von Willibald in das DWH \u00fcbernehmen. Der erste Schritt der \u00dcbernahme ins DWH ist das Exportieren der Daten aus dem operativen System von Willibald in die CSV-Dateien. Dieser Schritt wird hier nicht beschrieben. Die CSV-Dateien der Schnittstellen […]<\/p>\n","protected":false},"author":2,"featured_media":232,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[13,14,18],"tags":[],"class_list":["post-191","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-dwh","category-dv20","category-werkzeuge"],"_links":{"self":[{"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/posts\/191","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/comments?post=191"}],"version-history":[{"count":0,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/posts\/191\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/media\/232"}],"wp:attachment":[{"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/media?parent=191"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/categories?post=191"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/tags?post=191"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"\"](\"https:\/\/elrebo.de\/wp-content\/uploads\/2024\/08\/Bildschirmfoto-2024-08-22-um-22.25.25.png\")
<\/figure>\n\n\n\n\u00dcberblick \u00fcber den Ablauf<\/h3>\n\n\n\n
\n
\n
\n
\n
\n
\n
Beispiel: \u00dcbernahme der Kundendaten<\/h3>\n\n\n\n
![\"\"](\"https:\/\/elrebo.de\/wp-content\/uploads\/2024\/08\/Bildschirmfoto-2024-08-23-um-13.29.08-edited-1.png\")
<\/figure>\n\n\n\n![\"\"](\"https:\/\/elrebo.de\/wp-content\/uploads\/2024\/08\/Bildschirmfoto-2024-08-23-um-13.29.08-edited-4.png\")
<\/figure>\n\n\n\nEinlesen der CSV-Datei in das Schema Willibald<\/h4>\n\n\n\n
\n
Erstellen des dbt-Modells f\u00fcr die Kundendaten <\/h4>\n\n\n\n
\n
\n
Was ist die Bedeutung der “Last Seen”-Tabellen?<\/h4>\n\n\n\n
Zusammenfassung<\/h4>\n\n\n\n