{"id":515,"date":"2024-04-07T09:06:55","date_gmt":"2024-04-07T09:06:55","guid":{"rendered":"https:\/\/oberle-it-beratung.de\/?p=137"},"modified":"2024-04-07T09:06:55","modified_gmt":"2024-04-07T09:06:55","slug":"ein-dwh-mit-git-linux-docker-postgresql-dbt-und-automatedv","status":"publish","type":"post","link":"https:\/\/www.elrebo.de\/index.php\/2024\/04\/07\/ein-dwh-mit-git-linux-docker-postgresql-dbt-und-automatedv\/","title":{"rendered":"Ein DWH mit git, Linux, Docker, PostgreSQL, dbt und AutomateDV"},"content":{"rendered":"\n

Was braucht man, um ein Data Warehouse (DWH) zu betreiben?<\/p>\n\n\n\n

Ich stelle ihnen hier eine L\u00f6sung vor, die einen virtuellen Server ben\u00f6tigt, auf dem das DWH betrieben werden kann. Au\u00dfer diesem virtuellen Server, f\u00fcr den monatliche Kosten anfallen, den Personalkosten f\u00fcr die DWH-Mitarbeiter und den Kosten f\u00fcr Training und Beratung werden nur Komponenten eingesetzt, die kostenfrei zur Verf\u00fcgung stehen.<\/p>\n\n\n\n

Bei der Umsetzung der DWH-Funktionalit\u00e4t setzen wir Tools wie dbt und AutomateDV ein, die nur einen geringen Konfigurationsaufwand erfordern und viele Features bereits out-of-the-box mitliefern. <\/p>\n\n\n\n

Sowohl beim System als auch bei den DWH-Prozessen nutzen wir die Features der verwendeten Systeme m\u00f6glichst ohne jede individuelle Erweiterung oder Anpassung.<\/p>\n\n\n\n

Diese L\u00f6sung ist damit besonders f\u00fcr kleine und mittlere Unternehmen geeignet, in denen \u00fcblicherweise nur wenige Personen f\u00fcr den Aufbau und den Betrieb eines solchen Systems zur Verf\u00fcgung stehen.<\/p>\n\n\n\n

Die Basis (Systeme und Software)<\/h3>\n\n\n\n

Linux-Server<\/h4>\n\n\n\n

Wir ben\u00f6tigen zun\u00e4chst einen Rechner, auf dem die DWH-Software und die DWH-Datenbank betrieben wird. Daf\u00fcr verwenden wir einen virtuellen Server, den wir entweder selbst hosten oder bei einem Cloud Service Provider hosten lassen. Er soll ein Linux-Betriebssystem und genug freien Speicherplatz f\u00fcr unser DWH haben. Au\u00dferdem sollen die Daten des Servers in ein Backup-Konzept eingebunden sein.<\/p>\n\n\n\n

Docker-Umgebung<\/h4>\n\n\n\n

In dem Linux-Betriebssystem betreiben wir unser DWH in einer Docker-Umgebung. Dadurch k\u00f6nnen wir in der Docker-Umgebung genau die Software in genau der Version bereitstellen, die wir f\u00fcr unsere DWH-Anwendung ben\u00f6tigen.<\/p>\n\n\n\n

Die Docker-Umgebung eines DWH besteht aus dem Docker-Container f\u00fcr die DWH-Applikation dwh-app und dem Docker-Container f\u00fcr die DWH-Datenbank dwh-db. <\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Wir k\u00f6nnen so auf einem Server auch mehrere Stages betreiben: eine Development-, eine Test- und eine Produktionsumgebung.<\/p>\n\n\n\n

Zur Docker-Umgebung geh\u00f6rt auch ein Docker Repository, in dem die Images der DWH-Applikation abgelegt werden.<\/p>\n\n\n\n

PostgreSQL-Datenbank<\/h4>\n\n\n\n

Bei der Datenbank entscheiden wir uns f\u00fcr eine PostgreSQL-Datenbank, da sie mit einer freien Open-Source-Lizenz bereitgestellt wird und deshalb keine Lizenzkosten f\u00fcr die Datenbank anfallen. Erste Versuche, die wir mit einer freien MS-SQLServer-Express-Datenbank durchgef\u00fchrt haben, funktionierten nur bis zu einer DB-Gr\u00f6\u00dfe von ca. 10 GB. <\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

git-Repository<\/h4>\n\n\n\n

Die Software f\u00fcr unser DWH wird in einem git-Repository abgelegt. Wir nutzen daf\u00fcr ein Azure DevOps Projekt. Das git-Repository wird in Azure DevOps-Projekten kostenfrei zur Verf\u00fcgung gestellt.<\/p>\n\n\n\n

Continuous Integration<\/h4>\n\n\n\n

Jeder neue Stand der DWH-Prozesse, der im git-Repository gespeichert wird, triggert einen automatischen Build der Docker-Umgebung.<\/p>\n\n\n\n

dbt<\/h4>\n\n\n\n

Die Software, in der die DWH-Prozesse abgebildet werden, basiert auf dem Tool dbt:<\/p>\n\n\n\n

\n

data build tool<\/strong> (dbt<\/strong>) is an open-source<\/a> command line tool that helps analysts and engineers transform<\/a> data in their warehouse<\/a> more effectively.[2]<\/a><\/sup><\/p>\naus https:\/\/en.wikipedia.org\/wiki\/Data_build_tool, abgerufen am 31.03.2024<\/cite><\/blockquote>\n\n\n\n

In dbt werden die Transformationen mit Select-Statements und yaml-Konfigurationen beschrieben. Das dbt-Tool generiert daraus die ausf\u00fchrbaren Programme und die Dokumentation der Prozesse. <\/p>\n\n\n\n

Diese Software wird im Docker-Container dwh-app bereitgestellt.<\/p>\n\n\n\n

AutomateDV<\/h4>\n\n\n\n

Die Data Vault 2.0 Modellierung im DWH wird mit der dbt Package AutomateDV umgesetzt:<\/p>\n\n\n\n

\n

AutomateDV is a dbt package that generates & executes the ETL you need to build a Data Vault 2.0 Data Warehouse.<\/p>\naus https:\/\/automate-dv.readthedocs.io\/en\/latest\/, abgerufen am 31.03.2024<\/cite><\/blockquote>\n\n\n\n

Diese Software wird im Docker-Container dwh-app bereitgestellt.<\/p>\n\n\n\n

Weitere Skripte zur Automatisierung der Prozesse<\/h4>\n\n\n\n

F\u00fcr die Automatisierung werden Skripte verwendet, die im Docker-Container dwh-app \u00fcber cron gesteuert werden. So k\u00f6nnen t\u00e4gliche, w\u00f6chentliche oder monatliche Bereitstellungen und Aufbereitungen der Daten konfiguriert werden.<\/p>\n\n\n\n

Die Skripte sind in Powershell 7 geschrieben. Powershell 7 wurde als Plattform-\u00fcbergreifende Skriptsprache gew\u00e4hlt, da so auch eine Implementierung unter Windows vorstellbar ist.<\/p>\n\n\n\n

IDE<\/h4>\n\n\n\n

Zur Entwicklung der DWH-Software sollte eine IDE (Integrated Development Environment) verwendet werden.<\/p>\n\n\n\n

Wir haben uns f\u00fcr die Community Edition der IntelliJ IDEA entschieden. <\/p>\n\n\n\n

Database Tool<\/h4>\n\n\n\n

F\u00fcr die Verwaltung der PostgreSQL-Datenbank und zum Testen und Evaluieren von Select-Statements zum Datenbank-Zugriff nutzen wir das Database Tool DBeaver Community.<\/p>\n\n\n\n

Die Inhalte<\/h3>\n\n\n\n

Alle Definitionen und Transformationsregeln des DWH werden in der IDE entwickelt und im git-Repository gespeichert. <\/p>\n\n\n\n

Die DWH-Prozesse erledigen die folgenden Aufgaben:<\/p>\n\n\n\n

    \n
  • Export der ben\u00f6tigten Tabellen der operativen Systeme (OpSys) in CSV-Dateien (Skript)<\/li>\n\n\n\n
  • Laden der CSV-Dateien in die DWH-Datenbank in ein OpSys-Schema (Skript)<\/li>\n\n\n\n
  • Laden der Daten aus dem OpSys-Schema in die Persistent Staging Area (dbt)<\/li>\n\n\n\n
  • Aufr\u00e4umen der Persistent Staging Area, damit nur Monatsultimo-St\u00e4nde aufbewahrt werden (Skript)<\/li>\n\n\n\n
  • Bereitstellen der aktuellen Ladedaten in der Raw-Stage (dbt)<\/li>\n\n\n\n
  • Laden der Stage-Tabellen des Raw Vault (AutomateDV)<\/li>\n\n\n\n
  • Laden der Hubs, Links und Satellites des Raw Vault (AutomateDV)<\/li>\n\n\n\n
  • Erstellen der Views auf den Raw Vault (dbt)<\/li>\n\n\n\n
  • Ausf\u00fchren der Bereinigungen und Transformationen in der Raw-Stage des Business Vault (dbt)<\/li>\n\n\n\n
  • Laden der Stage-Tabellen des Business Vault (AutomateDV)<\/li>\n\n\n\n
  • Laden der Hubs, Links und Satellites des Business Vault (AutomateDV)<\/li>\n\n\n\n
  • Laden der Data Marts aus dem Business Vault und dem Raw Vault (dbt)<\/li>\n<\/ul>\n\n\n\n

    Diese Prozesse laufen t\u00e4glich, w\u00f6chentlich oder monatlich. Sie werden im Docker-Container dwh-app \u00fcber cron gesteuert.<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    Alle mit dbt oder AutomateDV gekennzeichneten Prozessschritte sind in der automatisch generierten dbt-Dokumentation enthalten und beschreiben so die gesamte Transformation aus den operativen Systemen \u00fcber den Raw Vault und den Business Vault bis zu den Data Marts.<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    In den n\u00e4chsten Monaten m\u00f6chte ich verschiedene Teile dieser L\u00f6sung im Detail vorstellen. Wenn Sie also an bestimmten Themen besonders interessiert sind, dann freue ich mich \u00fcber ihre Vorschl\u00e4ge!<\/p>\n\n\n\n

    Mein n\u00e4chster Post soll sich aber mit der Kraft der Abstraktion besch\u00e4ftigen. Ich werde zeigen, warum es gut und sogar unerl\u00e4\u00dflich ist, gewisse Dinge immer auf die gleiche Art zu tun und dann auch nicht mehr dar\u00fcber nachzudenken, warum.<\/p>\n","protected":false},"excerpt":{"rendered":"

    Was braucht man, um ein Data Warehouse (DWH) zu betreiben? Ich stelle ihnen hier eine L\u00f6sung vor, die einen virtuellen Server ben\u00f6tigt, auf dem das DWH betrieben werden kann. Au\u00dfer diesem virtuellen Server, f\u00fcr den monatliche Kosten anfallen, den Personalkosten f\u00fcr die DWH-Mitarbeiter und den Kosten f\u00fcr Training und Beratung werden nur Komponenten eingesetzt, die […]<\/p>\n","protected":false},"author":2,"featured_media":404,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[13,14,18],"tags":[],"class_list":["post-515","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-dwh","category-dv20","category-werkzeuge"],"_links":{"self":[{"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/posts\/515","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/comments?post=515"}],"version-history":[{"count":0,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/posts\/515\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/media\/404"}],"wp:attachment":[{"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/media?parent=515"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/categories?post=515"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.elrebo.de\/index.php\/wp-json\/wp\/v2\/tags?post=515"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}