{"id":325,"date":"2024-10-29T20:09:04","date_gmt":"2024-10-29T20:09:04","guid":{"rendered":"https:\/\/oberle-it-beratung.de\/?p=325"},"modified":"2024-10-29T20:09:04","modified_gmt":"2024-10-29T20:09:04","slug":"wenn-datensaetze-verschwinden","status":"publish","type":"post","link":"https:\/\/www.elrebo.de\/index.php\/2024\/10\/29\/wenn-datensaetze-verschwinden\/","title":{"rendered":"Wenn Datens\u00e4tze verschwinden …"},"content":{"rendered":"\n

In einem Data Warehouse nach Data Vault 2.0 kann man sehr gut erkennen, wenn sich die Daten zu einem Gesch\u00e4ftsobjekt ver\u00e4ndern. Bei jeder \u00c4nderung wird ein neuer Datensatz mit dem aktuellen Ladedatum in den zugeh\u00f6rigen Satelliten eingetragen. Man kann an diesem Satelliten aber nicht erkennen, wenn der Datensatz zu diesem Gesch\u00e4ftsobjekt irgendwann wieder aus dem operativen System verschwindet. Der zuletzt eingetragene Datensatz bleibt im Satelliten erhalten und die Information, dass das Gesch\u00e4ftsobjekt “verschwunden” ist, muss im Data Warehouse auf andere Art dokumentiert werden. <\/p>\n\n\n\n

In diesem Beitrag geht es darum, wie das Verschwinden von Datens\u00e4tzen im Data Warehouse dokumentiert werden kann.<\/p>\n\n\n\n

Mein erster Ansatz, das Verschwinden von Datens\u00e4tzen zu dokumentieren, habe ich bereits im Artikel Willibald-Data: \u00dcbernahme der Kunden ins Data Warehouse<\/a> im Absatz “Was ist die Bedeutung der \u201eLast Seen\u201c-Tabellen?” beschrieben. Es handelt sich dabei um Satelliten, deren einzige Payload das Ladedatum ist. Da sich das Ladedatum bei jeder \u00dcbernahme der Daten ver\u00e4ndert, enth\u00e4lt dieser Satellit einen Datensatz f\u00fcr jeden Zeitpunkt, an dem der Datensatz im operativen System vorhanden war. Da nur der zuletzt geschriebene Satz relevant ist, werden – um Platz zu sparen – alle \u00e4lteren S\u00e4tze \u00fcber ein SQL-Skript gel\u00f6scht. Dieses Verfahren hat den Vorteil, dass es wenig Speicherplatz ben\u00f6tigt. Es kann aber nicht abbilden, wenn ein Datensatz verschwindet und sp\u00e4ter wieder auftaucht. Diese Datenl\u00fccke wird \u00fcber dieses Verfahren nicht dokumentiert.<\/p>\n\n\n\n

Besser w\u00e4re es nat\u00fcrlich, wenn nicht mehr g\u00fcltige Datens\u00e4tze im operativen System nicht einfach gel\u00f6scht werden w\u00fcrden, sondern nur das Ende der G\u00fcltigkeit vermerkt werden w\u00fcrde. Das Ende der G\u00fcltigkeit w\u00e4re dann ein ganz normales Datenfeld im Payload des Satelliten. Aber unser Data Warehouse muss ja auch mit anderen operativen Systemen arbeiten k\u00f6nnen.<\/p>\n\n\n\n

Eine weitere M\u00f6glichkeit bieten Systeme, die Change Data Capture (CDC) implementiert haben. Dabei werden alle Daten\u00e4nderungen kommuniziert und dazu geh\u00f6rt auch das L\u00f6schen der Daten. Auch hier ist das Ende der G\u00fcltigkeit eine Information im CDC-Satelliten.<\/p>\n\n\n\n

Da ich, wie oben bereits angedeutet, mit meiner ersten Implementierung (den “Last Seen”-Tabellen) nicht ganz zufrieden war, habe ich eine bessere L\u00f6sung gesucht und bin im Buch “Building a Scalable Data Warehouse with Data Vault 2.0<\/a>” von Dan Linstedt und Michael Olschimke auf die Record Tracking Satellites (RTS) gesto\u00dfen.<\/p>\n\n\n\n

Bei meiner Suche nach einem RTS-Makro in dem Toolset AutomateDV, das ich f\u00fcr die Umsetzung unseres DWH benutze, bin ich dann auf die Extended Tracking Satellites (XTS) gesto\u00dfen, die 2019 von Certus Solutions als Erg\u00e4nzung von DV2.0 auf der wwdvc-Konferenz vorgeschlagen worden sind. Eine Beschreibung davon gibt es in diesem Artikel von Patrick Cuba, den er 2021 auf Medium ver\u00f6ffentlicht hat: “Data Vault 2.0 has a new hero…<\/a>“.<\/p>\n\n\n\n

Die Beschreibung der XTS-Satelliten in AutomateDV steht hier: https:\/\/automate-dv.readthedocs.io\/en\/latest\/tutorial\/tut_xts\/<\/a> F\u00fcr jeden Hub und jeden Link wird ein XTS-Satellit angelegt, der die Tracking-Informationen f\u00fcr jeden Satelliten enth\u00e4lt, der an dem Hub bzw. Link definiert ist. <\/p>\n\n\n\n

In meinen Daten der Willibald-Challenge habe ich diese Situation:<\/p>\n\n\n\n