Regelbasierte Ausreißersuche zur Datenqualitätsanalyse

Authors: 
Kübart, J,.; Grimmer, Udo; Hipp, Jochen
Author: 
Kübart, J
Grimmer, U
Hipp, J
Year: 
2005
Venue: 
Datenbankspektrum, Vol. 14, 2005
URL: 
http://www.datenbank-spektrum.de/pdf/dbs-14-22.pdf
Citations: 
4
Citations range: 
1 - 9
AttachmentSize
Kbart2005RegelbasierteAusreiersuche.pdf493.31 KB

Kritisch für Datenauswertungen und Datenmigrationen ist die Qualität der zugrunde liegenden Daten. Eine Analyse der Datenqualität ist insbesondere bei großen Datenbeständen jedoch eine nicht triviale Aufgabe. Wir stellen ein Verfahren zur regelbasierten Ausreißersuche in großen Datenbanken vor, das sowohl mit von Experten vorgegebenen Gültigkeitsregeln (\"Geschäftsregeln\") als auch mit automatisch aus Daten erzeugten Regeln eingesetzt werden kann. Anhand von Experimenten mit synthetischen Daten weisen wir die Effektivität der Fehlersuche nach und geben Hinweise für den erfolgreichen Einsatz des Verfahrens in der Praxis. Als besonders viel versprechend erweist sich dabei die gemeinsame Verwendung von Geschäftsregeln und Assoziationsregeln.