Datendeduplizierung mit KI: Entity Resolution – Automatisierte Datenbereinigung für mehr Effizienz

Datendeduplizierung: Das Problem

In einem Datensatz können Mehrfacheintragungen vorkommen, bei denen dieselbe Person oder dasselbe Objekt mehrfach aufgeführt ist. Ein häufiges Beispiel ist eine Mitarbeitendenliste, in der dieselbe Person unter verschiedenen Varianten aufgelistet ist.

Nehmen wir die Abteilungsleiterin „Frau Erika Mustermann“ als Beispiel. Sie wird möglicherweise unter verschiedenen Einträgen wie „Erika“, „Frau Mustermann“, „e.mustermann@firma.de“ oder „Abteilungsleiterin Musterabteilung“ geführt. Obwohl alle diese Einträge dieselbe Person bezeichnen, erscheinen sie einzeln.

Um diese Mehrfacheintragungen zu filtern, müssen die Datensätze eindeutig zuordenbar sein. Dafür muss eine Liste entstehen, auf der die Duplizierungen in einzelne eindeutige Datensätze gefiltert werden.

Mehrfacheintragungen führen zu höheren Betriebskosten durch redundante Datenverarbeitung, beeinträchtigen die Datenanalyse und verursachen unnötige Arbeitszeit für die Bereinigung. Zudem können sie zu Verwirrung führen, etwa wenn unterschiedliche Abteilungen auf inkonsistente Daten zugreifen oder wenn Fehlentscheidungen auf Basis unvollständiger Informationen getroffen werden.

Beispiel aus dem Alltag

Wir gehen von einem Kunden aus, der im Zuge eines Einkaufs oder zur Integration in eine zentrale Produktdatenbank Produkte von verschiedenen E-Commerce-Webseiten in die richtigen Kategorien einordnen muss. Zum Beispiel könnte ein Produkt auf einer Webseite in der Kategorie „Geräte > Pneumatik > Kontrollgeräte“ und auf einer anderen unter „Pneumatische Kontrollgeräte“ gelistet sein. Diese unterschiedlichen Kategorisierungen müssen korrekt zusammengeführt werden, um sicherzustellen, dass die Produkte überall konsistent und korrekt angezeigt werden.