acento.io
Text-Werkzeug

Duplikate-Entferner

Doppelte Einträge aus Listen entfernen – Reihenfolge bleibt erhalten, alles läuft direkt im Browser.

Von Carlos Suárez , Systeminformatiker
Zuletzt aktualisiert:

Was dieser Duplikate-Entferner macht

Diese deutschsprachige Version des Tools nimmt jede beliebige Liste entgegen und entfernt doppelte Einträge – ohne die Originalreihenfolge zu zerstören. Ob du Duplikate aus einer Excel-Tabelle bereinigen, doppelte Zeilen in einem CSV-Export löschen oder eine Tag-Liste deduplizieren willst: du bekommst das Ergebnis sofort. Ein stiller Fallstrick bei programmatischem Deduplizieren ist das Leerzeichen-Problem – [...new Set(arr)] in JavaScript behandelt ' apple' und 'apple' als zwei verschiedene Einträge, weil kein automatisches Trimmen stattfindet. Die Trim-Option hier schließt diese Lücke. 100% im Browser – deine Daten verlassen nie dein Gerät. Keine Uploads, kein Tracking, keine Server-Logs.

Funktionen

  • Reihenfolge erhalten. Anders als viele Online-Tools erzwingt dieser Entferner keine alphabetische Sortierung – deine Prioritätsreihenfolge bleibt standardmäßig unverändert.
  • Flexibles Trennzeichen. Zeilenumbruch, Komma oder Semikolon – du wählst, wie deine Liste getrennt ist. Praktisch für CSV-Spalten oder durch Komma getrennte Keyword-Listen.
  • Leerzeichen-Trimming. Führende und nachfolgende Leerzeichen werden vor dem Vergleich entfernt, sodass ' Berlin' und 'Berlin' als Duplikat erkannt werden – nicht als zwei Einträge.
  • Groß-/Kleinschreibung steuern. Mit einem Klick entscheidest du, ob 'Email' und 'email' als gleich oder verschieden gelten – besonders wichtig beim Bereinigen von E-Mail-Listen oder Benutzernamen.
  • Optionale alphabetische Sortierung. Wenn du die Reihenfolge ohnehin nicht brauchst, sortiert die Sort-Option das Ergebnis direkt alphabetisch – ähnlich wie sort file.txt | uniq im Terminal.
  • Zähler auf einen Blick. Eingabe-Einträge, eindeutige Einträge und entfernte Duplikate werden live angezeigt, damit du den Bereinigungseffekt sofort einschätzen kannst.

So benutzt du den Duplikate-Entferner

Einfügen, Optionen wählen, kopieren – fertig. Kein Konto, keine Installation.

  1. Liste einfügen. Füge deine Liste in das Eingabefeld ein. Standardmäßig wird jede Zeile als eigener Eintrag behandelt.
  2. Trennzeichen und Optionen wählen. Wähle Komma oder Semikolon, falls deine Daten so getrennt sind. Aktiviere Trim, wenn Leerzeichen ein Problem sein könnten – das entspricht list(dict.fromkeys(items)) in Python, das ebenfalls die Reihenfolge bewahrt.
  3. Groß-/Kleinschreibung einstellen. Für E-Mail-Adressen oder Benutzernamen empfiehlt sich die Option 'Groß-/Kleinschreibung ignorieren', damit 'Max@example.com' und 'max@example.com' als Duplikat erkannt werden.
  4. Ergebnis kopieren. Klicke auf 'Kopieren', um die bereinigte Liste direkt in die Zwischenablage zu übernehmen. Der Zähler zeigt dir, wie viele Einträge entfernt wurden.

Häufige Anwendungsfälle

  • Excel-Duplikate entfernen ohne Sortierung. In Excel gehen beim Befehl 'Duplikate entfernen' die Zeilen nach dem ersten Vorkommen verloren, und die Reihenfolge bleibt erhalten – genau wie hier. Nützlich, wenn du Prioritätslisten aus München oder Berlin-basierten Vertriebs-CRMs zusammenführst.
  • E-Mail-Listen vor dem Versand bereinigen. Doppelte Adressen aus kopierten Newsletter-Exporten löschen, bevor du sie in eine Mailing-Software importierst. Mit der Trim-Option werden auch Leerzeichen-Varianten erkannt, die sonst unbemerkt doppelt landen würden.
  • CSV-Spaltenwerte deduplizieren. Wenn du mehrere Datenexporte zusammenführst und doppelte Zeilen in Excel oder Google Sheets löschen willst, kannst du die Spalte hier einfügen und bereinigt zurückkopieren. Falls du anschließend noch [Groß-/Kleinschreibung](./de/case-converter/) angleichen musst, hilft der Groß-/Kleinschreibung-Konverter weiter.
  • Keyword- und Tag-Listen aufräumen. Kommaseparierte Keyword-Listen aus verschiedenen Quellen enthalten oft stille Duplikate. Das Tool erkennt sie zuverlässig – auch wenn Leerzeichen nach dem Komma variieren.
  • Log-Zeilen deduplizieren. Wiederholte Einträge aus kopierten Log-Ausgaben entfernen, um den Überblick zu behalten. Wenn du anschließend Unterschiede zwischen zwei Log-Versionen prüfen willst, bietet sich der [Textvergleich](/de/text-diff/) an.

Häufig gestellte Fragen

Werden meine Daten auf einen Server hochgeladen?

Nein. Das Tool läuft vollständig im Browser – deine Liste verlässt nie dein Gerät. Es gibt keine Uploads, keinen Server und kein Tracking. Du kannst es auch offline nutzen, sobald die Seite einmal geladen ist.

Warum erkennt das Tool manche Duplikate nicht, obwohl die Einträge gleich aussehen?

Meistens liegt es an führenden oder nachfolgenden Leerzeichen. ' apple' und 'apple' sehen im Editor identisch aus, sind aber technisch verschieden – JavaScript's [...new Set(arr)] behandelt sie als zwei Werte. Aktiviere die Option 'Leerzeichen trimmen', um das Problem zu beheben.

Wie entferne ich Duplikate in Excel oder Google Sheets?

In Excel nutzt du 'Daten → Duplikate entfernen'. In Google Sheets gibt es 'Daten → Datenbereinigungs-Tool'. Beide Wege sortieren oder ändern die Reihenfolge nicht. Willst du nur eine einzelne Spalte oder eine kopierte Liste bereinigen, ist dieses Browser-Tool schneller – kein Öffnen einer Datei nötig.

Funktioniert das Tool auch für sehr große Listen?

Für die meisten Alltagsszenarien – Hunderte bis einige Tausend Einträge – ja, problemlos. Bei sehr großen Listen (100.000+ Einträge) kann die Verarbeitung den Browser kurz blockieren, da alles im Haupt-Thread läuft. Für solche Mengen empfiehlt sich ein serverseitiger Ansatz oder das Shell-Kommando sort file.txt | uniq.

Sollte ich Groß-/Kleinschreibung ignorieren?

Das hängt vom Anwendungsfall ab. Für E-Mail-Adressen und Benutzernamen lautet die Antwort fast immer ja – 'Max@example.de' und 'max@example.de' sind dieselbe Person. Für Programmierkonstanten oder Dateinamen kann die Unterscheidung dagegen bedeutsam sein. Der Duden listet rund 148.000 Stichwörter – Großschreibung ist im Deutschen strukturell relevant, in Daten aber meist ein Störfaktor.

Was ist der Unterschied zwischen 'Duplikate entfernen' und 'Sortieren + Deduplizieren'?

Ohne Sortierung bleibt das erste Vorkommen eines Eintrags an seiner ursprünglichen Position – die Prioritätsreihenfolge bleibt erhalten. Mit Sortierung wird das Ergebnis alphabetisch geordnet, was das erste Vorkommen verschieben kann. Wähle je nachdem, ob die Reihenfolge für dich bedeutsam ist. Für einfache Textmanipulationen danach eignet sich auch der [Groß-/Kleinschreibung-Konverter](/de/case-converter/).