Usuwanie duplikatów słów kluczowych

Wklej listę wiersz po wierszu i zachowaj tylko unikalne wartości. Dodatkowo możesz usunąć puste wiersze, zmienić wielkość liter i posortować wynik. Przed normalizacją URL-i, adresów e-mail, kodów produktów i identyfikatorów sprawdź, które różnice mają znaczenie w Twoim systemie.

Co dokładnie uznaje się za duplikat

Narzędzie porównuje ciągi znaków, a nie ich znaczenie. Pełne duplikaty to wartości, które są zgodne po wybranych przekształceniach.

Bez wcześniejszego czyszczenia te wiersze mogą być uznane za różne:

Przyczyny różnic:

• inna wielkość liter;
• spacja lub tabulator na początku lub na końcu;
• dwie spacje zamiast jednej;
• spacja niełamiąca (NBSP);
• różne myślniki lub cudzysłowy;
• niewidoczny znak Unicode;
• różne formy słowa lub kolejność słów.

Zdania kupić sofę i sofę kupić nie są dokładnymi duplikatami. Ich ewentualna bliskość znaczeniowa wymaga osobnej analizy.

Bezpieczna kolejność czyszczenia zwykłej listy

W przypadku słów kluczowych, tagów, miast lub nazw często sprawdza się taka kolejność:

1. zachowaj kopię oryginału;
2. usuń spacje i tabulatory na krańcach wierszy;
3. usuń puste wiersze;
4. w razie potrzeby doprowadź tekst do jednej wielkości liter;
5. usuń dokładne duplikaty;
6. sortuj tylko wtedy, gdy kolejność nie jest już potrzebna.

Przekształcenia muszą być wykonane przed usunięciem duplikatów. W przeciwnym razie Example i example pozostaną oddzielnymi wierszami, a po późniejszej zmianie wielkości liter staną się dwiema identycznymi wartościami.

Duplikaty dokładne i znaczeniowe

Duplikaty dokładne

Można je usunąć automatycznie.

Duplikaty po prostej normalizacji

Będą zgodne po zmianie wielkości liter i usunięciu spacji na końcu.

Duplikaty znaczeniowe lub kanoniczne

Zwykłe narzędzie nie powinno usuwać ich automatycznie. Dla słów kluczowych potrzebna jest analiza wyników wyszukiwania, intencji i grupowanie; dla produktów — reguły katalogu; dla osób i organizacji — identyfikatory lub ręczna weryfikacja.

Szczególna ostrożność z listami URL-i

Nie można bezwarunkowo konwertować całego URL-a na małe litery. Zgodnie ze standardem schemat i nazwa hosta nie rozróżniają wielkości liter:

Jednak ścieżka, parametry i fragment mogą być wrażliwe na wielkość liter w konkretnym systemie:

Nie można uznać tych adresów za jeden URL bez sprawdzenia witryny.

Ponadto narzędzie do dokładnego usuwania duplikatów nie określi automatycznie, czy te warianty są równoważne:

Ich łączenie zależy od przekierowań, kanonicznych URL-i, konfiguracji serwera i Twojego zadania. Najpierw usuwaj tylko dokładne powtórzenia, a następnie osobno analizuj kanonizację.

Co uwzględnić w przypadku adresów e-mail

Część domenową po @ można konwertować na małe litery. Z częścią lokalną przed @ sytuacja jest bardziej skomplikowana: standard dopuszcza wrażliwość na wielkość liter, chociaż wiele nowoczesnych systemów pocztowych faktycznie jej nie używa.

Dlatego pełna konwersja wszystkich adresów e-mail na małe litery jest zwykle wygodna dla konkretnej znanej bazy, ale nie powinna być uważana za uniwersalnie bezbłędną regułę. W przypadku newsletterów nie wystarczy również usunąć duplikatów tekstowych: należy uwzględnić zgodę odbiorców, nieprawidłowe adresy, rezygnacje i stłumione kontakty.

Kody produktów, kody, hashe i identyfikatory

W takich wartościach wielkość liter może być częścią identyfikatora:

Przed zmianą wielkości liter sprawdź dokumentację CRM, sklepu, API lub bazy danych. To samo dotyczy kodów promocyjnych, tokenów, UUID w niestandardowym formacie, nazw plików i kluczy obiektów.

Unicode i niewidoczne różnice

Tekst wyglądający identycznie może być reprezentowany przez różne sekwencje Unicode. Na przykład litera ze znakiem diakrytycznym może być przechowywana jako pojedynczy znak lub jako litera i oddzielny znak łączący. Zwykłe porównanie może uznać je za różne ciągi.

Występują również:

• spacja niełamiąca (NBSP);
• wąska spacja niełamiąca;
• znaki o zerowej szerokości;
• różne myślniki: -, –, —;
• wizualnie podobne litery z alfabetu łacińskiego i cyrylicy.

Obecne narzędzie nie jest zobowiązane do przeprowadzania pełnej normalizacji Unicode ani wykrywania podstawień alfabetów. Jeśli po czyszczeniu pozostaną tajemnicze powtórzenia, sprawdź punkty kodowe za pomocą specjalistycznego analizatora.

Czy należy sortować wynik?

Sortowanie ułatwia przeglądanie i pomaga zauważyć podobne wiersze obok siebie, ale zmienia oryginalną kolejność. Może to być krytyczne dla:

• list priorytetów;
• kolejek zadań;
• struktur menu;
• sekwencji poleceń;
• danych, gdzie wiersz jest powiązany z numerem lub sąsiednim wierszem.

Jeśli kolejność jest ważna, usuwaj duplikaty z zachowaniem pierwszego wystąpienia i nie włączaj sortowania.

Scenariusze praktyczne

Słowa kluczowe

Doprowadź wielkość liter do jednolitej postaci, oczyść krańce wierszy i usuń dokładne duplikaty. Nie usuwaj przestawień słów ani bliskich sformułowań bez analizy wyników wyszukiwania i grupowania.

Lista domen

Nazwy domen można konwertować na małe litery. Sprawdź, czy lista nie zawiera pełnych URL-i ze ścieżkami i parametrami — dla nich zasady są bardziej rygorystyczne.

URL-e z kilku eksportów

Najpierw usuń dokładne powtórzenia. Następnie oddzielnie zdecyduj, czy wykluczyć parametry UTM, fragmenty, końcowy ukośnik, protokół lub www. Takiej decyzji nie można podjąć jednakowo dla wszystkich witryn.

Nazwy produktów

Dokładne dopasowanie nazwy nie zawsze oznacza duplikat produktu: mogą różnić się rozmiarem, kolorem, konfiguracją lub SKU. I odwrotnie, jeden produkt może mieć nieco różne nazwy. Użyj kodu produktu lub innego stabilnego identyfikatora.

Baza e-maili

Usuń puste i powtarzające się wiersze, ale nie traktuj tego jako pełnego przygotowania do wysyłki. Potrzebna jest weryfikacja składni, statusu subskrypcji, rezygnacji i zasad konkretnej usługi pocztowej.

Jak sprawdzić wynik

1. Porównaj liczbę wierszy przed i po przetworzeniu.
2. Przejrzyj kilka usuniętych wartości, jeśli interfejs pozwala zachować oryginał obok.
3. Upewnij się, że wielkość liter nie miała znaczenia.
4. Sprawdź początek i koniec listy po sortowaniu.
5. W przypadku ważnych danych wykonaj testowy import niewielkiej części.

Często zadawane pytania

Dlaczego podobne wiersze pozostały po usunięciu duplikatów?

Mogą się różnić spacjami, wielkością liter, znakami interpunkcyjnymi, znakami Unicode lub formami słów. Narzędzie usuwa pasujące ciągi, a nie to samo znaczenie.

Czy można przekonwertować wszystkie URL-e na małe litery?

Nie. Bezpiecznie jest znormalizować wielkość liter schematu i domeny, ale ścieżka i parametry mogą być wrażliwe na wielkość liter.

Które wystąpienie jest zachowywane przy powtórzeniu?

Zazwyczaj zachowywana jest jedna z identycznych wartości. Jeśli dla Twojego zadania ważne jest zachowanie pierwszego lub ostatniego wystąpienia i powiązanej kolejności, sprawdź zachowanie na krótkiej liście testowej.

Dlaczego sortowanie zniszczyło strukturę danych?

Sortowanie działa na ciągach niezależnie i nie zna ich grup znaczeniowych. Nie używaj go dla wielowierszowych rekordów lub powiązanych kolumn wklejonych jako zwykły tekst.

Czy narzędzie usunie duplikaty stron z parametrami UTM?

Nie jako duplikaty kanoniczne: URL-e z różnymi parametrami są różnymi ciągami. Do ich połączenia należy oddzielnie określić, które parametry można usunąć bez zmiany znaczenia.

Powiązane narzędzia: Procesor tekstu; Kombinator słów kluczowych; Diffchecker.

Oficjalny standard:
RFC 3986 — URI Generic Syntax: https://www.rfc-editor.org/rfc/rfc3986