重複行削除 — リストの重複をまとめて除去
重複する行を削除し、それぞれ最初の1行を順番どおりに残します
ブラウザー内で処理・アップロード不要
全0行 → 0行を残し、重複0行を削除
どんなツールか
リストの中で繰り返し出てくる行を見つけ、それぞれ最初の1行だけを残すツールです。メールアドレス、キーワード、ログ、設定値などを1行に1つずつ貼り付けると、重複を除いたリストがすぐに表示され、元の行数・残った行数・削除した行数もわかります。
使い方
- 入力欄に、1行に1項目ずつ貼り付けます。
- 必要に応じてオプションをオンにします。「大文字・小文字を無視」はAppleとappleを同じものとして扱い、「前後の空白を無視」は行の前後の空白を除いて比較し、「空行を削除」は空の行をすべて取り除きます。
- 重複を除いたリストが結果欄に表示されます。
- コピーを押して結果を取り出します。
処理のしくみ
- テキストを改行（\n または \r\n）で分割し、上から順に読みます。すでに出てきた行は飛ばし、新しい行だけを結果に加えます。
- 比較に使うのは、UnicodeのNFCで正規化した行です。オプションに応じて、前後の空白の除去や小文字化も行います。結果には常に元の行が残ります。
- 「大文字・小文字を無視」が影響するのは英字などの大文字・小文字がある文字だけで、ひらがな、カタカナ、漢字には影響しません。
- 初期設定では空行もほかの行と同じように扱われ、1行だけ残ります。「空行を削除」をオンにするとすべて消え、スペースやタブだけの行も空行とみなします。削除した空行の数は、重複とは別に表示されます。
- 入力の改行がWindows形式（\r\n）の場合、出力も同じ形式になります。
- 末尾の改行1つは、余分な空行としては数えません。
例
入力した行：apple、りんご、apple、Apple、りんご、バナナ
| オプション | 結果 | 削除 |
|---|---|---|
| 初期設定 | apple、りんご、Apple、バナナ | 2行 |
| 大文字・小文字を無視 | apple、りんご、バナナ | 3行 |
よくある質問
重複した行のうち、どれが残りますか？
最初に出てきた行です。2回目以降の行は削除され、残った行は元の順番を保ちます。
空白を無視すると、出力の空白も削除されますか？
削除されません。空白を無視するのは、2つの行が同じかどうかを判定するときだけです。残った行は入力したとおりのままです。
Macからコピーした濁点付きの文字も同じ行と判定されますか？
判定されます。比較の前にすべての行をUnicodeのNFCで正規化するので、macOSのファイル名などで濁点が分かれた形になった「ガ」も、通常の「ガ」と一致します。
全角と半角、ひらがなとカタカナは同じものとして扱われますか？
扱われません。「ABC」と「ＡＢＣ」、「りんご」と「リンゴ」は別の行として比較されます。
入力した行はアップロードされますか？
されません。すべてブラウザーの中で処理されます。
