テキストファイルから重複行を削除する方法

macOSやLinuxなどのUnix系OSで、テキストファイルから重複行を削除する方法です。

• テキストファイルから重複した行を削除するには、uniqコマンドを使う。
• テキストファイルは、事前にソート済みであること。ソートしていないと重複が残るので注意が必要。
• そのため、uniqの前にはテキストファイルをソートする事前処理を行うこと。

uniq テキストファイル名 出力ファイル名

uniqのあとに下記のオプションを付けると、出力結果を変えられます。

-c　重複行の数を行頭に表示します。
-d　重複行のみを表示します。
-u　ユニークな行のみを表示します。

uniq -d テキストファイル名