テキストファイルから重複行を削除する方法

macOSやLinuxなどのUnix系OSで、テキストファイルから重複行を削除する方法です。

  • テキストファイルから重複した行を削除するには、uniqコマンドを使う。
  • テキストファイルは、事前にソート済みであること。ソートしていないと重複が残るので注意が必要。
  • そのため、uniqの前にはテキストファイルをソートする事前処理を行うこと。
uniq テキストファイル名 出力ファイル名

uniqのあとに下記のオプションを付けると、出力結果を変えられます。

-c 重複行の数を行頭に表示します。
-d 重複行のみを表示します。
-u ユニークな行のみを表示します。
uniq -d テキストファイル名
メッセージ:
W U F I A