ファイル内の重複行を削除する。

ログの集計をしていると重複行があって上手くいかなかいことがあった。
簡単なcsvだったので、プログラムを書くよりもbashでやりたいなと検索したら、awkでよろしくやっている記事を見つけたので真似してみた。

$ awk '!a[$0]++' access.log > access_uniq.log

下記参考にも書いてあるが、各行を配列に入れていき重複した行は出力しないようにawkが書かれている。