バカでかいテキストファイルを処理しやすいように分割したい。もちろん分割は改行位置で行わないと行が分断されてしまう。簡単なプログラムなので自分で書こうかと思ったけど、調べたらそういうコマンドがあったのでそれを使う。
testファイルを1000行ごとに切り出し,”out.”で始まるファイルに順次書き出す。
1 |
$ split -l 1000 test out. |
すると、アルファベットのシーケンスを拡張子とするファイルが生成される。
1 2 3 4 |
out.aa out.ab out.ac ... |
参考サイト
Linuxコマンド集 – 【 split 】 ファイルを分割する:ITpro
http://itpro.nikkeibp.co.jp/article/COLUMN/20060227/230888/