gzipに時間を使い過ぎでは??
ターゲット
gzip
で時間を浪費している人
経緯
データ圧縮する時によく見るファイル形式、.gz
このファイルを生成するのに今までgzip
を使っていた
が、結構時間がかかる
pigz
調べていたらpigz
なるものがあるらしい
gzip
とは違ってマルチコアで処理してくれるので早いらしい
RHELだと
yum install pigz
でインストールできる
検証
とある同一ファイル(約5.7GB)を使って圧縮にかかる時間をtime
コマンドを使って計算してみた
検証機
12CPUs, 12GiB
検証結果
command | real | user | sys |
---|---|---|---|
gzip | 4m42.126s | 4m35.553s | 0m4.971s |
pigz | 1m1.160s | 5m34.978s | 0m5.872s |
1/4くらいに縮まった
今まで圧縮中にTwitter見てたのに見れなくなってしまった