名前はまだない

インフラとバックエンドの間を彷徨っているエンジニア…の卵

gzipに時間を使い過ぎでは??

ターゲット

gzipで時間を浪費している人

経緯

データ圧縮する時によく見るファイル形式、.gz
このファイルを生成するのに今までgzipを使っていた

が、結構時間がかかる

pigz

調べていたらpigzなるものがあるらしい
gzipとは違ってマルチコアで処理してくれるので早いらしい
RHELだと

yum install pigz

でインストールできる

zlib.net

検証

とある同一ファイル(約5.7GB)を使って圧縮にかかる時間をtimeコマンドを使って計算してみた

検証機

12CPUs, 12GiB

検証結果

command real user sys
gzip 4m42.126s 4m35.553s 0m4.971s
pigz 1m1.160s 5m34.978s 0m5.872s

1/4くらいに縮まった
今まで圧縮中にTwitter見てたのに見れなくなってしまった