圧縮を速くする(pigz)

By | 2013年7月11日

IMG_0553

nigaraです。今風のblogみたく画像を入れてみました。あんまり意味はないです。

XtraBackupでダンプを早くしたのは良かったのですが、レコード数が多いと容量をだいぶ使います。今扱っている環境だと、MySQLのデータファイルの70%ほどがダンプファイルとなるので10G超えると結構やっかいな存在となっています。

で、そのままだとHDDでは全然足りなくなるので圧縮するのですが、数十Gもあると圧縮にも時間が掛かります。そこで圧縮の高速化を施します。

  • 遅い圧縮

昔ながらの圧縮で至ってシンプル。シングルスレッドで単純に変換しているだけなのでCPUは1コアしか使われません。最近は4コアが普通ですのでマルチスレッドで圧縮すればだいぶ速くなります。いくつか方法はありますが、簡単にインストール出来て互換性の高い「pigz」を使うことにしました。

 

  • インストール方法

epelレポジトリの追加

pigzのインストール

 

  • 使い方

tarで(使い方の)互換性を維持するには、オプションの「z」を外して「–use-compress-program=pigz」を追加します。

 

  • 結果

Intel(R) Xeon(R) CPU E3-1265L V2 @ 2.50GHz

およそ3倍。

スクリーンショット 2013-07-11 19.28.35

CPUがフルで使われる様子はなかなか良いものです。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です