Pythonでgzip圧縮されたファイルからデータを直接読み込む

Pythonでgzipで圧縮されたファイルを直接読んでみます。

gzipモジュール

拡張子がtar.gzなファイルは tarモジュールを使ってアクセスします。

拡張子がgzなだけの圧縮ファイルの場合は、展開してからアクセスしなくてもgzipモジュールで直接アクセスできます。

gzip.open(filename, [mode], [compresslevel], [encoding], [errors], [newline])

ファイルオブジェクトを返すメソッドです。

バイナリーモードとテキストモードがあります。読み込みはr、書き込みはw、バイナリーモードはb、テキストモードはtの文字を組み合わせてmodeに指定します。

compresslevelなどは、読み込みでは指定不要です。

試してみましょう。

このような内容のテキストファイルを作成して、test.txtというファイル名で保存します。

難波津に咲くやこの花冬ごもり今は春べと咲くやこの花
ちはやぶる神代も聞かず竜田川からくれなゐに水くくるとは
瀬をはやみ岩にせかるる滝川のわれても末に逢はむとぞ思ふ
憂かりける人を初瀬の山おろしよ激しかれとは祈らぬものを
もろともにあはれと思え山桜花よりほかに知る人もなし

これをgzipで圧縮します。

$ gzip test.txt

できあがったtest.txt.gzをPythonで読み込んで、２行目を取り出してみます。

import gzip

with gzip.open('test.txt.gz', mode='rt', encoding='utf-8') as f:
    data = f.read()

print(data.split('\n')[1])

ちはやぶる神代も聞かず竜田川からくれなゐに水くくるとは

公開日 2018-07-13