wget

wget コマンドはインターネット上に置かれているファイルをローカルにダウンロードするときに利用する。似た機能を持つコマンドとして curl がある。

wget

ファイル名を指定してダウンロード

wget を利用して、ヒトゲノムのデータを Ensembl FTP サーバーからダウンロードする例。

wget ftp://ftp.ensembl.org/pub/release-68/fasta/homo_sapiens/dna/Homo_sapiens.GRCh37.68.dna.toplevel.fa.gz

拡張子を指定してダウンロード

指定したダウンロード先がディレクトリであり、その中に様々な拡張子をもつファイルがあるとき、特定の拡張子を持ったファイルだけをダウンロードする場合は -A オプションを利用する。

例えば、指定先のディレクトリに含まれているファイルのうち、「.seq.gz」で終わるファイルをダウンロードするときは、-A .seq.gz のように指定する。

wget -A .seq.gz ftp://ftp.ncbi.nih.gov/genbank/

階層のレベルを指定してダウンロード

ダウンロードしたいファイルが複数のディレクトリに保存されている場合は、回帰オプション -r を利用することで一括ダウンロードできる。

例えば、「ftp://ftp.ddbj.nig.ac.jp/mirror_database/pdb/distr/英数字/PDBファイル」のように保存されているディレクトリから PDB ファイルをダウンロードする場合は、-l 2 -r と指定する(-r は回帰、-l は階層レベル)。

wget -l 2 -r ftp://ftp.ddbj.nig.ac.jp/mirror_database/pdb/distr/

ダウンロードしたファイルはサーバー上と同じようなディレクトリ構成で保存される。ダウンロードしたファイルをすべて指定先のディレクトリに保存するには -nd -P オプションをつける。「./data」ディレクトリにダウンロードする例。

wget -l 2 -r -nd -P ./data ftp://ftp.ddbj.nig.ac.jp/mirror_database/pdb/distr/

途中からダウンロードの再開

ダウンロード中で何らかの原因によってダウンロードが中断された場合、レジューム機能を利用することで、途中から再開することができる。オプションに -c を付ける。

# ダウンロード
wget ftp://ftp.ensembl.org/pub/release-68/fasta/homo_sapiens/dna/Homo_sapiens.GRCh37.68.dna.toplevel.fa.gz

# 中断(Ctrl + C)

# ダウンロードの再開
wget -c ftp://ftp.ensembl.org/pub/release-68/fasta/homo_sapiens/dna/Homo_sapiens.GRCh37.68.dna.toplevel.fa.gz