3-1
•Download as PPTX, PDF•
0 likes•600 views
「生命科学者のためのDr.Bonoデータ解析実践道場」読書会 @大阪 https://oum-python.connpass.com/event/149085/
More Related Content
What's hot
Similar to 3-1
Similar to 3-1 (12)
Recently uploaded
Recently uploaded (10)
3-1
- 1. データベースからのデータ取得 奈良医大 4回 原 篤志
- 4. データ取得にコマンドラインを使うワケ ・圧縮データを解凍してほしくない 圧縮されたデータ(.gz, .zip, .bz2 etc)をSafariでダウンロードする と同時に解凍されてしまう... ・まとめて複数ファイルを保存できる 連番とか階層構造になってるデータなどを一気にダウンロー ドできる！
- 5. よく使うコマンド cd ：ディレクトリを移動 mkdir ：ディレクトリを作る less ：ファイルの中身を見る(Spaceで進む、bで戻る、qで閉じる) ls ：ディレクトリの内容を見る -a ：隠しファイルも表示 -l ：サイズやパーミッションを表示 rm ：ファイル削除 -r ：中身ごとディレクトリ削除 mv ：ファイルの移動、名前変更 grep ：ファイル中の文字列を検索
- 6. ワイルドカード ワイルドカード 一致する文字列 ? 任意の一文字 * 任意の文字列 [文字列] 文字列に含まれる一文字 [!文字列] 文字列に含まれない一文字 h?ge → hoge, huge h*ge → heuge, hikage h[aiueo]ge → huge, hoge h[!aiueo]ge → hyge txtファイルだけ消したい！ → rm *.txt 全部消したい！ → rm * 例 文字列の特徴から複数の文字列を指定する
- 7. 正規表現 ワイルドカードより詳しく指定できる 正規表現 一致する文字列 . 任意の一文字 * 直前の文字の繰り返し [文字列] 文字列に含まれる、いずれかの一文字 [^文字列] 文字列に含まれない、いずれかの一文字 直後のメタ文字の意味を打ち消す 他にも色々 拡張正規表現もある
- 8. 標準出力とパイプライン > : 標準出力 2> : エラー出力 >> : 上書きして出力 | : コマンドの結果を次のコマンドに渡す
- 10. データベースいろいろ アノテーションもいろいろ ● Entrez：NCBIが定義した遺伝子1つ1つにあてがわれるID ex) 2597, 16193 ● Genbank：NCBIが塩基配列を提供するDB (DDBJ, EMBLにもシェアされている) ex) X60188, NR_003589, LC170036 ● Refseq ex) NM_018009, NP_001035700 ● Ensembl ex) ENSG00000010404, ENST00000296026, ENSP00000296026 ● Uniprot ● GEO ex) GSE36570, GSM896985 ● ArrayExpress ex) E-MTAB-8284
- 11. DDBJ KEGG PDJNCBIEBI Uniprot TOGOWS ユーザー TOGOWSとは 色々なデータベースのデータを統合して、 簡単にアクセスできるようにするサービス
- 12. TOGOWSを通してデータを取得 curl -O http://togows.org/entry/ddbj-ddbj/LC170036.fasta ヘッダー 配列 curl -O http://togows.org/entry/ddbj-ddbj/LC170036 curl -O http://togows.org/entry/uniprot/HIF1_CAEEL.fasta
- 13. 繰り返し処理で複数のデータを取得 DBから連番のデータを一気にダウンロードしたい！ 繰り返し使えば一発でできます！ for i in `seq 437098 437155` do echo “getting LC$i” curl http://togows.org/entry/ddbj-ddbj/LC$i.fasta >> seq.fasta sleep 1 done 437098, 437099・・・437155 curlの結果をseq.fastaに書き加えていく LC437098〜LC437155のfastaファイルが一気に取得できた！
- 15. 余談：クォートの違い シングルクォート hoge=’Hello World!’ echo ‘echo $hoge’ ダブルクォート hoge=’Hello World!’ echo “echo $hoge” バッククォート hoge=’Hello World!’ echo `echo $hoge` Hello World! echo $hoge echo Hello World!
- 16. 余談：クォートの違い シングルクォート hoge=’Hello World!’ echo ‘echo $hoge’ ダブルクォート hoge=’Hello World!’ echo “echo $hoge” バッククォート hoge=’Hello World!’ echo `echo $hoge` Hello World! echo $hoge echo Hello World! 中身をコマンドとして処理 `hogehoge`と$(hogehoge)は同義 中身の変数、正規表現を展開 単なる文字列として処理
- 17. リストから一気にデータ取得 アクセッションナンバーのリストからデータを取得する IFS=$'n' for entry in `cat entries.txt` do curl -O http://togows.org/entry/ddbj-ddbj/$entry.fasta done entries.txtから1行ずつ取り出してデータを取得 ダウンロードできてない... (NM...はRefseqのIDなので)
- 18. リストから一気にデータ取得 異なるDBのIDは分けてから取得する grep “^NM” entries.txt > entriesNM.txt for i in `cat entriesNM.txt` do curl -O http://togows.org/entry/ncbi-nucleotide/$entry.fasta done いろんなDBを合わせて取得することはできない！ 別々に取り扱う！
- 19. DBそのものを取得 UniprotKBにあるタンパク質配列を全てダウンロードする curl -O ftp://ftp.uniprot.org/pub/databases/uniprot/current_release/knowledgebase/complete/uniprot_sprot.fasta.gz Ensemble human genomeの塩基配列をfasta形式で取得 (GRCh38) curl -O ftp://ftp.ensembl.org/pub/current_fasta/homo_sapiens/dna/Homo_sapiens.GRCh38.dna.toplevel.fa.gz
- 21. lftpを用いた再帰的ダウンロード lftp <<-END open ftp.ensembl.org/pub/current_fasta find END 再帰的にディレクトリ内のファイルを一覧表示 ENDと入力されたら終了 おわり get_ensembl_list.sh bash get_ensembl_list.sh > ensembl_list.txt get_ensembl_list.shでensemblにあるfasta形式のファイル一覧を表示し、 ensembl_list.txtに書き込む ensemblにあるfasta形式ファイルの一覧を取得する
- 22. fasta形式のタンパク質配列をまとめて取得 lftpを用いた再帰的ダウンロード grep pep.all.fa.gz ensembl_list.txt | awk '{print "GET" $1 }' > ensembl_pep.txt ensembl_list.txtのうちタンパク質配列を検索 頭にlftpのファイル取得コマンド、GETをつける ensembl_pep.txt