[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
•
0 likes•1,345 views
軽量仮想環境を用いてNGSデータの解析再現性を担保する 講師：大田達郎（ライフサイエンス統合データベースセンター 特任研究員） 2015年6月12日「第31回 DDBJing 講習会 in 東京」 ＠国立研究開発法人 科学技術振興機構 東京本部別館 YouTube：YouTube：http://youtu.be/pGtAGOjN2rw DDBJing 講習会：http://www.ddbj.nig.ac.jp/ddbjing/ddbjing.html
Recommended
Recommended
More Related Content
What's hot
What's hot (12)
Viewers also liked
Viewers also liked (20)
Similar to [DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
Similar to [DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する (20)
More from DNA Data Bank of Japan center
More from DNA Data Bank of Japan center (20)
Recently uploaded
Recently uploaded (7)
[DDBJing31] 軽量仮想環境を用いてNGSデータの解析再現性を担保する
- 1. 軽量仮想環境を用いてNGSデータの解析再現性を担保する Reproducibility as a Service: Virtual Appliance for NGS data analysis Tazro Ohta t.ohta@dbcls.rois.ac.jp Database Center for Life Science, Japan prepared for 第31回 DDBJing 講習会 in 東京 12 Jun. 2015
- 2. Tazro Inutano Ohta DBCLS, ROIS twitter.com/inutano github.com/inutano speakerdeck.com/inutano
- 3. 1. Challenges データサイエンスでのインフラ的諸問題 2. Technologies 新たな技術による問題解決 3. The future さらなる課題と目指す先
- 5. 1. Computational Resource Management 計算機リソースが足りない，どれだけあっても全然足りない 2. Sharing Analysis Protocols and History 解析プロトコルの共有と再実行のコストが高い，自分も他人も再現できない Challenges
- 6. Challenges #1 Computational Resource Management • かつて次世代と呼ばれたシーケンサによるデータの爆発的増加 • ゲノム科学は計算機と数学を駆使するデータ・サイエンスへ • 遺伝研スパコンはゲノム解析向けにスパコンシステムを更新 (2012) • !!! 完全無料 !!! • ユーザが増え、ジョブが増え、データが増え、不満も増えた • 遺伝研ユーザ会において利用者の要望をヒアリング • リソースが足りない • ジョブが実行できない • ストレージが足りない • SGEの限界
- 7. 大学共同利用機関法人 情報・システム研究機構 国立遺伝学研究所 SuperComputer Facilities of National Institute of Genetics photo from http://sc.ddbj.nig.ac.jp/index.php/ja-gallery
- 11. Challenges #1 Computational Resource Management • 遺伝研スパコンが要求されていること • 計算機資源利用の効率が最大化されていること • ソフトウェア開発者にとって自由度の高い環境であること • 計算機の知識がなくても大規模なデータ解析が実行できること • 扱うデータのセキュリティが担保されていること • 主要なDBが使いやすい状態でアクセスできること
- 12. Sharing Analysis Protocols and History Challenges #2 • 対話的にスパコンを利用したデータ解析を(自分で|他人が)再現できない • 共用計算機ではデータ解析のための環境構築にかかるコストが高くなる • 環境構築∼実行までの解析の再現に人手を要する • 解析の環境設定/実行履歴を共有、再実行するための方法が統一されていない • GalaxyのHistoryのような機能はあらゆるデータ解析にとって必要 • 現状では自然言語を介した情報交換が行われている • Materials and Methods • Supplementary
- 13. 共用スパコンで利用できるソフトウェアの種類とバージョンには限りがある http://sc.ddbj.nig.ac.jp/index.php/ja-avail-oss or /usr/local/pkg/oss_info.tsv (DDBJ supercomputer)
- 21. 1. Virtual Appliance: Linux Containers コンテナ型仮想と「実行可能な計算機環境」の記述 2. Apache Mesos: Abstract Computational Resources 計算機資源の抽象化による「バーチャルな巨大データセンター」の実現 3. Data Handling and Workflow Execution 巨大データとワークフロー実行，ゲノム科学の要求を満たす技術 Technologies
- 22. Technologies #1 Virtual Appliance: Linux Containers • Linux Containers (LXC) • 複数の独立したLinuxシステム(コンテナ)を1つのLinuxホスト上で稼働させる • ハイパーバイザを稼働させず、リソースをホストから独立させる • cgroupによるCPU, memory, block I/O, network, namespaceの分離 • これまでのコンテナ型仮想の流れを む技術 • IBM Mainframes LPAR，Parallels Virtuozzo，Soralis Containers • http://en.wikipedia.org/wiki/LXC
- 24. Technologies #1 Virtual Appliance: Linux Containers To Docker • Docker • コンテナ型仮想化の技術からプラットフォームへ • LXCにAUFS (Another Unionfs) を組み合わせてコンテナイメージを制御する • ファイルシステムに差分データを重ね透過的に扱う技術 • 現在のDocker (v0.9以降) は LXCではなくDocker 独自の libcontainer を採用 • Dockerによってコンテナ仮想がトレンドに • www.docker.com • 🐳
- 25. Docker
- 27. Dockerfile: コンテナのビルド手順をコードで記述する (Infrastructure as Code) http://hub.docker.com/u/inutano/fastqc/
- 28. Dockerfile: コンテナのビルド手順をコードで記述する (Infrastructure as Code) http://hub.docker.com/u/inutano/fastqc/ $ nano Dockerfile # edit Dockerfile $ docker build -t inutano/fastqc . $ docker run -it inutano/fastqc fastqc sample.fastq
- 29. Technologies #2 Apache Mesos: Abstract Computational Resources • コンテナをスパコンで動かすためにはリソースマネージャとスケジューラが必要 • 従来型のジョブ分散実行エンジンであるSGEでは柔軟性にやや難あり • やってるところもある: http://www.nextflow.io/ • 動的なスケールアウトやスナップショットに対応したい • Apache Mesos http://mesos.apache.org/ • 複数のDC/計算ノードを束ねて1つのマシンのように見せる技術 • CPU, memory, storageなどを抽象化する • 従来のMPIだけでなくHadoopやSparkなどの新しい分散処理にも対応 • 独自のスケジューラを持たずフレームワークに対しリソース配分のAPIを提供
- 31. Apache Mesos: UC Berkeley amplabで計算機クラスタのリソースシェアのために開発 https://amplab.cs.berkeley.edu/projects/mesos-dynamic-resource-sharing-for-clusters/
- 32. Apache Mesos: 論文もオープンになっている (その後Apacheプロジェクトへ) http://mesos.berkeley.edu/mesos_tech_report.pdf
- 34. Technologies #2 Apache Mesos: Various MiddleWares for Scheduling Containers • Mesos上で動く汎用のスケジューラが複数開発されている • Chronos • MesosにおけるCronを実現するスケジューラ • Marathon • MesosにおけるLong-Runningなアプリケーションのためのスケジューラ • Apache Aurora • ChronosとMarathonの特徴を併せ持ちPythonベースのDSLを持つ • Mesos schedularはサル🐒でも自作できる • http://www.slideshare.net/wallyqs/mesos-scheduler
- 38. Marathon: Mesos Masterなどと同様 init などで起動，GUIから簡単にappがスケールする https://mesosphere.github.io/marathon/
- 39. Apache Aurora: QuotaやMulti Userにも対応，実行命令を記述するDSLを持つ http://aurora.apache.org
- 40. Apache Aurora: Job, Task, ProcessそれぞれについてpythonベースのDSLで記述する ただしresource allocationはtaskごとなのでちょっと使いづらい?
- 42. Mesosphere: DataCenter Operating System (DCOS)を開発 https://mesosphere.com/learn/
- 43. Technologies #3 Data Handling and Workflow Execution • コンテナ実行による問題としてデータ永続性の問題がある • ホストのファイルシステム上のディレクトリをマウントして書き込み • 複数の遠隔DCをMesosで抽象化した時にデータをどのように扱うか？ • Cloud Burst Buffer by TITech • MMCFTP by NII • コンテナを組み合わせたワークフローをどのように実行するか？ • 解析ワークフロー記述の標準化 • Common Workflow Language • https://github.com/common-workflow-language/common-workflow-language
- 44. MMCFTP: Massively MultiConnection FTP developed by NII モニタ参加中 http://ci.nii.ac.jp/naid/110009886191
- 45. Cloud-based I/O Burst Buffer: クラウド上のデータにスパコンから高速にアクセスする 統計数理研究所 公開講演会 2014 (http://www.ism.ac.jp/kouenkai/) 東工大松岡先生の講演スライドより引用
- 46. Common Workflow Language: OSSで開発される標準的なワークフロー記述のためのFW https://github.com/common-workflow-language/common-workflow-language
- 47. NIGスパコンの既存環境から切り離したノードでDocker Container on Mesosを実行する Implementation for proof-of-concept
- 48. 📄 📄 📄📄 Apache Mesos + Chronos manager Node Node Node Node Node Public/Private Docker Registry Dockerfiles workflow.json 📦📦 📦 🔡 Data 📦 Storage post post/get transfer push pull run mount 📡 🔡 User システム概略
- 49. 📄workflow.json 📄workflow.sh PAST FUTURE • Post to GridEngine • Run binary software • Pre-install/build required • Post to workflow manager • Run docker container • Improved portability
- 50. 📄workflow.json • JSON format configuration file • Describe a workflow contains multiple steps • 1 container for 1 app • Include directory to be mounted on containers
- 52. 📄 chronos dependent jobs 📄 curl -X POST-d @workflow.json • Repeat 1 • Shipped with suicide job • containers should be finished in a week 📡 📄📄
- 53. Implementation for proof-of-concept Challenges • スケジューラの問題 • Chronosの限界，Auroraのタスクモデルのゲノムデータ解析との不整合 • !!! Scalaでスケジューラ書くしかない !!! • ワークフロー記述の問題 • 人間が書きやすいこと vs 交換可能で再現性を保証してくれること • DSLやalt-CWLに備えた交換フォーマット/ツールの必要性 • 特殊なアーキテクチャを利用するコンテナの問題 • MPI, GPGPUやFPGA • UGEなどの既存のスケジューラやHadoopなどの分散処理フレームワークとの共存 • 動的なスケールアウトとチェックポイントの運用
- 55. 1. Packaging Whole Research Activities 研究の過程を全て機械可読な形式で記述しアーカイブする 2. Continuous Integration and Automated Build DBは研究再現性を担保するためのプラットフォームへ The future
- 56. The future #1 Packaging Whole Research Activities • 研究プロセスにおける全ての作業を機械可読な形式で記述する • 記述されたものはその関係性を保ったままデータベースに格納する • “Research Package Submission” • 研究計画 • サンプリング・ウェット実験 • 一次データ • データ処理・データ解析 • 二次データ • 論文および論文のfig, plotやtableなどのデータ
- 57. The future #1 Packaging Whole Research Activities Research Activity Time Course Details of Project Design Sampling & Wet Experiments Primary Data Data Processing & Analysis Secondary Data Publication Text, Figs
- 58. The future #1 Packaging Whole Research Activities Research Activity Time Course Details of Project Design Sampling Primary Data Data Processing & Analysis Publication Text, Figs Wet Experiments BioProject BioSample Genbank, DRA
- 59. The future #1 Packaging Whole Research Activities Research Activity Time Course Details of Project Design Sampling Primary Data Data Processing & Analysis Publication Text, Figs Wet Experiments
- 61. The future #1 Packaging Whole Research Activities Research Activity Time Course Details of Project Design Sampling Primary Data Data Processing & Analysis Publication Text, Figs Wet Experiments
- 62. Details of Project Design Sampling Primary Data Data Processing & Analysis Publication Text, Figs Wet Experiments 📦 The future #1 Packaging Whole Research Activities
- 63. The future #2 Continuous Integration for the Research Process • Archived Packagesに対するDBの ”Continuous Integration” • データとプロトコルをビルドしてテスト、コミット • 最終コミットがそのままDBに登録される • パッケージはオブジェクトとしてモジュールごとにアクセス可能 • 「研究Aのデータに研究Bのデータ処理を適用する」をコマンド一発で • レポジトリに登録される新規手法は既存のデータ全てに自動的に適用される • DBが勝手に膨らんでいく • DBGrowthRate/submission がIFに置き換わる • 新しい仮説を証明するための新規な手法、新規なサンプルの価値が増大する • DataCenter + Database = “Reproduciblity as a Service”
- 64. BioCI: 研究経過を常にパッケージングし、クラウドで自動ビルドとテストを回す fig: http://blog.jki.net/news/niweek-2012-fire-and-forget-bulletproof-builds-using-continuous-integration-with-labview-video-slides-now-available/ and togopic http://g86.dbcls.jp/~togoriv/ 📦 Do Research Package Hosting Build and Test Report / Current Result Collect Data and Packaging
- 65. 1. Infrastructure needs to change for the Data Science 多くの問題を抱える現在の計算機インフラは大きく変わる必要がある 2. Virtualized Env Runs on Abstracted Computational Resources 抽象化されたハードウェアで仮想化された環境を稼働する 3. DB Integrates Data and Processes for Reproducible Research データベースが研究を統合し再現性を担保する Summary
- 66. • This work was supported by ROIS URA Grant “融合シーズ探索” 2014. • The Institute of Statistical Mathematics • Dr. Yoshiyasu Tamura • Dr. Junji Nakano • Dr. Keisuke Honda • National Institute of Informatics • Dr. Kenjiro Yamanaka • Dr. Kento Aida • Dr. Shigetoshi Yokoyama • Dr. Yoshinobu Masatani • National Institute of Genetics • Dr. Osamu Ogasawara • Dr. Takeshi Tsurusawa • NIG SuperComputer Facilities SE team • Information and Mathematical Science and Bioinformatics Co., Ltd. • Tatsuya Nishizawa • Tokyo Institute of Technology • Dr. Shinichi Miura • Dr. Satoshi Matsuoka • Colleagues and Members of DBCLS, DDBJ, Open-Bio and BioHackathon Acknowledgement