genomic big data using ADAM

1. 基因大数据分析入门
@5fei
周五 11月11

2. 议程
1：基因数据分析行业的现状：为什么hadoop没有被基因行业采用
A1: SGE VS 阿里批量计算 VS ADAM
A2: 安诺基因大数据路线图
2： ADAM项目介绍：ADAM为基因行业的分析带来什么好处
3：实验项目的整个架构和代码演示
4：实验项目 VS 原有程序
5：生信人员的工具使用：ADAM-SHELL ADAM-SUBMIT
6：开发环境简单介绍：IDEA,JAVA,SCALA,SBT,SPARK,ADAM

3. 基因数据分析行业的现状
1：现在大多还是使用的LSF/SGE
2：科研机构多使用已经存在的服务器，而AWS,GOOGLECLOUD收费而且对其使用也不熟悉
3：处理1百万条的VCF用24个小时相对于测序是可以接受的
4：科研人员倾向于优化算法，而对数据的处理技术放在次要考虑的位置
5： hadoop对于基因处理的两个重要瓶颈：依赖网络传输数据和通过磁盘IO访问数据

4. SGE VS 阿里批量计算 VS ADAM

5. SGE
其本质是对生产环境物理服务器资源池化（开发环境也可以是虚机），它为任务的执行提供
物理服务器保证
缺点：
提交的任务只能在一台服务器上执行，其并发能力的受限于服务器cpu数目（任务开发人员也可
以自己做任务的拆分和汇总提高并发能力【重新发明轮子】，但开发难度大，代码复用率低，
容易出错）

6. 阿里批量计算
缺点：
1: 集群的节点用户不能独立管理，连ssh访问都没有提供（所谓的节点其实是个容器？）
2：只能在经典网络创建，VPC不支持
3：没有分布式文件系统的产品支持（OSSFS不成熟，社区开发和维护不活跃）

7. ADAM基因数据分析平台
其本质是分布式计算，以公有云和私有云作为运行环境，用户提交的任务会被基因数据分析平
台自动切分并被投放到集群所有节点执行，并发能力只受限于集群的规模（执行时间和并发能
力成反比），资源利用率迅速提高。
优点：
任务的开发代码里面只包含业务代码（即基因数据分析代码），而关于任务的切分，并发控制
和同步由ADAM在后台完成，从而极大的降低了任务开发难度，而且和底层和系统调用松耦
合，任务可以轻松的适配新的平台, 产品从设计，开发到市场投放的周期大大的缩短，为公司在
未来的竞争提供强大的技术支持
缺点：
1: 原有的代码需要做迁移改造

8. 安诺基因大数据路线图

10. ADAM项目介绍
ADAM是专门用于基因数据的处理和存储格式：主要好处
1：并行
2：存储空间小
Broad Institute‘s GATK 从V4版本开始支持adam

11. 项目功能介绍
$ samtools view sample.rmdup.bam | more

13. 项目功能介绍
$ cat win_100k.use_50mer | more

15. 代码演示

16. 实验项目的概览

17. 实验项目 VS 原有程序
实验项目目前使用的scala语言实现的(也可用java或python或R)

18. 原有程序代码片段

22. 实验项目代码片段

26. 生信人员的工具使用：ADAM-SHELL
$adam-shell

28. 开发环境简单介绍

31. 参考
● https://github.com/bigdatagenomics/adam
https://software.broadinstitute.org/gatk/
● https://www.biostars.org/

32. THANK YOU