本文档描述了如何使用 Apache Spark 进行差异表达分析，包括建立基因名称、组和表达值之间的对应表，以及如何计算和输出符合特定差异表达标准的基因列表。文中提到的关键技术包括弹性分布式数据集 (RDD) 的使用及其相关操作（如过滤、映射和合并）。此外，还提供了在 Docker 上安装 Spark 和 Ipython Notebook 的步骤，以及示例脚本和参考资料。

1. 使用 Spark 計算 Differential
Expression
Jian-Long Huang
2015/11/26

2. [分析] 同一個RNA序列檔，可任選其中兩個 conditions 進行 differential analysis (最
好能擴展成任選兩個 groups of conditions) 輸出 gene list。

3. Yeast 基因表現檔
Group Condition File
1 eXpress-66.txt
1 eXpress-67.txt
1 eXpress-68.txt
2 eXpress-69.txt
2 eXpress-70.txt
2 eXpress-71.txt

4. 寫個 script 分析？

5. 程式分析流程
1. 建立 gene name, group, condition 和 expression value 的對應表。
2. 根據每條 gene，計算：
a. c1 = merge(c1-1 to c1-3), c2 = merge(c2-1 to c2-3)
b. de = diff(c1, c2)
3. 輸出符合 de > t1 or de < t2 的 gene。

6. gene_name group (condition) file_id fpkm
YNL087W 1 66 1.175314e+02
YNL087W 1 67 1.357084e+02
YNL087W 1 68 1.268189e+02
YNL087W 2 69 6.900545e+01
YNL087W 2 70 6.410089e+01
YNL087W 2 71 6.238413e+01

7. 問題？
● 計算速度慢
○ 無法即時查詢
○ 過濾條件隨時更改
● 對記憶體資源掌控差

8. Apache Spark
● 開源叢集運算框架。
● 最初由加州大學柏克萊分校AMPLab所開發，後捐贈 Apache 基金會。
● 使用記憶體內運算技術，將中間結果保存在記憶體內進行分析運算。
● 提供高階 API （Scala, Java, Python and R) 進行程式設計。
● 提供交互式 Scala, Python shell。

9. Resilient Distributed Dataset (RDD) 彈性分散式資料集
● 一種抽象資料結構，任何資料在 Spark 中都被表示為 RDD
● 分散式記憶體，資料分散儲存在多個機器上面。
● 具備高階函數如 filter, map, reduce，可以進行併行操作。
● RDD 建立方法
○ 從已存在 RDD 建立
○ 從文件系統或 HDFS 的文件建立

10. filter
v1, v2, v3, v4, v5 func(x) => true/false v1, v3, v5

11. map
v1, v2, v3, v4, v5 func(x) => x’ v1’, v2’, v3’, v4’, v5’

12. reduceByKey
(k1, v1)
(k1, v2)
(k1, v3)
(k2, v1)
(k2, v2)
(k3, v1)
(k3, v2)
func(x, y) => z
(k1, u)
(k2, u)
(k3, u)

13. aggregateByKey
(k1, v1)
(k1, v2)
(k2, v1)
(k2, v2)
(k3, v1)
(k3, v2)
1st: seqOp(zeroValue, y) => z
next: seqOp(x, y) => z
combOp(x, y) => z
zeroValue (starting value)
(k1, u)
(k2, u)
(k3, u)
Combine partitions
Combine values in a partition

14. reduceByKey vs. aggregateByKey
● aggregateByKey 可以設定初始值，且返回值的類型不需要和 RDD 中 value 的
類型一致，但 reduceByKey 返回值類型需要一致。
● 用途：
○ reduceByKey 適用於值與值之間計算不需要按順序，如連乘、連加。
○ aggregateByKey 適用於需利用多個值之計算，如計算平均需要 sum 和 count 兩種值。

15. mapValues
(k1, v1)
(k1, v2)
(k2, v1)
(k2, v2)
func(x) => x’
(k1, v1’)
(k1, v2’)
(k2, v1’)
(k2, v2’)

16. join
(k1, v1)
(k1, v2)
(k2, v3)
(k2, v4)
(k1, u1)
(k1, u2)
(k2, u3)
(k3, u4)
join
(k1, (v1, u1))
(k1, (v1, u2))
(k1, (v2, u1))
(k1, (v2, u2))
(k2, (v3, u3))
(k2, (v4, u3))

17. Other RDD Actions
● count(): 返回 elements 數量
● first(): 返回第一個 element
● take(n): 返回前 n 個 element
● collect(): 返回陣列類型值

18. File
Spark workflow 1: FPKM average in a condition
line1
line2
line3
line4
line5
File
File
(YNL087W, 1.175314e+02)
(YKR061W, 3.579905e+01)
(YOR316C-A, 3.258783e+01)
(YGR274C, 2.608256e+02)
(YER126C, 2.694234e+01)
filter, map
(YNL087W, (380.05, 3))
(YKR061W, (78.57, 3))
(YOR316C-A, (0.0, 3))
(YGR274C, (101.61, 3))
(YER126C, (771.36, 3))
aggregateByKey
(YNL087W, 126.68)
(YKR061W, 26.19)
(YOR316C-A, 0.0)
(YGR274C, 33.87)
(YER126C, 257.12)
mapValues
計算 FPKM 總和
和 condition 數
移除 header，輸
出 name-fpkm
pair
計算 FPKM 平均

19. Spark workflow 2: Differential expression
(YNL087W, 126.68)
(YKR061W, 26.19)
(YOR316C-A, 0.0)
(YGR274C, 33.87)
(YER126C, 257.12)
(YNL087W, 77.68)
(YKR061W, 31.19)
(YOR316C-A, 2.1)
(YGR274C, 34.87)
(YER126C, 259.12)
join
(YNL087W, (126.68, 77.68))
(YKR061W, (26.19, 31.19))
(YOR316C-A, (0.0, 2.1))
(YGR274C, (33.87, 34.87))
(YER126C, (257.12, 559.12))
(YNL087W, 1.63)
(YKR061W, 0.83)
(YOR316C-A, 0)
(YGR274C, 0.97)
(YER126C, 0.45)
mapValues
(YER126C, 0.45)
filter
計算 differential
expression
(fpkm1 / fpkm2)
合併兩個 group
移除沒有差異
表現的結果

20. 安裝 Spark 和 IPython Notebook
● docker-spark
● docker run -it -p 8088:8088 -p 8042:8042 -p 8080:8080 -h mr-spark --name
mr-spark -v /home/jlhg/mapreduce:/share sequenceiq/spark:1.5.1 bash
● Container 內建 Python 版本為 2.6，用 pyenv 安裝 Python 2.7
● 安裝 IPython：pip install ipython[all]
● 啟動 IPython Notebook：IPYTHON_OPTS="notebook --ip=mr-spark --
port=8080" /usr/local/spark/bin/pyspark
● Web UI: http://<host_ip>:8080

21. Example script
spark-de.py: https://gist.github.com/jlhg/56a3d833a7cc4ce3238c
# Put yeast data to HDFS
$ hdfs dfs -put /share/yeast
# Submit spark task
$ spark-submit /share/spark-de.py

22. 參考資料
● Spark Quick Start (Official)
● Spark Programming Guide (Official)
● Spark 編程指南繁體中文版
● Spark RDD API详解(一) Map和Reduce
● How to more efficiently calculate the averages for each KEY in a Pairwise (K,
V) RDD in Apache Spark with Python
● Spark函数讲解：aggregateByKey
● 在Docker上用 IPython 開發 Spark的環境建置