Обзор YARN и истории его развития

1. YARN
Павел Мезенцев
Руководитель отдела банка Тинькофф
pavel@mezentsev.org

2. История версий hadoop

3. История версий hadoop
● 2004 MapReduce: Simplified Data
Processing on Large Clusters

4. История версий hadoop
● 2004 MapReduce: Simplified Data
Processing on Large Clusters
● 2005 Начало разработки Hadoop

5. История версий hadoop
● 2004 MapReduce: Simplified Data
Processing on Large Clusters
● 2005 Начало разработки Hadoop
● 2007 Передача в ASF

6. История версий hadoop
● 2004 MapReduce: Simplified Data
Processing on Large Clusters
● 2005 Начало разработки Hadoop
● 2007 Передача в ASF
● 2009 Версия 0.20

7. История версий hadoop
● 2004 MapReduce: Simplified Data
Processing on Large Clusters
● 2005 Начало разработки Hadoop
● 2007 Передача в ASF
● 2009 Версия 0.20
● 2011 Версия 1.0

8. История версий hadoop
● 2004 MapReduce: Simplified Data
Processing on Large Clusters
● 2005 Начало разработки Hadoop
● 2007 Передача в ASF
● 2009 Версия 0.20
● 2011 Версия 1.0
● 2013 Версия 2.2

9. План
• hadoop 1.0
• YARN
• Приложения на YARN
• Планировщики
• Развитие YARN

10. План
• hadoop 1.0
• YARN
• Приложения на YARN
• Планировщики
• Развитие YARN

21. Недостатки ?

22. Недостатки ?
1. только mapReduce

23. Недостатки ?
1. только mapReduce
2. неполное использование ресурсов

24. Недостатки ?
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место

25. Недостатки ?
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

26. Решение Google

27. Решение Google
MapReduce: Simplified Data
Processing on Large Clusters
Jeffrey Dean and Sanjay Ghemawat. 2004

28. Решение Google
● One of the copies of the program is special - the– master. The
rest are workers that are assigned work by the master. ... The
master picks idle workers and assigns each one a map task or
a reduce task.

29. Решение Google
● One of the copies of the program is special - the master. The rest
are workers that are assigned work by the master. ... The master
picks idle workers and assigns each one a map task or a
reduce task.
● .... The locations of ... pairs on the local disk are passed back to
the master, who is responsible for forwarding these locations to
the reduce workers.

30. Решение Google
● One of the copies of the program is special - the– master. The
rest are workers that are assigned work by the master. ... The
master picks idle workers and assigns each one a map task or
a reduce task.
● .... The locations of ... pairs on the local disk are passed back to
the master, who is responsible for forwarding these locations to
the reduce workers.
● When a reduce worker is notified by the master about these
locations, it uses remote procedure calls to read the buffered
data from the local disks of the map workers

31. Решение Google
● One of the copies of the program is special - the– master. The
rest are workers that are assigned work by the master. ... The
master picks idle workers and assigns each one a map task or
a reduce task.
● .... The locations of ... pairs on the local disk are passed back to
the master, who is responsible for forwarding these locations to
the reduce workers.
● When a reduce worker is notified by the master about these
locations, it uses remote procedure calls to read the buffered
data from the local disks of the map workers
● When all map tasks and reduce tasks have been completed, the
master wakes up the user program.

32. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

33. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

34. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

35. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

36. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure?

37. Решение Facebook

38. Решение Facebook
● Кластер на 100 Pb

39. Решение Facebook
● Кластер на 100 Pb
● 0.5 Pb в день новых данных

40. Решение Facebook
● Кластер на 100 Pb
● 0.5 Pb в день новых данных
● 60 000 джобов в день

41. Решение Facebook
● Кластер на 100 Pb
● 0.5 Pb в день новых данных
● 60 000 джобов в день
● Corona

42. Решение Facebook
● Кластер на 100 Pb
● 0.5 Pb в день новых данных
● 60 000 джобов в день
● Corona
● Выложено в open source
https://github.com/facebookarchive/hadoop-20/tree/master/src/
contrib/corona

52. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

53. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

54. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

55. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

56. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

57. План
• hadoop 1.0
• YARN
• Приложения на YARN
• Планировщики
• Развитие YARN

58. YARN
Yet Another Resource Negotiator

59. YARN
Yet Another Resource Negotiator
Еще один переговорщик о ресурсах

60. 25й слайд
Нельзя просто так взять
и договориться о ресурсах

69. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

70. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

71. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

72. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

73. Устранение недостатков
1. только mapReduce
2. неполное использование ресурсов
3. job tracker — узкое место
4. single point of failure

74. Resource Manager UI

75. Resource Manager UI

76. Resource Manager UI

77. Resource Manager UI

78. Resource Manager UI

79. Resource Manager UI

80. План
• hadoop 1.0
• YARN
• Работа приложений на YARN
• Планировщики
• Yarn High Availability
• Roadmap

81. Distributed shell
hadoop
org.apache.hadoop.yarn.applications.distributedshell.Client
-debug
-shell_command find
-shell_args '`pwd`'
-jar ${HADOOP_HOME}/share/hadoop/yarn/*distributedshell-
*.jar
-container_memory 350
-master_memory 350
-num_containers 3

89. А где же результат?

90. А где же результат?

91. А где же результат?

92. А где же результат?

93. А где же результат?

94. А где же результат?
yarn.log-aggregation-enable=true

95. А где же результат?
yarn.log-aggregation-enable=true

96. А где же результат?
● Через yarn cli
yarn logs -applicationId
application_1388248867335_0003
● Через hdfs
/tmp/logs/yarn/user/.
./application/container

97. mapReduce на YARN

115. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
Большинство настроек устарело

116. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
Большинство настроек устарело

117. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
Большинство настроек устарело

118. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
Большинство настроек устарело

119. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
Большинство настроек устарело

120. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
Большинство настроек устарело

121. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
Большинство настроек устарело

122. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
Большинство настроек устарело

123. Совместимость с mr1
● на уровне кода
да
● на бинарном уровне
да
● на уровне скриптов
hadoop job …
да
● на уровне конфигурации
большинство настроек устарело

124. mapReduce uber job

125. mapReduce uber job
● Маленькая задача может выполняться
целиком в контейнере application master

126. mapReduce uber job
● Маленькая задача может выполняться
целиком в контейнере application master
mapreduce.job.ubertask.enable=true

127. mapReduce uber job
● Маленькая задача может выполняться
целиком в контейнере application master
mapreduce.job.ubertask.enable=true
● Ограничения на объем мапперов и
размер данных выставляются в конфиге

128. mapReduce uber job
● Маленькая задача может выполняться
целиком в контейнере application master
mapreduce.job.ubertask.enable=true
● Ограничения на объем мапперов и
размер данных выставляются в конфиге
● Не более 1го редьюсера

129. MPI
● Требуется библиотека mpich2-yarn
● Пример запуска
hadoop --config ./conf
jar target/mpich2-yarn-1.0-SNAPSHOT.jar
-a mpi_example
-M 1024
-m 1024
-n 2

130. Интерактивные вычисления
● Spark
● Команда запуска
pyspark --master yarn --num-executors 3

131. Долгоживущие сервисы

132. Долгоживущие сервисы
● hBase на yarn

133. Долгоживущие сервисы
● hBase на yarn
● Apache Slider

134. Real time вычисления

135. Real time вычисления
● Apache Storm

136. Типы YARN приложений

137. Типы YARN приложений
Приложение на задачу

138. Типы YARN приложений
Приложение на задачу
● MPI
● MapReduce

139. Типы YARN приложений
Приложение на задачу
● MPI
● MapReduce
Приложение на сессию

140. Типы YARN приложений
Приложение на задачу
● MPI
● MapReduce
Приложение на сессию
● Spark Shell
● Impala

141. Типы YARN приложений
Приложение на задачу
● MPI
● MapReduce
Приложение на сессию
● Spark Shell
● Impala
Приложение на сервис

142. Типы YARN приложений
Приложение на задачу
● MPI
● MapReduce
Приложение на сессию
● Spark Shell
● Impala
Приложение на сервис
● Hoya
● Spark Streaming

143. План
• hadoop 1.0
• YARN
• Приложения на YARN
• Планировщики
• Развитие YARN

144. Планирование задач

145. Планирование задач

146. Планирование задач

147. FIFO scheduler

148. Capacity scheduler

149. Fair scheduler

150. Dominant resource fairness
Кластер 100 Gb 100 Cores
Контейнеры
приложения А
3 гб 3% 2 cores 2%

151. Dominant resource fairness
Кластер 100 Gb 100 Cores
Контейнеры
приложения А
3 Gb 2 cores

152. Dominant resource fairness
Кластер 100 Gb 100 Cores
Контейнеры
приложения А
3 Gb 3% 2 cores 2%

153. Dominant resource fairness
Кластер 100 Gb 100 Cores
Контейнеры
приложения А
3 Gb 3% 2 cores 2%
Контейнеры
приложения B
1 Gb 6 cores

154. Dominant resource fairness
Кластер 100 Gb 100 Cores
Контейнеры
приложения А
3 Gb 3% 2 cores 2%
Контейнеры
приложения B
1 Gb 1% 6 cores 6%

155. Dominant resource fairness
Кластер 100 Gb 100 Cores
Контейнеры
приложения А
3 Gb 3% 2 cores 2%
Контейнеры
приложения B
1 Gb 1% 6 cores 6%

156. Dominant resource fairness
Кластер 100 Gb 100 Cores
Контейнеры
приложения А
3 Gb 3% 2 cores 2%
Контейнеры
приложения B
1 Gb 1% 6 cores 6%

157. Dominant resource fairness
приложение A получит в 2 раза больше контейнеров
Кластер 100 Gb 100 Cores
Контейнеры
приложения А
3 Gb 3% 2 cores 2%
Контейнеры
приложения B
1 Gb 1% 6 cores 6%

158. Preemption

159. Preemption

160. Preemption

161. Preemption

162. Preemption

163. Preemption

164. План
• hadoop 1.0
• YARN
• Приложения на YARN
• Планировщики
• Развитие YARN

165. Новые фичи YARN
● окт 13 hadoop 2.2
● фев 14 hadoop 2.3
● апр 14 hadoop 2.4
● авг 14 hadoop 2.5
● ноя 14 hadoop 2.6
● апр 15 hadoop 2.7
● ~лето 15 hadoop 2.8
● ~конец 15 hadoop 3.0

166. hadoop 2.3

167. hadoop 2.3
Deploy MR through HDFS & Distributed Cache
- Можно запускать разные версии mapReduce,
в том числе кастомные
- Rolling Ugrade не блокируется mapReduce
задачами

168. hadoop 2.3
Deploy MR through HDFS & Distributed Cache
- Можно запускать разные версии mapReduce,
в том числе кастомные
- Rolling Ugrade не блокируется mapReduce
задачами

169. hadoop 2.3
Deploy MR through HDFS & Distributed Cache
- Можно запускать разные версии mapReduce,
в том числе кастомные
- Rolling Ugrade не блокируется mapReduce
задачами

170. hadoop 2.4

171. hadoop 2.4
Resource Manager Automatic Failover

180. hadoop 2.5

181. hadoop 2.5
RM writable Webservices
- До этого через REST API можно было лишь получить
метрики кластера
- Теперь можно сабмитить приложения на кластер
- Убивать приложения

182. hadoop 2.6

183. hadoop 2.6
Rolling upgrades in YARN

197. Безотказная перезагрузка
NodeManager

198. Безотказная перезагрузка
NodeManager

199. Безотказная перезагрузка
NodeManager

200. Безотказная перезагрузка
NodeManager

201. Безотказная перезагрузка
ResourceManager
Через Resource Manager High Availability

202. hadoop 2.6
Support for long-running services on YARN

203. hadoop 2.6
Support for admin-specified labels in YARN

204. hadoop 2.6
Support for Docker containers in YARN

205. hadoop 2.7

206. hadoop 2.7
Support disk as a resource in YARN for scheduling and isolation

207. hadoop 2.7
Support disk as a resource in YARN

208. hadoop 2.7
Support disk as a resource in YARN

209. hadoop 2.7
Support disk as a resource in YARN

210. hadoop 2.7
Dynamic Resource Configuration
Изменение доступной памяти и
процессоров без перезагрузки

211. hadoop 2.7
Support NodeGroup layer topology on YARN

212. hadoop 2.7
Support NodeGroup layer topology on YARN

213. hadoop 2.8

214. hadoop 2.8
Disk and network isolation in YARN

215. Вопросы?