4. アジェンダ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 4
2016/01/20(⽔水)
2016/01/21(⽊木)
2016/01/22(⾦金金)
2016/01/25(⽉月)
2016/01/26(⽕火)
2016/01/27(⽔水)
2016/01/28(⽊木)
2016/01/29(⾦金金)
5. アジェンダ
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 5
2016/01/20(⽔水) 問題の発覚
2016/01/21(⽊木)
2016/01/22(⾦金金)
2016/01/25(⽉月)
2016/01/26(⽕火)
2016/01/27(⽔水)
2016/01/28(⽊木)
2016/01/29(⾦金金)
6. 2016/01/20(⽔水) 問題の発覚
Slaveノード数 725 nodes
クラスタメモリ 70 TB
Hiveserverノード数 3 nodes
ソフトウェアバージョン HDP2.3.0
Hadoop 2.7.1
Hive 1.2.1
Tez 0.7.0
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 6
リソースは⼗十分・ソフトウェアも最新!
7. 2016/01/20(⽔水) 問題の発覚
Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引⽤用・転載禁⽌止 7
スループットを稼ぐための新機能も⼊入れた!
Hiveの実⾏行行エンジンをTezへ
• hive.execute.engine = tez
Tezセッションの再利利⽤用
• tez.session.am.dag.submit.timeout.secs = 120
• Hiveserver2のconnectionを維持すること
Tezコンテナの再利利⽤用
• tez.am.container.reuse.enabled = true
AM AM AM AM AM AM
client
client
client
client
client
client
HS2HS2 HS2Tez session
Tez container