Rancher Meetup #06 in Osaka LT資料 #rancherjp

1. データ分析基盤として
Rancher ・k8sで始まるのか調査してみた
Rancher Meetup #06 in Osaka
やっさん
@yassan168

2. 結論
妄想していた様な美味い状態には、まだまだ、遠い世界だった。
※GCPなどのパブリッククラウドの利用は除く
※オンプレの話です。
パブリッククラウド使うなら、車輪の再発明せずに、
GCPなら、DataprocやDataflow、BigQueryとかマネージドサービス使うと
か。

3. おさらい。

4. データ分析基盤の対象領域ってなんだっけ？
• Data Lake（Scheme On Read）
• HDFS
• Data Warehouse（Scheme On Write）
• Hive、Presto
• BIツール
• Redash、SuperSet、Metabase
• ETL処理向けツール
• DigDag、Kuroko2、Luigi、AirFlow
• Flume、Sqoop
• Embulk、Fluentd、Kafka
• Spark Streaming、NiFi、Flink
※今回は機械学習基盤は除外。kubeflow使うとか？

5. ログコレクタ方面
• Kafkaもk8sへの対応は進んでいるけど、、
• KubernetesでのKafkaクラスタの管理と運用
• Apache Kafka on Kubernetes – Could You? Should You? | Confluent
• Fluentdもk8sふくめコンテナでは割とよく聞く話
• Kubernetes Logging with Fluentd | Fluentd

6. データストア方面の流れ
Hadoopのストレージオプションにパブリッククラウド対応する流れが増
えた
• Cloud Dataproc FAQ | Cloud Dataproc ドキュメント | Google Cloud
• Hadoopエコシステムのデータストア振り返り
• Apache Hadoopの新機能Ozoneの現状
※Ozone：S3の様なオブジェクトストレージをHadoop上で実現する
• Cloudera in the Cloud #CWT2017
ただ、まだ、HDFSをk8sで本番利用するのは厳しい
cf. kubernetes-HDFS/README.md at master · apache-spark-on-k8s/kubernetes-HDFS

7. 計算リソース方面の流れ
Spark v2.3.0からk8sをNativeサポート！
k8sがあれば、YARN無くてもk8sがお世話してくれる。
• Apache Spark on Kubernetesの検証 – Qiita
• HDFS on Kubernetesの検証 – Qiita
※一時領域としてHDFSも必要になるので、テンポラリとして割り切って利用
さらにv2.4では以下も対応
Kubernetes Scheduler Backend
• [SPARK-23984] PySpark bindings for K8S
• [SPARK-24433] R bindings for K8S
• [SPARK-23146] Support client mode for Kubernetes cluster backend
• [SPARK-23529] Support for mounting K8S volumes

8. ETLの要。ワークフロー方面について
• Airflow が k8s Executer に対応している
Kubernetes Executor — Airflow Documentation
• CNCFにある Argo Workflows がk8sを前提としていて面白そう
（CI/CDもあり）
Kubernetesユーザーは待っていた!?コンテナネイティブなワークフローエンジンArgoを試してみた

9. 今後参考になりそうなもの
• kubernetes/community にて各トピックでSIGが存在。
ミーティング議事録とかも残ってるので読むと面白い。
• Big Data Special Interest Group
community/sig-big-data at master · kubernetes/community
• Storage Special Interest Group
community/sig-storage at master · kubernetes/community

10. ここはRancher Meetupですが？
• RancherにもHadoopのチャートは存在するが使えるかは不明
charts/charts/hadoop/v1.0.7 at master · rancher/charts
現状のデータ分析基盤としてのRancherの出番とは。。。
• 複数のデータ分析基盤の上げ下げとかかも。
→ 必要なときだけ構築して、出来たものをDWHやDataMartなどに放り
込むとか。
• BIとかのツールをチャート化して簡単にデプロイ出来るようにすると
か？