SlideShare a Scribd company logo
Hadoopデータ基盤と
Multi-CloudなML基盤への
取り組みの紹介
2019/10/05 【マイクロアド】〜ネット広告を支える技術を知る〜
#microad_CAMPHOR
MicroAd, Inc.
システム開発本部 基盤技術開発グループ インフラチーム
永富安和
Profile:
Name: 'Yasukazu Nagatomi(やっさん)'
Company:
Location: 'Kyoto'
Role:
- 'Infrastructure Engineer (Hadoop/Container)',
- 'CloudNativeDays in Japan実行委員',
- 'Rancher JP / Cloud Native JP Organizer',
Favorites: [ '美味い日本酒', 'Craft Beer', 'Terrarium']
SocialMedia:
- Twitter: '@yassan168'
- GitHub: 'yassan' 2
データ基盤について
3
#microad_CAMPHOR
データ基盤運用する上での課題
4
大量のストリームデータ(約6TB/day)のETL処理を滞りなく実行し、
利用可能なデータとして提供出来るようにする
1. ストリームデータを欠損無く処理して確実にSink出来る事
2. ETL処理の運用コストを如何に最小にするか
3. 蓄積したたデータが利用可能な状態でなければならい
#microad_CAMPHOR
データ基盤運用する上での課題 その1
5
大量のストリームデータ(約6TB/day)のETL処理を滞りなく実行し、
利用可能なデータとして提供出来るようにする
1. ストリームデータを欠損無く処理して確実にSink出来る事
➢ FluentdでログをKafkaに流し、Flumeを使ってHDFSへSinkする
➢ 複雑なETLが必要な場合は、Spark Streaming を用いて対応
➢ Kafkaを用いる事でログをキューイング出来るので
Consumer先(Sink先)に障害があっても途中からやり直しが効く
2. ETL処理の運用コストを如何に最小にするか
3. 蓄積したたデータが利用可能な状態でなければならい
#microad_CAMPHOR
Cloudera Manager
ログ転送
データ基盤の概要
6
広告配信サーバ等
各種サーバ
:
Topic
Topic
:
Topic
Topic
: Topic
Topic
:
管理・監視
#microad_CAMPHOR
その他のKafkaを使った工夫
● パーティション数の増加にスケールの限界がある為、
ひとつの大きなクラスタでは無く複数の中規模クラスタを用途に合わせて複
数使う戦略を取った。
7
#microad_CAMPHOR
その他のKafkaを使った工夫(トピック運用)
基本的に時系列データはYYYYMMDDのプレフィックスをつけた
● データの再ロードの粒度を日付単位にできる
● 日別にTopicを使い捨てる事でPartition数の変更等の運用が不要
● Partition数の変更にはPartitionリアサインが必要だが
オンラインでやるとデータがロストしたりするのを回避したかった
● YYYYMMDDであれば毎日作りかえる形となるので、
Partition数の増減が作り変えのタイミングで変更できる
● データの制約により時系列にできないトピックでも、上記の理由と同様に
v1などのバージョニングをおこなう
● 時系列なTopicの作成はDigdagバッチで実行している
● 毎日3日先の日付のtopicを作成している
→土曜にジョブかコケても即日対応しなくてもよいように
8
#microad_CAMPHOR
データ基盤運用する上での課題 その2
9
大量のストリームデータ(約6TB/day)のETL処理を滞りなく実行し、
利用可能なデータとして提供出来るようにする
1. ストリームデータを欠損無く処理して確実にSink出来る事
2. ETL処理の運用コストを如何に最小にするか
➢ Digdagを用いる事で、バッチが定義しやすく、UIがあるので状況が確認
出来て、リトライも楽に出来る(とは言え数が多くなると辛いみも)
➢ Digdagやバッチ処理自体は、Dockerを用いてバッチサーバのリソース
に影響しない作りにした
➢ ジョブやバッチ間の依存は、DigdagのS3_waitオペレータを使うこと
で、S3にファイルをフラグの代わりにして依存を解決した
3. 蓄積したたデータが利用可能な状態でなければならい
#microad_CAMPHOR
PostgreSQL
S3
DigdagとDockerを用いたバッチの運用
10
Docker
Digdag Server Host 01
Aジョブ用
Bジョブ用
・・・
Digdag
Server
Docker
Digdag Server Host XX
Aジョブ用
Bジョブ用
・・・
Digdag
Server
Aジョブ用
イメージ
Bジョブ用
イメージ
ジョブをコンテナ化しているので
どこで動かしても問題無い
ホストの
縮退が可能バッチはどちらかの
Digdag Serverで動く
S3のファイルを
フラグ的に使って
ジョブ間の依存を解決
#microad_CAMPHOR
データ基盤運用する上での課題 その3
11
大量のストリームデータ(約6TB/day)のETL処理を滞りなく実行し、
利用可能なデータとして提供出来るようにする
1. ストリームデータを欠損無く処理して確実にSink出来る事
2. ETL処理の運用コストを如何に最小にするか
3. 蓄積したたデータが利用可能な状態でなければならい
➢ 1テーブルのサイズがデカイので、列指向フォーマットで必要な列のみ
取り出せるように(ORCやParquetの利用)
➢ Hiveだけでなく、ユースケースに応じてImpalaも活用
#microad_CAMPHOR
HDFSファイルのフォーマットの工夫
● 挿入速度優先なら行指向のAvro、参照速度優先なら列指向のParquetやORC
○ ただし、ParquetのStruct型やORCのComplex型(→列に入れ子する。1カラムにJSON埋め
込んでネストしてしまう)の場合、入れ子の列については抜き出しできないので注意が必要
● 列指向に関しては、Yahoo! Japanの Yosegi も非常に良い感じ
○ 圧縮効率のよいカラムナフォーマット 〜 Yosegi や ORC のエンコード方式調査 - Yahoo! JAPAN Tech Blog
● フォーマットの詳しい話は、以下に全部詰まってます
○ カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog
● 選ぶ際にも注意が必要
○ 圧縮フォーマットにも注意。圧縮効率高めると比例して、追加や参照の性能が下がる。
○ マニアックなもの選ぶとHadoopエコシステムに対応できなくて詰む
■ Hiveでは読めるけど、Impalaでは読めない等の制限事項があったりとか
例:CDH v5系ではImpalaではORCが読めない
● 1ファイルサイズが非常に小さい場合、特に 128MB 未満の場合、性能劣化が
顕著なのでその場合はまとめる方が良い(256MB程度には) 12
#microad_CAMPHOR
何故HiveとImpalaを使い分けるのか?
クエリ実行時間だけでは、HiveよりもImpalaが圧倒的に有利。
理由は、HiveはMapReduceジョブとしてクエリ実行時に動いているので
(Sparkに変更も可能。TezとかLLAP)どうしても遅くなる。
分析用HadoopクラスタではHive→Impalaに変えただけで、
クエリ実行時間が 36倍速くなった(約30分→約50秒弱)。
ただし、Impalaの特性上、リソース確保出来ない場合はすぐにエラーとなるので
バッチ処理には扱いにくく、Hiveはコケにくい。
なので、以下のように使い分けるのもあり。
 バッチ用途→Hive
 分析などのアドホックなクエリ実行→Impala
13
#microad_CAMPHOR
その他にも…
● 利用頻度の高いデータをSSDのあるDataNodeに入れて、
頻度の低くなったものをHDDのDataNodeに移動するなどの調整
● バッチと分析のジョブがリソース喰い合いになってバッチをコケさせないよ
うにする為に、YARNの実行をフェアスケジューラを使って制御
○ さらに、Impalaのリソースの配分をアドミッションコントロールで制御なども可能
(Impalaの利用がこれからなので特にまだこれはやってない)
14
その他の工夫
15
#microad_CAMPHOR
16
HDFSで使っているタイプのH/W紹介
Hadoopクラスタには、以下のようなマルチノードクラスタを用いて
1ラックあたりの集積度を上げて効率化しています。
ML基盤について
17
#microad_CAMPHOR
状況説明(機械学習をとりまく環境)
● ML基盤などは無い
● Tensorflow(Keras)の利用が進んでいる
● 機械学習モデルの作成から利用までALLオンプレ環境
※扱うデータは数十PBもある
● 入札アルゴリズムやアドフラウド対策などで
機械学習が期待されていて日々研究している
● (機械学習だけじゃないが)BigQueryを分析用で
割と使っていて今後も拡大路線
18
#microad_CAMPHOR
課題
1. 実験用環境の調達に対してリードタイムが長い
○ オンプレあるある。余剰が常にあるとは限らない。
2. ミドルウェアを気軽に変更して試したい
○ Jupyter NotebookのKernelを好きなように変えたいとか、TFのVer.等。
3. 学習モデルのデリバリーのフローが確立していない
(案件単位でバラバラ)
○ 毎日新しいデータで学習モデルを更新して、本番へ投入したい
4. 新しいモデルを本番でお試しするのが難しい
○ 3により、リリースするにも関係部署との調整が大変
19
特にコレ!
#microad_CAMPHOR
解決への算段 & 野望
● 気軽に試せてスケールアウトも可能な環境としクラウド(GCP)を活用
○ Kubernetes使うならGKEならまだ敷居は低いはず
○ 別途BigQueryの利用が広がっているのでクラウドはGCPでOK
● TensorFlow Servingが、Servingした学習モデルに対して、
Multi Model& Multi Version扱えるので、お試し利用しやすい環境を
整えやすい(はず)
● Kubeflow pipelineでデリバリまでのフローを確立する(はず)
更に、、、
これを皮切りに、コンテナ化が進んでいる他のシステムのKubernetes移行も
進めていきたい(docker-compose運用では厳しくなってきた)
20
なぜ Rancher を選んだのか?
21
#microad_CAMPHOR
Rancherとは?
22
Rancher Labsが開発するOSSで、Kubernetesクラスタ管理機能を持つ。
オンプレやパブリッククラウド上に構築したKubernetesだけでなく、
パブリッククラウドのマネージドKubernetesなどのクラスタをまとめて管理する
事が可能。
また、RKEというKubernetesクラスタをシンプルに構成出来るToolなども開発。
#microad_CAMPHOR
なぜ Rancher を選んだのか?
1. 今後オンプレとクラウドの両方のKubernetesクラスタ管理が見込まれた
○ オンプレならRKEがあるし、クラウドはGCP・AWS・Azureなど選択肢が多い
2. 可能な限りロックインされたくない
○ 最悪、Rancher無くてもなんとかなる(後で引き返せる)
3. Kubernetes強い人がいない&採用も困難なので有償サポートでカバーしたい
○ Kubernetes強い人を採用するとか世界規模で大変
○ Rancherの有償サポートは対象範囲が幅広い
■ OS、Docker・Kubernetes、flannel、canal、nginx-ingress-controller、
マネージドKubernetes(AKS/GKE/EKS)、Rancherで使うPrometheus and Grafana等
cf. Rancher Labs Support and Maintenance – Terms of Service
○ 初期コストはそれなりにするけど、月割で考えたら割と許容出来る
後、個人的にはデジタルサイネージへのk3sへの期待
23
なぜ Kubeflow を選んだのか?
24
#microad_CAMPHOR
Kubeflowとは
Kubernetesとそのエコシステムを使って構成したML基盤そのもの。
NoteBookからTraining、ハイパーパラメータのTuning、Pipeline、Serving向け
に何でも揃っている。
Deploy Kubeflow https://deploy.kubeflow.cloud/ を使うとGKE上に以下が構成される。
25
Ingress
Central Dashboard
Dashboards
TFJob Pipelines
KatibNotebooks
TensorbordArgo
Operators
TFJob Pytorch
Argo Katib
Serving
TF-Serving
Seldon
cf. Deploy using UI
お試し程度なら、"Setup Endpoint later”
にしてPort Forwardする方が簡単。
cf. KubeCon + CloudNativeCon Europe 2018: Kubeflow Deep Dive
#microad_CAMPHOR
なぜ Kubeflow を選んだのか?
1. ML開発に必要なものが揃って(まだ全部じゃないけど)いた
2. 実験用の環境をJupyterHubを使って用意しやすそう
3. Tensorflow Servingをサポート
4. PipelineツールとしてArgoをベースとした Kubeflow Pipeline がある
5. Tensorflow(Keras)だけじゃなく、要望のある Seldon-core にも対応
6. 多くを望まなければGCPのAIプラットフォームもある
ただし、kubeflowはまだ発展途上。
今すぐ使う場合は、最悪、部分的に使うとか、割り切りが必要。
また、Rancher Catalogのkubeflowはv0.1でとても古いので使えない。
Helmでは対応中。Kubeflow公式はKustomizeを使ってGitOps的な方法を推奨。
26
どう取り組んでいるのか?
27
#microad_CAMPHOR
基本方針
● 最低ラインを確保する
○ 一番解決したい事、何が目的だったかを忘れない
● いつでも辞められるようにする
○ 運用実績が無いものだらけなので最悪戻せる場所は確保
● 無理をしない・一気に進めない
○ (ちょっとくらいは良いけど)背伸びしないで身の丈にあった速度で進める
28
#microad_CAMPHOR
どう取り組んでいくのか?
事前準備
● オンプレ環境からGCSへ整形&絞ってキレイにしたデータをGCP上に蓄積
○ GCPで学習モデルを作成出来る用意
● GCEを使って従来手法で学習モデルを作成
○ 好きなように実験が可能
● 作成した学習モデルをGCSへ格納して、オンプレ側から取得して、
従来通りServingして利用する
一番の課題だった「実験環境のリードタイムの短縮」をこれで確保
まずは引き返せる場所を確保した。
29
#microad_CAMPHOR
第1フェーズ:GCPで今まで通り+TF-Serving
30
TF-Serving 中継App
各種システム
NFS
modelのexport
HDFS
ml models &
training data
Modeling & Traning
各種システム
各種システム
GCP On-Premise
GCP↔オンプレ間は
Cloud VPN を利用
TF-Servingを
docker-composeで構成
GCE
TF-Serving:Tensorflow Serving
GCS
バッチ処理で
ETL&GCSに
input/output
#microad_CAMPHOR
第2フェーズ:モデル作成をKubeflowに置き換え
31
ml models &
training data
Modeling & Traning
GCP On-Premise
始めはSingleNodeから始
めて、HAへシフト
TF-Serving 中継App
各種システム
NFS
modelのexport
HDFS
各種システム
各種システム
バッチ処理でETL&
GCSに
inputo/output
RancherでGKE 及びKubeflowを管理。
JupterHubで実験してモデルが実装出来た
ら、Kubeflow Pipelineでパイプラインを作成
#microad_CAMPHOR
第3フェーズ:ServingをRKEでKubernetes化
32
ml models &
training data
Modeling & Traning
GCP On-Premise
RKEでオンプレ上に
Kubernetesクラスタ構築
TF-Serving 中継App
各種システム
NFS
modelのexport
HDFS
各種システム
各種システム
バッチ処理でETL&
GCSに
inputo/output
TF-Serving
TF-Serving
中継App
中継App
進捗どうですか?
33
まさか…
#microad_CAMPHOR
進捗ダメでーす
34
ml models &
training data
Modeling & Traning
GCP On-Premise
TF-Serving 中継App
各種システム
NFS
modelのexport
HDFS
各種システム
各種システム
バッチ処理でETL&
GCSに
inputo/output
Rancher使わずにArgoCDを
使ってGitOps的にデプロイ
出来るよう対応中。
絶賛 構築中。Cloud VPNで内部IP経由ではGKEと
まともに通信出来ず。
Private Clusterでの対応検討中。
まとめ
35
#microad_CAMPHOR
まとめ
データ基盤
● Hadoopエコシステムを活用し、
ETL処理はDigdag&Dockerを使って運用コストを下げる工夫を行っている
ML基盤
● Rancherを活用してGCPとオンプレのKubernetesクラスターを管理し、
kubeflowを用いたML基盤へ行く為に、段階を踏んで進めている
大事なのは、何が本当の課題かを見極めて、解決策を取る事
36
#microad_CAMPHOR
今回のお話以外にも…
今回の話以外にも、もっとオンプレ特有なネットワークエンジニアリングによっ
た事もやっています。
ホワイトボックススイッチとCumulus Linuxを使った話 - MicroAd Developers
Blog
その他にも、BGPとかAS取得しているとか、ディープなネットワークの世界も。
(私は詳しくないですが…)
37
Appendix
38
#microad_CAMPHOR
参考情報
● ML基盤への取り組みについて
○ Rancher Day 2019での発表がベースになってます
■ スライド: オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用
■ 動画は crash.academy にて公開予定らしいです
● データ基盤の話
○ MicroAdのデータ基盤 - MicroAd Developers Blog
○ Digdagを使ったジョブ管理 - MicroAd Developers Blog
○ オンプレでPrivate Registry使ったDockerイメージの運用について
○ カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog
● Kafka
○ Apache Kafkaの概要とアーキテクチャ - Qiita
○ O'Reilly Kafka
○ Apache Kafka 分散メッセージングシステムの構築と活用
○
● その他のオンプレな話
○ ホワイトボックススイッチとCumulus Linuxを使った話 - MicroAd Developers Blog
39
#microad_CAMPHOR
参考情報
● Hadoop
○ YARN
■ Apache Hadoop YARNとマルチテナントにおけるリソース管理 (フェアスケジューラの話)
○ Impala
■ Apache Impalaパフォーマンスチューニング #dbts2018
■ Faster Performance for Selective Queries - Cloudera Blog
■ The Impala Cookbook
■ Hue 4.4 and its improvements are out! | Hue, the self service open source Analytics Workbench
for browsing, querying and visualizing data interactively
■ Impala SQL クエリのトラブルシューティングのセルフサービス | Hue - Hadoop User Experience - The
Apache Hadoop UI
○ 各コンポーネント(ロール)の配置について
■ Cloudera EDHクラスタをデプロイするベストプラクティス:パート1 「インフラストラクチャの検討」
■ Cloudera EDHクラスタをデプロイするベストプラクティス:パート2 「サービス、ロールのレイアウ
ト」
■ Cloudera EDHクラスタをデプロイするベストプラクティス:パート3 「クラウドに関する検討事項」
40
#microad_CAMPHOR
参考情報
● Rancher
○ Rancher Labs
○ rancher/rke: Rancher Kubernetes Engine, an extremely simple, lightning fast Kubernetes installer that
works everywhere.
○ RancherによるKubernetes活用完全ガイド
● GitOps(ArgoCD)
○ RancherとGitOps的な話
● コミュニティ
○ Rancher JP - connpass
○ Cloud Native JP - connpass
41
QA用
42
#microad_CAMPHOR
バッチで使うコンテナのオーケストレータ
43
使ってないです。
ホストOSにDockerとdocker-composeを入れて後、Systemdを使ってコンテナを
起動しています。
Digdag Server自身もDockerで動いていて、ジョブの実行は、Digdag Serverコ
ンテナ内でDockerを起動してジョブを実行しています。
詳しくは、 以下の記事を参考に
Systemdとdocker-composeでカジュアルにdockerを運用する - Qiita

More Related Content

What's hot

Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Cloudera Japan
 
インフラ領域の技術スタックや業務内容について紹介
インフラ領域の技術スタックや業務内容について紹介インフラ領域の技術スタックや業務内容について紹介
インフラ領域の技術スタックや業務内容について紹介
MicroAd, Inc.(Engineer)
 
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
LINE Corporation
 
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
 
オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用
オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用
オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用
MicroAd, Inc.(Engineer)
 
Jvm言語とJava、切っても切れないその関係
Jvm言語とJava、切っても切れないその関係Jvm言語とJava、切っても切れないその関係
Jvm言語とJava、切っても切れないその関係
yy yank
 
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks
 
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
NTT DATA Technology & Innovation
 
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
NTT DATA Technology & Innovation
 
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
 
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語るKubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Preferred Networks
 
Kubernetes雑にまとめてみた 2020年8月版
Kubernetes雑にまとめてみた 2020年8月版Kubernetes雑にまとめてみた 2020年8月版
Kubernetes雑にまとめてみた 2020年8月版
VirtualTech Japan Inc.
 
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
Preferred Networks
 
トランザクションをSerializableにする4つの方法
トランザクションをSerializableにする4つの方法トランザクションをSerializableにする4つの方法
トランザクションをSerializableにする4つの方法
Kumazaki Hiroki
 
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
NTT Communications Technology Development
 
GraalVMを3つの主機能から眺めてみよう(Oracle Groundbreakers APAC Virtual Tour 2020 講演資料)
GraalVMを3つの主機能から眺めてみよう(Oracle Groundbreakers APAC Virtual Tour 2020 講演資料)GraalVMを3つの主機能から眺めてみよう(Oracle Groundbreakers APAC Virtual Tour 2020 講演資料)
GraalVMを3つの主機能から眺めてみよう(Oracle Groundbreakers APAC Virtual Tour 2020 講演資料)
NTT DATA Technology & Innovation
 
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
 
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
NTT DATA Technology & Innovation
 
ロードバランスへの長い道
ロードバランスへの長い道ロードバランスへの長い道
ロードバランスへの長い道
Jun Kato
 
Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装
Ryuichi Sakamoto
 

What's hot (20)

Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
 
インフラ領域の技術スタックや業務内容について紹介
インフラ領域の技術スタックや業務内容について紹介インフラ領域の技術スタックや業務内容について紹介
インフラ領域の技術スタックや業務内容について紹介
 
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
ソフトウェアでのパケット処理あれこれ〜何故我々はロードバランサを自作するに至ったのか〜
 
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
 
オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用
オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用
オンプレ×Google Cloud PlatformなML基盤におけるRancherの活用
 
Jvm言語とJava、切っても切れないその関係
Jvm言語とJava、切っても切れないその関係Jvm言語とJava、切っても切れないその関係
Jvm言語とJava、切っても切れないその関係
 
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
 
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
Knative Eventing 入門(Kubernetes Novice Tokyo #11 発表資料)
 
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
その Pod 突然落ちても大丈夫ですか!?(OCHaCafe5 #5 実験!カオスエンジニアリング 発表資料)
 
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
 
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語るKubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
Kubernetes にこれから入るかもしれない注目機能!(2022年11月版) / TechFeed Experts Night #7 〜 コンテナ技術を語る
 
Kubernetes雑にまとめてみた 2020年8月版
Kubernetes雑にまとめてみた 2020年8月版Kubernetes雑にまとめてみた 2020年8月版
Kubernetes雑にまとめてみた 2020年8月版
 
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
KubeCon + CloudNativeCon Europe 2022 Recap - Batch/HPCの潮流とScheduler拡張事例 / Kub...
 
トランザクションをSerializableにする4つの方法
トランザクションをSerializableにする4つの方法トランザクションをSerializableにする4つの方法
トランザクションをSerializableにする4つの方法
 
分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)分散トレーシング技術について(Open tracingやjaeger)
分散トレーシング技術について(Open tracingやjaeger)
 
GraalVMを3つの主機能から眺めてみよう(Oracle Groundbreakers APAC Virtual Tour 2020 講演資料)
GraalVMを3つの主機能から眺めてみよう(Oracle Groundbreakers APAC Virtual Tour 2020 講演資料)GraalVMを3つの主機能から眺めてみよう(Oracle Groundbreakers APAC Virtual Tour 2020 講演資料)
GraalVMを3つの主機能から眺めてみよう(Oracle Groundbreakers APAC Virtual Tour 2020 講演資料)
 
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
 
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
Hadoop/Spark を使うなら Bigtop を使い熟そう! ~並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介~(Ope...
 
ロードバランスへの長い道
ロードバランスへの長い道ロードバランスへの長い道
ロードバランスへの長い道
 
Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装
 

Similar to Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介

現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
現場の”今”を知る、これからのビッグデータ分析・活用のすすめ現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
yuji suzuki
 
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
Yaboo Oyabu
 
20120421中国gtug
20120421中国gtug20120421中国gtug
20120421中国gtug
Yusuke Sato
 
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Kotaro Nakayama
 
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysData Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
VOYAGE GROUP
 
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysData Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
Kenta Suzuki
 
Google Product
Google ProductGoogle Product
Google Product
Daisuke Sugai
 
20160728 hyperscale #03
20160728 hyperscale #0320160728 hyperscale #03
20160728 hyperscale #03
ManaMurakami1
 
日本発オープンソース!! スケールアウト型データベース GridDB入門 ~ GitHubからダウンロードして使ってみましょう ~
日本発オープンソース!! スケールアウト型データベース GridDB入門 ~ GitHubからダウンロードして使ってみましょう ~日本発オープンソース!! スケールアウト型データベース GridDB入門 ~ GitHubからダウンロードして使ってみましょう ~
日本発オープンソース!! スケールアウト型データベース GridDB入門 ~ GitHubからダウンロードして使ってみましょう ~
griddb
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
 
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptxチームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
Rakuten Commerce Tech (Rakuten Group, Inc.)
 
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤とEmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
 
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤とEmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
 
JAWS DAYS 2022
JAWS DAYS 2022JAWS DAYS 2022
JAWS DAYS 2022
陽平 山口
 
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Appsグリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
Google Cloud Platform - Japan
 
私たちがGCPを使い始めた本当の理由
私たちがGCPを使い始めた本当の理由私たちがGCPを使い始めた本当の理由
私たちがGCPを使い始めた本当の理由
gree_tech
 
Wordpress案件にgkeを採用してみた(短縮版)
Wordpress案件にgkeを採用してみた(短縮版)Wordpress案件にgkeを採用してみた(短縮版)
Wordpress案件にgkeを採用してみた(短縮版)
Yu Amano
 
[デブサミ関西2013]チケット駆動で プロジェクトチームを加速せよ
[デブサミ関西2013]チケット駆動でプロジェクトチームを加速せよ[デブサミ関西2013]チケット駆動でプロジェクトチームを加速せよ
[デブサミ関西2013]チケット駆動で プロジェクトチームを加速せよ
グロースエクスパートナーズ株式会社/Growth xPartners Incorporated.
 
[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...
[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...
[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...
Insight Technology, Inc.
 
gcpug_kyoto_bigquery
gcpug_kyoto_bigquerygcpug_kyoto_bigquery
gcpug_kyoto_bigquery
さとる なかむら
 

Similar to Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介 (20)

現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
現場の”今”を知る、これからのビッグデータ分析・活用のすすめ現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
現場の”今”を知る、これからのビッグデータ分析・活用のすすめ
 
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
 
20120421中国gtug
20120421中国gtug20120421中国gtug
20120421中国gtug
 
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
Deep Learning Implementations: pylearn2 and torch7 (JNNS 2015)
 
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysData Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
 
Data Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdaysData Engineering at VOYAGE GROUP #jawsdays
Data Engineering at VOYAGE GROUP #jawsdays
 
Google Product
Google ProductGoogle Product
Google Product
 
20160728 hyperscale #03
20160728 hyperscale #0320160728 hyperscale #03
20160728 hyperscale #03
 
日本発オープンソース!! スケールアウト型データベース GridDB入門 ~ GitHubからダウンロードして使ってみましょう ~
日本発オープンソース!! スケールアウト型データベース GridDB入門 ~ GitHubからダウンロードして使ってみましょう ~日本発オープンソース!! スケールアウト型データベース GridDB入門 ~ GitHubからダウンロードして使ってみましょう ~
日本発オープンソース!! スケールアウト型データベース GridDB入門 ~ GitHubからダウンロードして使ってみましょう ~
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
 
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptxチームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
 
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤とEmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
 
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤とEmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
 
JAWS DAYS 2022
JAWS DAYS 2022JAWS DAYS 2022
JAWS DAYS 2022
 
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Appsグリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
 
私たちがGCPを使い始めた本当の理由
私たちがGCPを使い始めた本当の理由私たちがGCPを使い始めた本当の理由
私たちがGCPを使い始めた本当の理由
 
Wordpress案件にgkeを採用してみた(短縮版)
Wordpress案件にgkeを採用してみた(短縮版)Wordpress案件にgkeを採用してみた(短縮版)
Wordpress案件にgkeを採用してみた(短縮版)
 
[デブサミ関西2013]チケット駆動で プロジェクトチームを加速せよ
[デブサミ関西2013]チケット駆動でプロジェクトチームを加速せよ[デブサミ関西2013]チケット駆動でプロジェクトチームを加速せよ
[デブサミ関西2013]チケット駆動で プロジェクトチームを加速せよ
 
[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...
[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...
[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...
 
gcpug_kyoto_bigquery
gcpug_kyoto_bigquerygcpug_kyoto_bigquery
gcpug_kyoto_bigquery
 

More from MicroAd, Inc.(Engineer)

20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
MicroAd, Inc.(Engineer)
 
Kafka Connect:Iceberg Sink Connectorを使ってみる
Kafka Connect:Iceberg Sink Connectorを使ってみるKafka Connect:Iceberg Sink Connectorを使ってみる
Kafka Connect:Iceberg Sink Connectorを使ってみる
MicroAd, Inc.(Engineer)
 
Chromeの3rd Party Cookie廃止とインターネット広告への影響
Chromeの3rd Party Cookie廃止とインターネット広告への影響Chromeの3rd Party Cookie廃止とインターネット広告への影響
Chromeの3rd Party Cookie廃止とインターネット広告への影響
MicroAd, Inc.(Engineer)
 
InternetWeek2022 - インターネット広告の羅針盤
InternetWeek2022 - インターネット広告の羅針盤InternetWeek2022 - インターネット広告の羅針盤
InternetWeek2022 - インターネット広告の羅針盤
MicroAd, Inc.(Engineer)
 
マイクロアドにおけるデータストアの使い分け
マイクロアドにおけるデータストアの使い分けマイクロアドにおけるデータストアの使い分け
マイクロアドにおけるデータストアの使い分け
MicroAd, Inc.(Engineer)
 
データセンターネットワークの構成について
データセンターネットワークの構成についてデータセンターネットワークの構成について
データセンターネットワークの構成について
MicroAd, Inc.(Engineer)
 
RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例
MicroAd, Inc.(Engineer)
 
アドテクに機械学習を組み込むための推論の高速化
アドテクに機械学習を組み込むための推論の高速化アドテクに機械学習を組み込むための推論の高速化
アドテクに機械学習を組み込むための推論の高速化
MicroAd, Inc.(Engineer)
 
アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜
MicroAd, Inc.(Engineer)
 
RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例
MicroAd, Inc.(Engineer)
 
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
MicroAd, Inc.(Engineer)
 
Digdagを用いた大規模広告配信ログデータの加工と運用
Digdagを用いた大規模広告配信ログデータの加工と運用Digdagを用いた大規模広告配信ログデータの加工と運用
Digdagを用いた大規模広告配信ログデータの加工と運用
MicroAd, Inc.(Engineer)
 
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
MicroAd, Inc.(Engineer)
 
インターネット広告の概要とシステム設計
インターネット広告の概要とシステム設計インターネット広告の概要とシステム設計
インターネット広告の概要とシステム設計
MicroAd, Inc.(Engineer)
 
アドテクに携わって培った アプリをハイパフォーマンスに保つ設計とコーディング
アドテクに携わって培った アプリをハイパフォーマンスに保つ設計とコーディング アドテクに携わって培った アプリをハイパフォーマンスに保つ設計とコーディング
アドテクに携わって培った アプリをハイパフォーマンスに保つ設計とコーディング
MicroAd, Inc.(Engineer)
 
Cumulus Linuxを導入したワケ
Cumulus Linuxを導入したワケCumulus Linuxを導入したワケ
Cumulus Linuxを導入したワケ
MicroAd, Inc.(Engineer)
 
マイクロアドのアドテクを支える技術
マイクロアドのアドテクを支える技術マイクロアドのアドテクを支える技術
マイクロアドのアドテクを支える技術
MicroAd, Inc.(Engineer)
 
Scala、DDD、Akkaで立ち向かう 〜広告配信システムに課せられた100msの制約〜
Scala、DDD、Akkaで立ち向かう 〜広告配信システムに課せられた100msの制約〜Scala、DDD、Akkaで立ち向かう 〜広告配信システムに課せられた100msの制約〜
Scala、DDD、Akkaで立ち向かう 〜広告配信システムに課せられた100msの制約〜
MicroAd, Inc.(Engineer)
 
マイクロアドにおけるCTR予測への取り組み
マイクロアドにおけるCTR予測への取り組みマイクロアドにおけるCTR予測への取り組み
マイクロアドにおけるCTR予測への取り組み
MicroAd, Inc.(Engineer)
 
琵琶湖を中心とした世界のようなお話
琵琶湖を中心とした世界のようなお話琵琶湖を中心とした世界のようなお話
琵琶湖を中心とした世界のようなお話
MicroAd, Inc.(Engineer)
 

More from MicroAd, Inc.(Engineer) (20)

20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
20240229 DEIM2024 【技術報告】広告配信における安定して拡張性のある大量データ処理基盤の必要性と活用
 
Kafka Connect:Iceberg Sink Connectorを使ってみる
Kafka Connect:Iceberg Sink Connectorを使ってみるKafka Connect:Iceberg Sink Connectorを使ってみる
Kafka Connect:Iceberg Sink Connectorを使ってみる
 
Chromeの3rd Party Cookie廃止とインターネット広告への影響
Chromeの3rd Party Cookie廃止とインターネット広告への影響Chromeの3rd Party Cookie廃止とインターネット広告への影響
Chromeの3rd Party Cookie廃止とインターネット広告への影響
 
InternetWeek2022 - インターネット広告の羅針盤
InternetWeek2022 - インターネット広告の羅針盤InternetWeek2022 - インターネット広告の羅針盤
InternetWeek2022 - インターネット広告の羅針盤
 
マイクロアドにおけるデータストアの使い分け
マイクロアドにおけるデータストアの使い分けマイクロアドにおけるデータストアの使い分け
マイクロアドにおけるデータストアの使い分け
 
データセンターネットワークの構成について
データセンターネットワークの構成についてデータセンターネットワークの構成について
データセンターネットワークの構成について
 
RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例
 
アドテクに機械学習を組み込むための推論の高速化
アドテクに機械学習を組み込むための推論の高速化アドテクに機械学習を組み込むための推論の高速化
アドテクに機械学習を組み込むための推論の高速化
 
アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜
 
RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例RTBにおける機械学習の活用事例
RTBにおける機械学習の活用事例
 
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
 
Digdagを用いた大規模広告配信ログデータの加工と運用
Digdagを用いた大規模広告配信ログデータの加工と運用Digdagを用いた大規模広告配信ログデータの加工と運用
Digdagを用いた大規模広告配信ログデータの加工と運用
 
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
これから機械学習エンジニアとして戦っていくみなさんへ ~MLOps というマインドセットについて~
 
インターネット広告の概要とシステム設計
インターネット広告の概要とシステム設計インターネット広告の概要とシステム設計
インターネット広告の概要とシステム設計
 
アドテクに携わって培った アプリをハイパフォーマンスに保つ設計とコーディング
アドテクに携わって培った アプリをハイパフォーマンスに保つ設計とコーディング アドテクに携わって培った アプリをハイパフォーマンスに保つ設計とコーディング
アドテクに携わって培った アプリをハイパフォーマンスに保つ設計とコーディング
 
Cumulus Linuxを導入したワケ
Cumulus Linuxを導入したワケCumulus Linuxを導入したワケ
Cumulus Linuxを導入したワケ
 
マイクロアドのアドテクを支える技術
マイクロアドのアドテクを支える技術マイクロアドのアドテクを支える技術
マイクロアドのアドテクを支える技術
 
Scala、DDD、Akkaで立ち向かう 〜広告配信システムに課せられた100msの制約〜
Scala、DDD、Akkaで立ち向かう 〜広告配信システムに課せられた100msの制約〜Scala、DDD、Akkaで立ち向かう 〜広告配信システムに課せられた100msの制約〜
Scala、DDD、Akkaで立ち向かう 〜広告配信システムに課せられた100msの制約〜
 
マイクロアドにおけるCTR予測への取り組み
マイクロアドにおけるCTR予測への取り組みマイクロアドにおけるCTR予測への取り組み
マイクロアドにおけるCTR予測への取り組み
 
琵琶湖を中心とした世界のようなお話
琵琶湖を中心とした世界のようなお話琵琶湖を中心とした世界のようなお話
琵琶湖を中心とした世界のようなお話
 

Recently uploaded

「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
Hironori Washizaki
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
TsuyoshiSaito7
 
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit IntroductionMatsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo Lab
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
Takuya Minagawa
 
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
TsuyoshiSaito7
 
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
Sony - Neural Network Libraries
 
Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
Takayuki Nakayama
 
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit IntroductionMatsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo Lab
 
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
shogotaguchi
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
iPride Co., Ltd.
 

Recently uploaded (10)

「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
「スマートエスイー」におけるスマートシステム&サービスおよびDX推進人材の産学連携育成ならびに参照モデルに基づく育成プログラム分析
 
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
【GPT4-o越えのリアルタイム会話AI】kyutai labsのMoshiデモ動画を解説
 
Matsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit IntroductionMatsuo-Iwasawa Lab. Research unit Introduction
Matsuo-Iwasawa Lab. Research unit Introduction
 
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
第61回CV勉強会「CVPR2024読み会」(前編)発表資料:State Space Models for Event Cameras
 
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツールMOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
MOSHI: 革新的な音声AI QAIが開発した次世代のコミュニケーションツール
 
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
【AI論文解説】LLMの事前学習をvisionに適用する手法Autoregressive Image Models
 
Kyndryl Developer Services のご紹介 2024年7月
Kyndryl Developer Services のご紹介  2024年7月Kyndryl Developer Services のご紹介  2024年7月
Kyndryl Developer Services のご紹介 2024年7月
 
Matsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit IntroductionMatsuo-Iwasawa lab. Research Unit Introduction
Matsuo-Iwasawa lab. Research Unit Introduction
 
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
「福利厚生をコストから投資へ」AIで社員1人ひとりに最適な支援を届ける 全く新しいカフェテリアプラン
 
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
MySQLの文字コードと照合順序について 2024/07/05の勉強会で発表されたものです。
 

Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介