データセンターネットワークでのPrometheus活用事例

Prometheus Tokyo Meetup #2 での発表資料 Prometheusを利用し、ヤフーのデータセンターで運用中のNW機器の監視しているのか。利用する上での工夫点などを紹介しています。

Yahoo! JAPANのIaaS基盤では200超のOpenStackクラスタが稼働しており、それらのコントロールプレーンをKubernetes上にデプロイしています。IaaSチームで管理している十数のKubernetesクラスタは古いバージョンのまま運用が続けられていたため、現在、段階的にバージョンアップおよびその自動化に取り組んでいます。このようなクラスタ群をメンテナンスする中で、工夫した点や失敗した点、得られた知見を紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/F5EQqWOw8So

PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜

Preferred Networks

PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています．この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！イベントサイト: https://ml-kubernetes.connpass.com/event/239859/

PaxosPreferred Networks

大規模負荷試験時にやったこと

まべ☆てっく運営

eBPFを用いたトレーシングについて

さくらインターネット株式会社

Swagger ではない OpenAPI Specification 3.0 による API サーバー開発

VirtualBox と Rocky Linux 8 で始める Pacemaker ~ VirtualBox でも STONITH 機能が試せる! Vi...

ksk_ha

PG-REXで学ぶPacemaker運用の実例

kazuhcurry

2015.10.3 にOSC2015 Fukuoka(＠九州産業大学）で講演した資料です。 PacemakerとPostgreSQLのレプリケーション機能を組み合わせた「PG-REX」(*)は、共有ディスクを使用しない安価な構成で、商用運用にも耐える可用性を実現することができます。このPG-REXを含むPacemakerによるクラスタ構成は初期構築後、実際の故障が発生した際にその効果を発揮しますが、ログやコマンドが複雑で、フェイルオーバの原因を突き止めたり、その後に正しい状態に復旧する方法がわからない、といった問い合わせを受けることが多々あります。そこで、デモでも使用しているPG-REXを例として、故障内容によるPacemakerの挙動の違い、および原因解析方法、復旧方法を、実例を挙げながら網羅的にご説明します。 * PG-REXのコミュニティも立ち上げ、普及に努めています。　コミュニティURL：http://osdn.jp/projects/pg-rex/

PostgreSQLをKubernetes上で活用するためのOperator紹介！（Cloud Native Database Meetup #3 発表資料）

Prometheus入門から運用まで徹底解説

貴仁大和屋

なぜディスクレスハイパーバイザに至ったのか / Why did we select to the diskless hypervisor? #builde...

whywaita

ゼロから始める転移学習

継続的なモデルモニタリングを実現するKubernetes Operator

What's hot

YugabyteDBを使ってみよう（NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料）

LakeTahoe

オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜

トランザクション処理可能な分散DB 「YugabyteDB」入門（Open Source Conference 2022 Online/Fukuoka 発...

PostgreSQLでスケールアウト

Masahiko Sawada

ヤフー発のメッセージキュー「Pulsar」のご紹介

DockerとPodmanの比較

Akihiro Suda

PostgreSQL 15 開発最新情報

Masahiko Sawada

PostgreSQL 15の新機能を徹底解説

Masahiko Sawada

Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc

PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜

Preferred Networks

PaxosPreferred Networks

大規模負荷試験時にやったこと

まべ☆てっく運営

eBPFを用いたトレーシングについて

さくらインターネット株式会社

Swagger ではない OpenAPI Specification 3.0 による API サーバー開発

VirtualBox と Rocky Linux 8 で始める Pacemaker ~ VirtualBox でも STONITH 機能が試せる! Vi...

ksk_ha

PG-REXで学ぶPacemaker運用の実例

kazuhcurry

PostgreSQLをKubernetes上で活用するためのOperator紹介！（Cloud Native Database Meetup #3 発表資料）

Prometheus入門から運用まで徹底解説

貴仁大和屋

なぜディスクレスハイパーバイザに至ったのか / Why did we select to the diskless hypervisor? #builde...

whywaita

What's hot (20)

YugabyteDBを使ってみよう（NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料）

LakeTahoe

オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜

トランザクション処理可能な分散DB 「YugabyteDB」入門（Open Source Conference 2022 Online/Fukuoka 発...

PostgreSQLでスケールアウト

ヤフー発のメッセージキュー「Pulsar」のご紹介

DockerとPodmanの比較

PostgreSQL 15 開発最新情報

PostgreSQL 15の新機能を徹底解説

Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc

PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜

Paxos

大規模負荷試験時にやったこと

eBPFを用いたトレーシングについて

Swagger ではない OpenAPI Specification 3.0 による API サーバー開発

VirtualBox と Rocky Linux 8 で始める Pacemaker ~ VirtualBox でも STONITH 機能が試せる! Vi...

PG-REXで学ぶPacemaker運用の実例

PostgreSQLをKubernetes上で活用するためのOperator紹介！（Cloud Native Database Meetup #3 発表資料）

Prometheus入門から運用まで徹底解説

なぜディスクレスハイパーバイザに至ったのか / Why did we select to the diskless hypervisor? #builde...

More from Yahoo!デベロッパーネットワーク

ゼロから始める転移学習

継続的なモデルモニタリングを実現するKubernetes Operator

ヤフーでは開発迅速性と品質のバランスをどう取ってるか

Test Engineers Meetup 近年のソフトウエア開発では、ビジネス変化への対応がスピーディーであることが求められます。いかに迅速にかつサービスの品質を落とさずにお客様へ新しい価値を提供できるかが重要です。このプレゼンテーションでは、開発迅速性とサービスの品質の計測と可視化、そして、2つの要素をバランスよく改善するべく自分たちが取り組んでいることを事例として紹介します。

Persistent-memory-native Database High-availability Feature

データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2

2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。

eコマースと実店舗の相互利益を目指したデザイン #yjtc

2021年の「グッドデザイン賞」ではヤフーから4案件が受賞しました。本セッションでは「PayPayモールの実店舗在庫連携」について、案件の立ち上げから、リリースを通して改善・工夫した事、グッドデザイン賞の受賞経緯など、デザイナー目線でお話しします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/MFnZd1j4SUk

ヤフーを支えるセキュリティ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc

世の中にはサービスのセキュリティを脅かす犯罪者がたくさんいます。ユーザーを犯罪者から守り、サービスを安心安全に利用していただくため、高度化するサイバー攻撃に日々対応する必要があります。ヤフーにおけるセキュリティの一翼を担っているCSIRTとSOCについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/boqitqHobrc

ビッグデータから人々のムードを捉える #yjtc

ムード（気分）は人間の行動に大きく影響します。インターネットサービスにおいて、もし人々のムードを考慮し寄り添えたなら、より魅力的なサービスが提供できるのではないでしょうか。本セッションではヤフーが持つビッグデータを用いて「ムードを推定する」取り組みについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/WyZOmUN52-s

サイエンス領域におけるMLOpsの取り組み #yjtc

ヤフーでは、さまざまな形で機械学習を活用してきました。その経験をもとに、AIプラットフォームと連携し、MLOpsの導入・推進を進めています。本セッションでは、サイエンス部門におけるMLOpsを推進するためにこれまで行ってきた取り組みについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/tf9C0sLOZ14

ヤフーのAIプラットフォーム紹介～AIテックカンパニーを支えるデータ基盤～ #yjtc

ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/XZKOHIfEnsU

Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc

新技術を使った次世代の商品の見せ方～ヤフオク!のマルチビュー機能～ #yjtc

2021年1月にヤフオク!アプリに商品を多角的に撮影／閲覧できる機能「マルチビュー」が導入されました。ヤフオク!にマルチビュー機能が追加された理由やマルチビュー機能を実現する多視点技術についてお話しします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/4Fi9cb0x6LU

PC版Yahoo!メールリニューアル～サービスのUI/UX統合と改善プロセス～ #yjtc

2021年9月、PC版Yahoo!メールを10年ぶりにリニューアルしました。技術刷新を機にweb・アプリのUI/UXを統合し、Yahoo! JAPANのサービスとしての一貫性あるデザインにしました。大規模リニューアルの改善ポイントとそのプロセスについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/zuE6IysVsNw

モブデザインによる多職種チームのコミュニケーション改善 #yjtc

ヤフーは昨年「ワクチン接種キャンセル枠お知らせサービス」を公開しました。多くの関係者が存在するプロジェクトでありながら、リモートワーク環境下での協業、高いスピード感が必要となるプロジェクトでした。本セッションではこのプロジェクトの成功につながった「モブデザイン」という取り組みについて、その効果やうまく運用するためのポイントを紹介します。実際にモブデザインを行っている様子もご覧いただけるので、特に多職種チームでスピード感のある意思決定をしていくことに課題感をお持ちの方へのヒントになればと思います。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/lmsY2uCP6lY

「新しいおうち探し」のためのAIアシスト検索 #yjtc

Yahoo!不動産では「新しいおうち探し」が体験できるAIアシスト検索を提供しています。AIアシスト検索ではさまざまな軸をレコメンドすることによって検索をサポートしています。本セッションでは、AIアシスト検索のレコメンドがクラスタリングや深層学習といった手法を使って、どのように実現されているのかを紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/-uhdjlcfcmQ

ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc

Yahoo!検索の入力補助機能について、ユーザーの現在位置を考慮することによる改善施策を題材として、施策の検討からオフラインでの実験、A/Bテスト、リリースまでの一連のプロセスについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/8kXmkBTw0nU

The potential of Kubernetes as more than just an infrastructure to deploy

分散密ベクトル探索エンジンである Vald ( https://vald.vdaas.org ) は、 Kubernetesを単なるデプロイするためのインフラとしてだけではなく、Valdのアプリケーションロジックが直接Kubernetes APIを利用し分散密ベクトル探索エンジンValdの分散レイヤーの一部として利用しています。 ValdはGraph&Tree構造からなるベクトルインデックス構造をIn-Memory上に保持しており、各Podは別々のGraph空間を有していてKubernetesのAPIから取得できる情報をもとに各Podのベクトルインデックスの管理を行っています。このスライドでは、アプリケーションからcontroller-runtimeを利用し直接 Kubernetes API を利用する真の Kubernetes ネイティブアプリケーションであるValdの事例について紹介します。

Yahoo! ニュースにおけるドキュメント管理の事例紹介

ライフステージの変化の中でエンジニア管理職として働くコツ #devsumi A-5

ユーザー情報格納基盤におけるApache Pulsarの利用事例

More from Yahoo!デベロッパーネットワーク (20)

ゼロから始める転移学習

継続的なモデルモニタリングを実現するKubernetes Operator

ヤフーでは開発迅速性と品質のバランスをどう取ってるか

Persistent-memory-native Database High-availability Feature

データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2

eコマースと実店舗の相互利益を目指したデザイン #yjtc

ヤフーを支えるセキュリティ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc

ビッグデータから人々のムードを捉える #yjtc

サイエンス領域におけるMLOpsの取り組み #yjtc

ヤフーのAIプラットフォーム紹介～AIテックカンパニーを支えるデータ基盤～ #yjtc

Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc

新技術を使った次世代の商品の見せ方～ヤフオク!のマルチビュー機能～ #yjtc

PC版Yahoo!メールリニューアル～サービスのUI/UX統合と改善プロセス～ #yjtc

モブデザインによる多職種チームのコミュニケーション改善 #yjtc

「新しいおうち探し」のためのAIアシスト検索 #yjtc

ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc

The potential of Kubernetes as more than just an infrastructure to deploy

Yahoo! ニュースにおけるドキュメント管理の事例紹介

ライフステージの変化の中でエンジニア管理職として働くコツ #devsumi A-5

ユーザー情報格納基盤におけるApache Pulsarの利用事例

Recently uploaded

CS集会#13_なるほどわからん通信技術　発表資料

Yuuitirou528 default

FIDO Alliance Osaka Seminar: Welcome Slides.pdf

論文紹介：When Visual Prompt Tuning Meets Source-Free Domain Adaptive Semantic Seg...

Toru Tamaki

FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf

Fukuoka Institute of Technology

LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル

CRI Japan, Inc.

TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024

Matsushita Laboratory

単腕マニピュレータによる複数物体の同時組み立ての基礎的考察 / Basic Approach to Robotic Assembly of Multi...

セル生産方式におけるロボットの活用には様々な問題があるが，その一つとして 3 体以上の物体の組み立てが挙げられる．一般に，複数物体を同時に組み立てる際は，対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる．ただし，この方法ではロボットアームや治具を部品数と同じ数だけ必要とし，部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる．この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により，治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた．すなわち，環境中の非把持対象物のロバスト性を考慮して，組み立て作業条件を検討している．本研究ではこの方策に基づいて，複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする．このとき，対象物のロバスト性を考慮することで，仮組状態の複数物体を同時に扱う手法を提案する．作業対象としてパイプジョイントの組み立てを挙げ，簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す．さらに，作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する． This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.

FIDO Alliance Osaka Seminar: CloudGate.pdf

JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ

0207sukipio

This is the company presentation material of RIZAP Technologies, Inc.

chiefujita1

FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf

ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---

Matsushita Laboratory

我々はこれまで，新たなモノを産出する過程において「便利にすること」によって副次的に生じる課題を「便利の副作用」と定義し，その低減を目的としてアイディアの発想支援手法を提案してきた．これまでの研究では，便利前後の行為の増減に着目することにより便利の副作用への気づきの誘発が示唆されたものの，行為の増減の提示による便利の副作用への気づきへの影響は十分に検討できていなかった．そのため，本稿では行為の提示により便利の副作用に気づき，それを防いだアイディアの発想の支援が可能かの検証を目的として実験を行い，その有効性について検証する．実験では，行為の増減の提示の有無によりアイディア発想にどのような影響を与えるか検証を行う．

FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf