不揮発性メモリ(PMEM)を利用したストレージエンジンの話 #mysql_jp #myna会 #yahoo #mysql #pmem #不揮発性メモリ

2021/07/09の日本MySQLユーザ会(MyNA会)-下位レイヤー勉強会での発表資料です。不揮発性メモリ(PMEM)を利用したMySQLストレージエンジン開発の話をしました。

不揮発性メモリ(PMEM)を利用したストレージエンジンの話 #mysql_jp #myna会 #yahoo #mysql #pmem #不揮発性メモリ

Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Cluster API についてもご紹介します。 https://confengine.com/conferences/devopsdays-tokyo-2021/proposal/15203/pfn-mldl-kubernetes

PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜

Preferred Networks

PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています．この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！イベントサイト: https://ml-kubernetes.connpass.com/event/239859/

PostgreSQLのリカバリ超入門(もしくはWAL、CHECKPOINT、オンラインバックアップの仕組み)

Hironobu Suzuki

速習！論理レプリケーション～基礎から最新動向まで～（PostgreSQL Conference Japan 2022 発表資料）

Hadoop/Spark を使うなら Bigtop を使い熟そう！～並列分散処理基盤のいま、から Bigtop の最近の取り組みまで一挙ご紹介～（Ope...

LakeTahoe

分散システムについて語らせてくれ

Kumazaki Hiroki

オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜

Linux女子部「Fedora最新技術情報＆Systemd勉強会」 http://connpass.com/event/3859/ で使用した資料です。変更履歴 2013/11/04 ver1.0 初版 2013/11/05 ver1.1 誤植修正、少し追記 2013/11/06 ver1.2 daemon-reload,mask,テンプレート機能を追記 2013/11/12 ver1.3 User/Groupオプションの説明追加 2013/11/24 ver1.4 誤植修正 2014/05/05 ver1.5 imjournalモジュールの説明追加

祝！PostgreSQLレプリケーション10周年！徹底紹介！！

PostgreSQL16新機能紹介 - libpq接続ロード・バランシング（第41回PostgreSQLアンカンファレンス@オンライン発表資料）

Apache Spark on Kubernetes入門（Open Source Conference 2021 Online Hiroshima 発表資料）

PostgreSQL 12はここがスゴイ！～性能改善やpluggable storage engineなどの新機能を徹底解説～（NTTデータテクノ...

Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS

アーキテクチャから理解するPostgreSQLのレプリケーション

Masahiko Sawada

A critique of ansi sql isolation levels 解説公開用

Takashi Kambayashi

Dockerからcontainerdへの移行

Kohei Tokunaga

PostgreSQL13でのpg_basebackupの改善について（第13回PostgreSQLアンカンファレンス@オンライン）

Uptime Technologies LLC (JP)

PostgreSQLバックアップの基本

ストリーム処理におけるApache Avroの活用について（NTTデータテクノロジーカンファレンス 2019 講演資料、2019/09/05）

本当は恐ろしい分散システムの話

Kumazaki Hiroki

CloudNativePGを動かしてみた！～PostgreSQL on Kubernetes～（第34回PostgreSQLアンカンファレンス@オンライ...

PostgreSQLをKubernetes上で活用するためのOperator紹介！（Cloud Native Database Meetup #3 発表資料）

BuildKitによる高速でセキュアなイメージビルド

Akihiro Suda

Cassandraのしくみデータの読み書き編

Yuki Morishita

Fluentdのお勧めシステム構成パターン

Kentaro Yoshida

Apache Hadoop HDFSの最新機能の紹介（2018）#dbts2018

継続的なモデルモニタリングを実現するKubernetes Operator

ヤフーでは開発迅速性と品質のバランスをどう取ってるか

Test Engineers Meetup 近年のソフトウエア開発では、ビジネス変化への対応がスピーディーであることが求められます。いかに迅速にかつサービスの品質を落とさずにお客様へ新しい価値を提供できるかが重要です。このプレゼンテーションでは、開発迅速性とサービスの品質の計測と可視化、そして、2つの要素をバランスよく改善するべく自分たちが取り組んでいることを事例として紹介します。

What's hot

ゼロから始める転移学習

Linux女子部　systemd徹底入門

Etsuji Nakai

祝！PostgreSQLレプリケーション10周年！徹底紹介！！

PostgreSQL16新機能紹介 - libpq接続ロード・バランシング（第41回PostgreSQLアンカンファレンス@オンライン発表資料）

Apache Spark on Kubernetes入門（Open Source Conference 2021 Online Hiroshima 発表資料）

PostgreSQL 12はここがスゴイ！～性能改善やpluggable storage engineなどの新機能を徹底解説～（NTTデータテクノ...

Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS

アーキテクチャから理解するPostgreSQLのレプリケーション

Masahiko Sawada

A critique of ansi sql isolation levels 解説公開用

Takashi Kambayashi

Dockerからcontainerdへの移行

Kohei Tokunaga

PostgreSQL13でのpg_basebackupの改善について（第13回PostgreSQLアンカンファレンス@オンライン）

Uptime Technologies LLC (JP)

PostgreSQLバックアップの基本

ストリーム処理におけるApache Avroの活用について（NTTデータテクノロジーカンファレンス 2019 講演資料、2019/09/05）

本当は恐ろしい分散システムの話

Kumazaki Hiroki

CloudNativePGを動かしてみた！～PostgreSQL on Kubernetes～（第34回PostgreSQLアンカンファレンス@オンライ...

PostgreSQLをKubernetes上で活用するためのOperator紹介！（Cloud Native Database Meetup #3 発表資料）

BuildKitによる高速でセキュアなイメージビルド

Akihiro Suda

Cassandraのしくみデータの読み書き編

Yuki Morishita

Fluentdのお勧めシステム構成パターン

Kentaro Yoshida

Apache Hadoop HDFSの最新機能の紹介（2018）#dbts2018

What's hot (20)

ゼロから始める転移学習

Linux女子部　systemd徹底入門

祝！PostgreSQLレプリケーション10周年！徹底紹介！！

PostgreSQL16新機能紹介 - libpq接続ロード・バランシング（第41回PostgreSQLアンカンファレンス@オンライン発表資料）

Apache Spark on Kubernetes入門（Open Source Conference 2021 Online Hiroshima 発表資料）

PostgreSQL 12はここがスゴイ！～性能改善やpluggable storage engineなどの新機能を徹底解説～（NTTデータテクノ...

Yahoo! JAPANのプライベートRDBクラウドとマルチライター型 MySQL #dbts2017 #dbtsOSS

アーキテクチャから理解するPostgreSQLのレプリケーション

A critique of ansi sql isolation levels 解説公開用

Dockerからcontainerdへの移行

PostgreSQL13でのpg_basebackupの改善について（第13回PostgreSQLアンカンファレンス@オンライン）

PostgreSQLバックアップの基本

ストリーム処理におけるApache Avroの活用について（NTTデータテクノロジーカンファレンス 2019 講演資料、2019/09/05）

本当は恐ろしい分散システムの話

CloudNativePGを動かしてみた！～PostgreSQL on Kubernetes～（第34回PostgreSQLアンカンファレンス@オンライ...

PostgreSQLをKubernetes上で活用するためのOperator紹介！（Cloud Native Database Meetup #3 発表資料）

BuildKitによる高速でセキュアなイメージビルド

Cassandraのしくみデータの読み書き編

Fluentdのお勧めシステム構成パターン

Apache Hadoop HDFSの最新機能の紹介（2018）#dbts2018

More from Yahoo!デベロッパーネットワーク

継続的なモデルモニタリングを実現するKubernetes Operator

ヤフーでは開発迅速性と品質のバランスをどう取ってるか

オンプレML基盤on Kubernetes パネルディスカッション

Persistent-memory-native Database High-availability Feature

データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2

2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。

eコマースと実店舗の相互利益を目指したデザイン #yjtc

2021年の「グッドデザイン賞」ではヤフーから4案件が受賞しました。本セッションでは「PayPayモールの実店舗在庫連携」について、案件の立ち上げから、リリースを通して改善・工夫した事、グッドデザイン賞の受賞経緯など、デザイナー目線でお話しします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/MFnZd1j4SUk

ヤフーを支えるセキュリティ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc

世の中にはサービスのセキュリティを脅かす犯罪者がたくさんいます。ユーザーを犯罪者から守り、サービスを安心安全に利用していただくため、高度化するサイバー攻撃に日々対応する必要があります。ヤフーにおけるセキュリティの一翼を担っているCSIRTとSOCについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/boqitqHobrc

Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc

Yahoo! JAPANのIaaS基盤では200超のOpenStackクラスタが稼働しており、それらのコントロールプレーンをKubernetes上にデプロイしています。IaaSチームで管理している十数のKubernetesクラスタは古いバージョンのまま運用が続けられていたため、現在、段階的にバージョンアップおよびその自動化に取り組んでいます。このようなクラスタ群をメンテナンスする中で、工夫した点や失敗した点、得られた知見を紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/F5EQqWOw8So

ビッグデータから人々のムードを捉える #yjtc

ムード（気分）は人間の行動に大きく影響します。インターネットサービスにおいて、もし人々のムードを考慮し寄り添えたなら、より魅力的なサービスが提供できるのではないでしょうか。本セッションではヤフーが持つビッグデータを用いて「ムードを推定する」取り組みについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/WyZOmUN52-s

サイエンス領域におけるMLOpsの取り組み #yjtc

ヤフーでは、さまざまな形で機械学習を活用してきました。その経験をもとに、AIプラットフォームと連携し、MLOpsの導入・推進を進めています。本セッションでは、サイエンス部門におけるMLOpsを推進するためにこれまで行ってきた取り組みについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/tf9C0sLOZ14

ヤフーのAIプラットフォーム紹介～AIテックカンパニーを支えるデータ基盤～ #yjtc

ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/XZKOHIfEnsU

Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc

新技術を使った次世代の商品の見せ方～ヤフオク!のマルチビュー機能～ #yjtc

2021年1月にヤフオク!アプリに商品を多角的に撮影／閲覧できる機能「マルチビュー」が導入されました。ヤフオク!にマルチビュー機能が追加された理由やマルチビュー機能を実現する多視点技術についてお話しします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/4Fi9cb0x6LU

PC版Yahoo!メールリニューアル～サービスのUI/UX統合と改善プロセス～ #yjtc

2021年9月、PC版Yahoo!メールを10年ぶりにリニューアルしました。技術刷新を機にweb・アプリのUI/UXを統合し、Yahoo! JAPANのサービスとしての一貫性あるデザインにしました。大規模リニューアルの改善ポイントとそのプロセスについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/zuE6IysVsNw

モブデザインによる多職種チームのコミュニケーション改善 #yjtc

ヤフーは昨年「ワクチン接種キャンセル枠お知らせサービス」を公開しました。多くの関係者が存在するプロジェクトでありながら、リモートワーク環境下での協業、高いスピード感が必要となるプロジェクトでした。本セッションではこのプロジェクトの成功につながった「モブデザイン」という取り組みについて、その効果やうまく運用するためのポイントを紹介します。実際にモブデザインを行っている様子もご覧いただけるので、特に多職種チームでスピード感のある意思決定をしていくことに課題感をお持ちの方へのヒントになればと思います。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/lmsY2uCP6lY

「新しいおうち探し」のためのAIアシスト検索 #yjtc

Yahoo!不動産では「新しいおうち探し」が体験できるAIアシスト検索を提供しています。AIアシスト検索ではさまざまな軸をレコメンドすることによって検索をサポートしています。本セッションでは、AIアシスト検索のレコメンドがクラスタリングや深層学習といった手法を使って、どのように実現されているのかを紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/-uhdjlcfcmQ

ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc

Yahoo!検索の入力補助機能について、ユーザーの現在位置を考慮することによる改善施策を題材として、施策の検討からオフラインでの実験、A/Bテスト、リリースまでの一連のプロセスについて紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/8kXmkBTw0nU

The potential of Kubernetes as more than just an infrastructure to deploy

分散密ベクトル探索エンジンである Vald ( https://vald.vdaas.org ) は、 Kubernetesを単なるデプロイするためのインフラとしてだけではなく、Valdのアプリケーションロジックが直接Kubernetes APIを利用し分散密ベクトル探索エンジンValdの分散レイヤーの一部として利用しています。 ValdはGraph&Tree構造からなるベクトルインデックス構造をIn-Memory上に保持しており、各Podは別々のGraph空間を有していてKubernetesのAPIから取得できる情報をもとに各Podのベクトルインデックスの管理を行っています。このスライドでは、アプリケーションからcontroller-runtimeを利用し直接 Kubernetes API を利用する真の Kubernetes ネイティブアプリケーションであるValdの事例について紹介します。

Yahoo! ニュースにおけるドキュメント管理の事例紹介

ライフステージの変化の中でエンジニア管理職として働くコツ #devsumi A-5

More from Yahoo!デベロッパーネットワーク (20)

継続的なモデルモニタリングを実現するKubernetes Operator

ヤフーでは開発迅速性と品質のバランスをどう取ってるか

オンプレML基盤on Kubernetes パネルディスカッション

Persistent-memory-native Database High-availability Feature

データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2

eコマースと実店舗の相互利益を目指したデザイン #yjtc

ヤフーを支えるセキュリティ～サイバー攻撃を防ぐエンジニアの仕事とは～ #yjtc

Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc

ビッグデータから人々のムードを捉える #yjtc

サイエンス領域におけるMLOpsの取り組み #yjtc

ヤフーのAIプラットフォーム紹介～AIテックカンパニーを支えるデータ基盤～ #yjtc

Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc

新技術を使った次世代の商品の見せ方～ヤフオク!のマルチビュー機能～ #yjtc

PC版Yahoo!メールリニューアル～サービスのUI/UX統合と改善プロセス～ #yjtc

モブデザインによる多職種チームのコミュニケーション改善 #yjtc

「新しいおうち探し」のためのAIアシスト検索 #yjtc

ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc

The potential of Kubernetes as more than just an infrastructure to deploy

Yahoo! ニュースにおけるドキュメント管理の事例紹介

ライフステージの変化の中でエンジニア管理職として働くコツ #devsumi A-5

Recently uploaded

FIDO Alliance Osaka Seminar: PlayStation Passkey Deployment Case Study.pdf

LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル

CRI Japan, Inc.

FIDO Alliance Osaka Seminar: LY-DOCOMO-KDDI-Mercari Panel.pdf

Fukuoka Institute of Technology

論文紹介: Offline Q-Learning on diverse Multi-Task data both scales and generalizes

atsushi061452

2024年度_サイバーエージェント_新卒研修「データベースの歴史」.pptx

yassun7010

単腕マニピュレータによる複数物体の同時組み立ての基礎的考察 / Basic Approach to Robotic Assembly of Multi...

セル生産方式におけるロボットの活用には様々な問題があるが，その一つとして 3 体以上の物体の組み立てが挙げられる．一般に，複数物体を同時に組み立てる際は，対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる．ただし，この方法ではロボットアームや治具を部品数と同じ数だけ必要とし，部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる．この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により，治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた．すなわち，環境中の非把持対象物のロバスト性を考慮して，組み立て作業条件を検討している．本研究ではこの方策に基づいて，複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする．このとき，対象物のロバスト性を考慮することで，仮組状態の複数物体を同時に扱う手法を提案する．作業対象としてパイプジョイントの組み立てを挙げ，簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す．さらに，作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する． This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.

【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matching

harmonylab

公開URL：https://arxiv.org/pdf/2404.19174 出典：Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023) 概要：リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat（Accelerated Features）」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。

FIDO Alliance Osaka Seminar: Welcome Slides.pdf

Sony - Neural Network Libraries

【AI論文解説】Consistency ModelとRectified Flow

YouTube nnabla channelの次の動画で利用したスライドです。【AI論文解説】Consistency ModelとRectified Flow https://youtu.be/3IKCrAPe55k Consistency ModelとRectified Flowに関連する以下の論文を紹介しています。 Consistency models（解説編Part1で紹介） - “Consistency Models,” ICML 2023. - “Improved Techniques for Training Consistency Models,” ICLR 2024. - “Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion,” ICLR 2024. Rectified flow（解説編Part2で紹介） - “Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow,” ICLR 2023. - “InstaFlow: One Step is Enough for High-Quality Diffusion-Based Text-to-Image Generation,” ICLR 2024.

FIDO Alliance Osaka Seminar: CloudGate.pdf

論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...

atsushi061452

FIDO Alliance Osaka Seminar: NEC & Yubico Panel.pdf

MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。

iPride Co., Ltd.

TaketoFujikawa_物語のコンセプトに基づく情報アクセス手法の基礎検討_JSAI2024

Matsushita Laboratory

YugabyteDB適用に向けた取り組みと隠れた魅力 (DSS Asia 2024 発表資料)