SQL Server 使いのための Azure Synapse Analytics - Spark 入門Daiyu Hatakeyama
Japan SQL Server Users Group - 第35回 SQL Server 2019勉強会 - Azure Synapese Analytics - SQL Pool 入門 のセッション資料です。
Spark の位置づけ。Synapse の中での入門編の使い方。そして、Synapse ならではの価値について触れてます。
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
5. 分散ファイルシステムの種類
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 5
分類
概要
例
分散ファイルシステム
複数のホストがコンピュータネットワークを経由して
共有しつつファイルにアクセスすることを可能にする。
複数のサーバ上に配置されたファイルを、論理的に
構造化された 1つ以上の名前空間で透過的にアク
セスできる。
Amazon S3
Andrew File System
(AFS) etc.
分散フォールト
トレラント
ファイルシステム
データを複製する事により、分散ファイルシステムを
構成する要素に障害が発生しても、データ喪失する
事なくアクセスが継続できる。
Microsoft DFS
Moose FS, etc.
分散並列
ファイルシステム
データを細かく分割し、分散ファイルシステム上の各
ホストに分散配置する事により、性能をスケールア
ウトできる。
FraunhoferFS
(FhGFS)
PVFS/OrangeFS
etc.
分散並列フォールト
トレラント
ファイルシステム
上記全ての機能を備えたファイルシステム
Ceph
GlusterFS
XtreemFS etc.
6. 調べてみました
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 6
製品名 開発主体 ライセンス
Amage クリエーションライン株式会社 プロプライエタリ
Ceph Inktank LGPL2
Chiron FS luisfurquim@gmail.com GPL3
Cloudian クラウディアン株式会社 プロプライエタリ
CloudStore/Kosmosfs/Quantcastfs Quantcast Apache License 2.0
Cosmos Microsoft internal 非公開
dCache DESY and others プロプライエタリ
FraunhoferFS (FhGFS) Competence Center for High Performance Computing FhGFS license
FS-Manager CDNetworks プロプライエタリ
General Parallel File System(GPFS) IBM プロプライエタリ
Gfarm file system 筑波大学/産業技術総合研究所 BSD
GlusterFS Gluster, a company acquired by Red Hat GPL3
Google File System(GFS) Google 非公開
Hadoop Distributed File System ASF, Cloudera, Pivot, Hortonworks, WANdisco, Intel Apache License 2.0
IBRIX Fusion IBRIX プロプライエタリ
LeoFS 楽天技術研究所 Apache License 2.0
Lustre
originally developed byCluster File System and currently supported
by Intel(formerly Whamcloud)
GPL
MogileFS Danga Interactive GPL
12. CephFS (Posix file system)
kernel
Device driver
vfs
FUSE
File system
ブロック
デバイス
User space
Kernel space
Ceph-fuse
Client
Application
MDS
Monitors
OSDs
vfs
ブロックデバ
イスドライバ
vfs
User space
Kernel space
Ceph-kernel
Client
Application
RADOS
*CephFSは、現時点(V.0.80)で本番稼働での使用は推奨されていない。
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
12
CephFS Kernel client
CephFS FUSE client
13. 物理サーバ
QEMU/KVM
Ceph RBD(ブロックデバイス)
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 13
RBD
(RADOS Block Device)
Kernel
Client
librbd
VM
Linux
Kernel
Client
物理サーバ
Hypervisor
VM
物理サーバ
Linux
アプリケー
ション
アプリケー
ション
アプリケー
ション
Linuxページ
キャッシュを使用
ユーザースペース
モジュール
RBD Cacheを使用
Linuxのみサポート
カーネルスペース
モジュール
Hypervisorの種類は
問わない
VM OSの種類は
問わない
Hypervisorの種類は
QEMU/KVMのみ
14. Ceph RADOSGW (Object Gateway)
librgw
File system
ブロック
デバイス
Monitors
OSDs
vfs
ブロックデバ
イスドライバ
S3 API
librados
Application
RADOS
*RADOSGWは、マルチサイト非同期レプリケーションをサポート
httpd
SWIFT API
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
14
19. OpenStack+Cephのメリット
l OpenStack 全体の可⽤用性の向上
l MySQL のデータさえダンプ取得すれば、 リストア可能
l OS イメージ・スナップショットは Ceph 上にあ
るのでバックアップ不要
l Compute ノード上のインスタンスデータは Ceph
のスナップショットから復旧
l Network ノードは分散・冗⻑⾧長可能、データのバッ
クアップは不要
l 最⼩小構成(3ノード)から始めて、スケールアウ
ト可能
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 19
20. Cephのユースケース
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 20
Virtualization and Private
Cloud
(traditional SAN/NAS)
High Performance
(traditional SAN)
PerformanceCapacity
NAS & Object
Content Store
(traditional NAS)
Cloud
Applications
Traditional IT
XaaS Compute Cloud
Open Source Block
XaaS Content Store
Open Source NAS/Object
Ceph
Target
Ceph Target
24. Cephロードマップ (as of 4/30)
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 24
1.2 2.0
CEPH
CALAMARI
PLUGINS
May 2014 Q4 2014 2015
25. ベンチマーク⽬目的
l 想定ユースケース
l 共有ファイルサーバ/VMイメージストア
l CephFS/RBDでの各ドライバでの基本性能を検
証、Object Storageは実施しなかった
l ⽐比較のために、ローカルHDDとNFSも検証した
l 限られたHW環境のため、スケールアウトの検証
は⾏行行っていない
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
25
36. まとめ
1. CephFS Kernelドライバはまだ本番環境には使えない
2. CephFS FUSEドライバは、作成ファイル数が増えるとコン
テキストスイッチが急激に増加する
3. CephRBDは検証環境では普通にNFS(1台)並みの性能
1. 1G etherを使い切っている
2. NW/キャッシングのチューニングでさらに向上が⾒見見込まれる
4. CephRBD_QEMUドライバは、ランダムRWではkernelドラ
イバより良い結果となった
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
36
37. 参考情報
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
37
http://www.mellanox.com/related-docs/whitepapers/
WP_Deploying_Ceph_over_High_Performance_Networks.pdf
38. 参考情報
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
38
2,419MB/sec (8M Seq. READ)
110k IOPS (4k Seq. READ)
39. ⽇日本Cephユーザー会
l https://groups.google.com/forum/#!forum/ceph-jp
l July Tech Festa 2014
l http://2014.techfesta.jp/
l 会場: 産業技術⼤大学院⼤大学 東京都品川区東⼤大井1-10-40
l ⽇日程: 2014年6⽉月22⽇日(⽇日) 10:00-
l タイトル:オープンソース次世代分散ストレージ「Ceph」解説
l 内容:
l 「Ceph」はLinuxカーネル2.6.34で標準実装されたファイルシステ
ムで、複数のストレージシステムに対して、データを分散管理する
仕組みを実現しています。
l オブジェクトストア、ブロックストア、POSIX準拠の分散ファイ
ルシステムで構成され、⾼高い拡張性、⾃自動拡張、⾃自⼰己修復などが特
徴です。OpenStackにもブロックストレージのプラグイン
「Cinder」からも利⽤用可能です。今回はこの「Ceph」の概要から
優れた特徴について解説します。
14/06/02
Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
39