Azure Data Box Family Overview and Microsoft Intelligent Edge StrategyTakeshi Fukuhara
2019年2月26日に実施した "Azure を利用したインフラのモダナイズ!Azure File Sync と Azure Data Box 特集セミナー" でのセッション資料。Azure Data Boxファミリー概要と、マイクロソフトのインテリジェントエッジ戦略におけるAzure Data Box Ege/Gatewayの位置づけについての説明。Appendixには、Azure StackとAzure Data Box Edgeの比較スライドあり。
Azure Data Box Family Overview and Microsoft Intelligent Edge StrategyTakeshi Fukuhara
2019年2月26日に実施した "Azure を利用したインフラのモダナイズ!Azure File Sync と Azure Data Box 特集セミナー" でのセッション資料。Azure Data Boxファミリー概要と、マイクロソフトのインテリジェントエッジ戦略におけるAzure Data Box Ege/Gatewayの位置づけについての説明。Appendixには、Azure StackとAzure Data Box Edgeの比較スライドあり。
Leveraging the unique benefits of the cloud requires a specialized approach to application architecture. The right design enables business agility, massive scaling, ability to burst, and high resiliency. Plus, it promotes resource efficiency and can minimize costs. If you are involved in providing applications or services in the cloud, attend this session to learn the principles of cloud-aware application design and to explore emerging architectural patterns which maximize cloud advantages.
What kind of design patterns are useful for applications adopting the cloud? How can apps achieve the scalability and availability promised by the cloud? Presentation from Interop 2011 Enterprise Cloud Summit.
Distributed Design and Architecture of Cloud FoundryDerek Collison
In this session we will dig deep into Cloud Foundry's core architecture and design principles. We will discuss the challenges around scaling and operating a large scale service as we combined the PaaS and traditional IaaS layers, and how we achieve multiple updates per week to the system with no perceived downtime. Allowing user to download a single virtual machine that is a complete replica of the service presented some challenges as well, and we will discuss our approach to offering up the downloadable private cloud.
Cosmos DB 入門の multi model multi API編。
BUILD 2017 で突如現れた、Cosmos DB。基本的には、従来のDocumentDBの発展ですが、単純な機能拡張とは少し違います。
「Cosmos DB = DocumentDB + multi-model and multi-API」という目線で、ざっくりと理念と現在の実装を探ります。
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
1. Azure Service Fabric と
Cloud Design Pattern
Takekazu Omi
takekazu.omi@kyrt.in
2016/4/16 R.1.0
2. 自己紹介
近江 武一
JAZUG Azure Storage 担当(自称)
Microsoft MVP for Azure
http://www.slideshare.net/takekazuomi
kyrt inc 2
kyrt.in
github.com/takekazuom
i
white paper
監訳
2016/4/16
17. Microservices 論点 by James Lewis
1.Componentization via Services
別プロセスで動作するサービスによっ
てアプリケーションのコンポーネント化
2.Organized around Business
Capabilities
ビジネス機能ごとにサービスを構築(コ
ンウェイの法則)
3.Products not Projects
プロジェクトではなくプロダクトにフォー
カス
4.Smart endpoints and dumb pipes
スマートなエンドポイントとダムバイプ
5.Decentralized Governance
分散統治
6.Decentralized Data Management
分散データ管理
7.Infrastructure Automation
インフラ自動化
8.Design for failure
失敗を前提とした設計
9.Evolutionary Design
進化する設計
kyrt inc 172016/4/16
コンウェイの法則
「システムを設計する組織は、その構造をそっくりまねた構造の設
計を生み出してしまう」
(原文: "Organizations which design systems are constrained to
produce designs which are copies of the communication
structures of these organizations.")
30. VMs and VM Scale Sets
Azure Public CloudAzure-Consistent Private Cloud
VM Extensions
SCALR, RightScale,
Mesos, Swarm
Service Fabric
(VMs and Containers)
BatchApp Service
Media
Web
Apps
Mobile
Apps
Apprenda, CloudFoundry
Jelastic, Marathon
Infrastructure
IaaS and
IaaS+
General
Compute
PaaS
Vertical
compute PaaS
Open Choice at Every Layer
Cluster
Orchestration
参照:https://channel9.msdn.com/Events/Build/2015/3-618
31. Azureの次世代 PaaS
Resource Manager Template
⇨宣言的なリソース管理
VM Scale Set
⇨Container サポート
Service Fabric
⇨Open - Windows/Linux, C#/Java サポート
kyrt inc 312016/4/16
ONS 2015: Wednesday Keynote - Mark Russinovich https://youtu.be/RffHFIhg5Sc
BUILD 2015: 3-618 The Next Generation of Azure Compute Platform with Mark Russinovich
32. Service Fabric
⇨PaaS V2, Reliable Service, Process
base
VM Scale Set
⇨Next Gen Worker Role, elastic autoscale
で迅速に同一のVMを作成
IaaS+(Managed IaaS)
⇨VM Extension, Backup, Monitoring
IaaS
⇨Windows, Linux, custom Image
2016/4/16 kyrt inc 32
38. Service Fabric Programming Models
Reliable Actors APIReliable Services API
Azure Private Clouds
Applications composed of microservices
High
Availability
Hyper-Scale
Hybrid
Operations
High Density Rolling
Upgrades
Stateful services
Low Latency
Fast startup &
shutdown
Container
Orchestration &
lifecycle management
Replication &
Failover
Simple
programming
models
Load balancing
Self-healingData Partitioning
Automated
Rollback
Health
Monitoring
Placement
Constraints
Service Fabric
参照:https://channel9.msdn.com/Events/Build/2015/3-618
39. Service Fabric API
APIは2つ
1. RELIABLE ACTORS API
コンカレンシー、ステートの保存などをライブラリ側
で実装
2. RELIABLE SERVICES API
やること多いけど、ASP.NETなどを動かすには便
利
kyrt inc 392016/4/16
60. Apache Mesos
Apache Mesos は、twitter 社などで使われている Cluster
Manager です。Service Fabric と似た位置に属するOSSのプロ
ダクトです。BUILD 2015/3-612では、Cluster Orchestration で並
んでました。今回の資料では、Cluster Managerと呼んでます。
ちょっと脱線して、 「Mesos 使うとStatic Partitioning から開放さ
れるぜ」という話しが面白かったので紹介。
Building and Deploying Application to Apache Mesos
⇨ 「Static Partition IS BAD、 Operating System === Datacenter 、
Mesos => data center のkernelだ」というようなことが書いてありま
す。
⇨ http://www.slideshare.net/charmalloc/buildingdeployingapplicatio
nsmesos
2016/4/16 kyrt inc 60
61. VMs and VM Scale Sets
Azure Public CloudAzure-Consistent Private Cloud
VM Extensions
SCALR, RightScale,
Mesos, Swarm
Service Fabric
(VMs and Containers)
BatchApp Service
Media
Web
Apps
Mobile
Apps
Apprenda, CloudFoundry
Jelastic, Marathon
Infrastructure
IaaS and
IaaS+
General
Compute
PaaS
Vertical
compute PaaS
Open Choice at Every Layer
Cluster
Orchestration
参照:https://channel9.msdn.com/Events/Build/2015/3-618
68. Spark + Mesos、YARNの利用
Spark は、 MesosでもYARNでも動く(Cluster Manager と呼ばれる)
Standalone
⇨ a simple cluster manager included with Spark that makes it easy to set
up a cluster.
Apache Mesos
⇨ 汎用の cluster manager、 Hadoop MapReduce and service applications.
Hadoop YARN
⇨ the resource manager in Hadoop 2.
Amazon EC2
⇨ In addition, Spark’s EC2 launch scripts make it easy to launch a
standalone cluster on Amazon EC2.
2016/4/16 kyrt inc 68
73. Service Fabric documentation
http://azure.microsoft.com/en-
us/documentation/services/service-fabric/
BUILD 2015, The Next Generation of Azure
Compute Platform with Mark Russinovich
https://channel9.msdn.com/Events/Build/2015/3-618
Microsoft Azure Service Fabric Architecture
https://channel9.msdn.com/Events/Build/2015/2-640
Deep Dive into Microsoft Azure Service Fabric
Reliable Actors
https://channel9.msdn.com/Events/Build/2015/2-66
2016/4/16 kyrt inc 73
74. Service Fabric documentation
http://azure.microsoft.com/en-
us/documentation/services/service-fabric/
BUILD 2015, The Next Generation of Azure
Compute Platform with Mark Russinovich
https://channel9.msdn.com/Events/Build/2015/3-618
Microsoft Azure Service Fabric Architecture
https://channel9.msdn.com/Events/Build/2015/2-640
Deep Dive into Microsoft Azure Service Fabric
Reliable Actors
https://channel9.msdn.com/Events/Build/2015/2-66
2016/4/16 kyrt inc 74
75. Service Fabric documentation
http://azure.microsoft.com/en-
us/documentation/services/service-fabric/
BUILD 2015, The Next Generation of Azure
Compute Platform with Mark Russinovich
https://channel9.msdn.com/Events/Build/2015/3-618
Microsoft Azure Service Fabric Architecture
https://channel9.msdn.com/Events/Build/2015/2-640
Deep Dive into Microsoft Azure Service Fabric
Reliable Actors
https://channel9.msdn.com/Events/Build/2015/2-66
2016/4/16 kyrt inc 75
76. Building MicroServices with Service Fabric
https://channel9.msdn.com/events/Build/2016/T69
3
Service Fabric Deploying and Managing
Applications with Service Fabric
https://channel9.msdn.com/Events/Build/2016/
P431
Azure Service Fabric for Developers
https://channel9.msdn.com/Events/Build/2016/
B874
kyrt inc 762016/4/16
77. 大規模分散システムの現在 – Twitter, 丸山不二夫
⇨ http://www.slideshare.net/maruyama097
Evolution of The Twitter Stack,
Chris Aniszczyk
⇨ http://www.slideshare.net/caniszczyk/twitter-
opensourcestacklinuxcon2013
GoogleがBorgの詳細を公開, Abel Avram
⇨ http://www.infoq.com/jp/news/2015/04/google-borg
mesos, omega, borg: a survey, Andrew Wang
⇨ http://www.umbrant.com/blog/2015/mesos_omega_borg_survey.html
YARN の紹介
⇨ http://www.ibm.com/developerworks/jp/analytics/library/bd-yarn-intro/
2016/4/16 kyrt inc 77
Spark Appliation は、(driver program と呼ばれる)あなたのメインプログラムでSparkContextオブジェクトによって協調クラスタ上のプロセスのように独立したセットを実行します。
SparkContext == process
cluster 上で、SparkContext が、
main program は、driver program と呼ばれる
具体的には、クラスタ上で実行するために、SparkContextはアプリケーション間でリソースを割り当てるクラスタマネージャのいくつかの種類(スパーク自身のスタンドアロンクラスタマネージャまたはMesosのいずれか/糸)、に接続することができます。
接続すると、スパークは、アプリケーションの計算とストアデータを実行するプロセスですクラスタ内のノード上で実行プログラムを取得します。
次に、それは執行に(SparkContextに渡されたJARファイルまたはPythonのファイルで定義された)アプリケーション・コードを送信します。
最後に、SparkContextは執行を実行するためのタスクを送信