MySQL 5.7は、地図情報を使ったアプリケーションやJSONを扱うアプリケーションとの親和性が向上しています。本セッションでは、MySQL 5.7で刷新されたGIS(地理情報システム)機能や、MySQL 5.7で実装されたJSONデータ型やJSON関数等について、ご紹介いたします。地図情報を使ったアプリケーションや、JSONを扱うアプリケーションに関わられている方は、是非ご参加下さい!!
MySQL 5.7は、地図情報を使ったアプリケーションやJSONを扱うアプリケーションとの親和性が向上しています。本セッションでは、MySQL 5.7で刷新されたGIS(地理情報システム)機能や、MySQL 5.7で実装されたJSONデータ型やJSON関数等について、ご紹介いたします。地図情報を使ったアプリケーションや、JSONを扱うアプリケーションに関わられている方は、是非ご参加下さい!!
MySQL 5.7は、地図情報を使ったアプリケーションやJSONを扱うアプリケーションとの親和性が向上しています。本セッションでは、MySQL 5.7で刷新されたGIS(地理情報システム)機能や、MySQL 5.7で実装されたJSONデータ型やJSON関数等について、ご紹介いたします。地図情報を使ったアプリケーションや、JSONを扱うアプリケーションに関わられている方は、是非ご参加下さい!!
MySQL 5.7は、地図情報を使ったアプリケーションやJSONを扱うアプリケーションとの親和性が向上しています。本セッションでは、MySQL 5.7で刷新されたGIS(地理情報システム)機能や、MySQL 5.7で実装されたJSONデータ型やJSON関数等について、ご紹介いたします。地図情報を使ったアプリケーションや、JSONを扱うアプリケーションに関わられている方は、是非ご参加下さい!!
[db tech showcase Tokyo 2015] A27: RDBエンジニアの為のNOSQL, 今どうしてNOSQLなのか?datastaxjp
ここ20年、データベースと言えば、RDBを主に利用してきましたが、ビッグデータ、クラウド、IoTにおいて、データベースは大きく変化してきています。これから技術者は何を知らなくてはいけないのか、NOSQLは、何故今必要なのか? RDBの技術者の為に、Oracle, Netezza, IBM とRDBMS畑を歩んできて、昨年からNOSQLを始めた講師が、NOSQLとは何か?どのようなものがあるのか?どうやって、どこで利用するのか?を説明いたします。
[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Da...Insight Technology, Inc.
Traditional relational approaches to data integration compromise flexibility and governance by limiting you to a rigid, tabular data model. MarkLogic’s approach to data management is fundamentally better suited to the diverse, changing data structures involved with data integration. In this session we'll explain how to leverage the features of an enterprise NoSQL multi-model database, such as document data modeling, semantics, advanced indexing, and security, in order to achieve more efficient data integration, while also increasing the quality of data governance. The session will describe core architectural principals, data modeling, and use cases.
[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...Insight Technology, Inc.
Deep Learningでは、GPUを用いた、コンピューティング環境を用意される事が多いですが、こちらを加速させる足回りについてはあまり意識されてきていませんでした。また、SparkでのAnalyticsについても、Pipeline処理の高速化が可能となりました。ピュアストレージが最新のユースケースのご紹介も兼ねて、AI時代のワークロードを実現する方法をお伝えします。
活用段階に入ったNoSQLですがまだまだ実際どう使えるのかご存じ無い方も多いのでは無いでしょうか。当セッションでは、MapR-DB(Hbase互換のNoSQL)が企業でどう活用されているのか、インドのマイナンバー事例や国内事例を元に実際の使い方のイメージと技術的な裏付けをご説明します。2015年6月10〜12日に開催されたdb tech showcase Tokyo 2015での講演資料です。
Smart data integration to hybrid data analysis infrastructureDataWorks Summit
To improve customer value and corporate competitiveness, it is necessary to deal with advanced analysis using big data, including data of core systems, and digital transformation.
At the same time, examples of hybrid construction of on-premise clouds are also spreading.
In this session, we will introduce the technology and the latest case examples of applying real-time replication utilized in the backbone system (RDBMS) to the Hadoop data analysis infrastructure (Hadoop Data Lake) of the hybrid configuration.
[db tech showcase Tokyo 2015] A27: RDBエンジニアの為のNOSQL, 今どうしてNOSQLなのか?datastaxjp
ここ20年、データベースと言えば、RDBを主に利用してきましたが、ビッグデータ、クラウド、IoTにおいて、データベースは大きく変化してきています。これから技術者は何を知らなくてはいけないのか、NOSQLは、何故今必要なのか? RDBの技術者の為に、Oracle, Netezza, IBM とRDBMS畑を歩んできて、昨年からNOSQLを始めた講師が、NOSQLとは何か?どのようなものがあるのか?どうやって、どこで利用するのか?を説明いたします。
[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Da...Insight Technology, Inc.
Traditional relational approaches to data integration compromise flexibility and governance by limiting you to a rigid, tabular data model. MarkLogic’s approach to data management is fundamentally better suited to the diverse, changing data structures involved with data integration. In this session we'll explain how to leverage the features of an enterprise NoSQL multi-model database, such as document data modeling, semantics, advanced indexing, and security, in order to achieve more efficient data integration, while also increasing the quality of data governance. The session will describe core architectural principals, data modeling, and use cases.
[db tech showcase Tokyo 2017] D33: Deep Learningや、Analyticsのワークロードを加速するには-Ten...Insight Technology, Inc.
Deep Learningでは、GPUを用いた、コンピューティング環境を用意される事が多いですが、こちらを加速させる足回りについてはあまり意識されてきていませんでした。また、SparkでのAnalyticsについても、Pipeline処理の高速化が可能となりました。ピュアストレージが最新のユースケースのご紹介も兼ねて、AI時代のワークロードを実現する方法をお伝えします。
活用段階に入ったNoSQLですがまだまだ実際どう使えるのかご存じ無い方も多いのでは無いでしょうか。当セッションでは、MapR-DB(Hbase互換のNoSQL)が企業でどう活用されているのか、インドのマイナンバー事例や国内事例を元に実際の使い方のイメージと技術的な裏付けをご説明します。2015年6月10〜12日に開催されたdb tech showcase Tokyo 2015での講演資料です。
Smart data integration to hybrid data analysis infrastructureDataWorks Summit
To improve customer value and corporate competitiveness, it is necessary to deal with advanced analysis using big data, including data of core systems, and digital transformation.
At the same time, examples of hybrid construction of on-premise clouds are also spreading.
In this session, we will introduce the technology and the latest case examples of applying real-time replication utilized in the backbone system (RDBMS) to the Hadoop data analysis infrastructure (Hadoop Data Lake) of the hybrid configuration.
Big Data Developerに贈る ~ Microsoft Azure による Big Data Architecture と、Elasticsearch、Databricks 解説 [セミナー] 東京開催
https://www.microsoftevents.com/profile/form/index.cfm?PKformID=0x8311627abcd
Some might think Docker is for developers only, but this is not really the case.Docker is here to stay and we will only see more of it in the future.
In this session learn what Docker is and how it works.This session will be covering core areas such as volumes, but also stepping it up to a few tips and tricks to help you get the most out of your Docker environment.The session will dive into a few examples of how to create a database environment within just a few minutes - perfect for testing,development, and possibly even production systems.
Machine Learning explained with Examples
Everybody is talking about machine learning. What is it actually and how can I use it?
In this presentation we will see some examples of solving real life use cases using machine learning. We will define Tasks and see how that task can be addressed using machine learning.
SQL Server 2017でLinuxに対応し、その延長線でDocker対応やKubernetesによる可用性構成が組めるようになりました。そしてリリースを間近に控えたSQL Server 2019ではKubernetesを活用したBig Data Cluster機能の提供が予定されており、コンテナの活用範囲はさらに広がっています。
本セッションではこれからSQL Serverコンテナに触れていくための基礎知識と実際に触れてみるための手順やサンプルをお届けします。
2018年11月5日(月)開催セミナー
DBを10分間で1000個構築するDB仮想化テクノロジーとは?
~Database as code in Devops~
講演資料です。
"What is DevOps"
Office of the CTO, Delphix Adam Bowen
Devopsとは何か?DevopsにおけるDB環境はどうあるべきか?Facebook,ebay,WallmartのDevpos事例を交えて、DevopsとDBのベストプラクティスを解説します。
セル生産方式におけるロボットの活用には様々な問題があるが,その一つとして 3 体以上の物体の組み立てが挙げられる.一般に,複数物体を同時に組み立てる際は,対象の部品をそれぞれロボットアームまたは治具でそれぞれ独立に保持することで組み立てを遂行すると考えられる.ただし,この方法ではロボットアームや治具を部品数と同じ数だけ必要とし,部品数が多いほどコスト面や設置スペースの関係で無駄が多くなる.この課題に対して音𣷓らは組み立て対象物に働く接触力等の解析により,治具等で固定されていない対象物が組み立て作業中に運動しにくい状態となる条件を求めた.すなわち,環境中の非把持対象物のロバスト性を考慮して,組み立て作業条件を検討している.本研究ではこの方策に基づいて,複数物体の組み立て作業を単腕マニピュレータで実行することを目的とする.このとき,対象物のロバスト性を考慮することで,仮組状態の複数物体を同時に扱う手法を提案する.作業対象としてパイプジョイントの組み立てを挙げ,簡易な道具を用いることで単腕マニピュレータで複数物体を同時に把持できることを示す.さらに,作業成功率の向上のために RGB-D カメラを用いた物体の位置検出に基づくロボット制御及び動作計画を実装する.
This paper discusses assembly operations using a single manipulator and a parallel gripper to simultaneously
grasp multiple objects and hold the group of temporarily assembled objects. Multiple robots and jigs generally operate
assembly tasks by constraining the target objects mechanically or geometrically to prevent them from moving. It is
necessary to analyze the physical interaction between the objects for such constraints to achieve the tasks with a single
gripper. In this paper, we focus on assembling pipe joints as an example and discuss constraining the motion of the
objects. Our demonstration shows that a simple tool can facilitate holding multiple objects with a single gripper.
【DLゼミ】XFeat: Accelerated Features for Lightweight Image Matchingharmonylab
公開URL:https://arxiv.org/pdf/2404.19174
出典:Guilherme Potje, Felipe Cadar, Andre Araujo, Renato Martins, Erickson R. ascimento: XFeat: Accelerated Features for Lightweight Image Matching, Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2023)
概要:リソース効率に優れた特徴点マッチングのための軽量なアーキテクチャ「XFeat(Accelerated Features)」を提案します。手法は、局所的な特徴点の検出、抽出、マッチングのための畳み込みニューラルネットワークの基本的な設計を再検討します。特に、リソースが限られたデバイス向けに迅速かつ堅牢なアルゴリズムが必要とされるため、解像度を可能な限り高く保ちながら、ネットワークのチャネル数を制限します。さらに、スパース下でのマッチングを選択できる設計となっており、ナビゲーションやARなどのアプリケーションに適しています。XFeatは、高速かつ同等以上の精度を実現し、一般的なラップトップのCPU上でリアルタイムで動作します。
11. Copyright @2017 Insight Technology, Inc. All Right Reserved
データベースデータ連携(レプリケーション)~1
Source DB Target DB
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
初期同期
(COPY)
11
12. Copyright @2017 Insight Technology, Inc. All Right Reserved
Source DB Target DB
Change
Data
Capture
トランザクションログ
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
Change
Data
Apply
データベースデータ連携(レプリケーション)~2
INSERT
UPDATE
DELETE
12
SQL
SQL
13. Copyright @2017 Insight Technology, Inc. All Right Reserved
レプリケーションテクノロジーの
ミニマムダウンタイム移行への適用
14. Copyright @2017 Insight Technology, Inc. All Right Reserved
OracleからSQL Serverへの
移行アセスメント
14
Oracle
15. Copyright @2017 Insight Technology, Inc. All Right Reserved
Oracle Migration Assessment (OMA)
OMAとは
Oracle Migration Assessmentの略で、OracleからSQL Serverに
移行を検討しているお客様にマイクロソフト様が提供する移行を評価す
るサービス
移行時の問題点や問題の難易度、移行にかかる時間、移行時のコスト
を比較し、レポートとして提示
本サービスは、インサイトテクノロジー社他数社より実施・提供され
インサイトテクノロジー実績は30社以上
15
16. Copyright @2017 Insight Technology, Inc. All Right Reserved 16
OMAレポート
構成、オブジェクト、プロシージャ、機能、運用、ライセンスの6つのカテゴリ毎に評価
Oracle Migration Assessment (OMA)
19. Copyright @2017 Insight Technology, Inc. All Right Reserved
OracleからSQL Serverへデータ移行方式の検討
19
20. Copyright @2017 Insight Technology, Inc. All Right Reserved
SQL Server Integration Services(SSIS)
コピー&変換
SSISとは
SQL Server Integration Servicesの略で、SQL Server の標準機能として
搭載されている。
データの「コピー」や「変換」などが行える "データ転送ツール"
20
Oracle
30. Copyright @2017 Insight Technology, Inc. All Right Reserved
レプリケーションを適用したマルチDB分析基盤運用
トランザクションログから
抽出された変更情報を適用
↓
=
同期状態
基幹システム 情報系システム
Azure SQL DW
Archive
Log
Archive
Log
Archive
Log
REDO
Log
Oracle
31. Copyright @2017 Insight Technology, Inc. All Right Reserved 31
移行対象 レプリケーション元(基幹システム) レプリケーション先(データ分析基盤)
OS Windows / IBM zOS Windows / Linux(Cloud)
データベース
SQL Server
IBM/DB2 × 3
IBM/IMSDB
SQLServer
Hadoop(Cloud)
ユーザ様背景
チューリッヒ生命保険では、有効証券請求時にリアルタイムな情報を手に入れることが、
プロセス改善に必要とされていました。またプロセス改善には日常的な検索が必要とされ
、メインフレームとWintelプラットフォームの双方で構成される5つのポリシー管理シス
テムから機能検索をしていました。(うち4システムはメインフレーム)
問合せ処理システムと基幹システムを分離するために、不変的なアクセスが可能な基幹シ
ステムデータベースと問合せ処理用データベースを必要としていました。コピーされたデ
ータベースは、可能な限りリアルタイムに同期する必要がありました。
CaseStudy : チューリッヒ保険会社
32. Copyright @2017 Insight Technology, Inc. All Right Reserved
BI / Data Analytics
BI / Data Analytics
マーケティング分析・財務分析・クレーム処理など
にデータ分析基盤を活用しています。
Copy Data (Data Replilcate)
メタデータを含むトランザクションデータをニアリ
アルタイムでデータ分析基盤に反映することで現在
発生しているイベントに対して遅延なく分析を行う
ことが出来ます。
Data storage
データ分析基盤として
SQL Serverとクラウド上のHadoop使用しています
structured data unstructured data
Data
ソースデータとして社内外の無償・有償の外部デー
タ及び社内の基幹データベースのデータを分析のた
めに適用しています。
IBM DB2 on M/F
IBM IMS DB on M/F
IBM DB2 on iSeries
Microsoft SQL Server
JSON
XML
TEXT
CaseStudy : チューリッヒ保険会社
34. Copyright @2017 Insight Technology, Inc. All Right Reserved
Source DB Target DB
トランザクションログ
EMP
DEPT
SALGRADE
EMP
DEPT
SALGRADE
Attunity Replicateデータベースデータ連携
INSERT
UPDATE
DELETE
34
35. Copyright @2017 Insight Technology, Inc. All Right Reserved
LUW(Linux/Unix/Windows)
Mainframe
DB2
IMS/DB
VSAM
IBM iSeries
DB2/400
HP NonStop
Enscribe
SQL/MP
Oracle
SQLSever
MySQL
PostgreSQL
SYBASE
IBM/DB2
hadoop
サポートデータベース
LUW(Linux/Unix/Windows)
As same as Replication sources
Large DW Platforms
Actian Vector
Oracle Exadata
Microsoft PDW
HP Vertica
Pivottal Greenplum Database
Teradata
IBM Puredata(Netezza)
Amazon Redshift
Azure SQL DW
Hadoop
(SAP/HANA)
Replication TargetsReplication Sources
36. Copyright @2017 Insight Technology, Inc. All Right Reserved
DBサーバ側エージェントレス
データベースへのソフトウェアインストール不要
初期同期(FULL LOAD)から差分同期(CDC)までシームレスにデータ連携
初期同期から差分同期へ自動切り替え
ブラウザベースのGUIによる簡易設定・監視
短期のスキルトレーニングで同期設定と稼働監視が可能
異種データベース間のテーブル高速データ転送・同期(マルチDB対応)
オンプレ・クラウドを問わない主要データベース間のデータ同期をサポート
36
37. Copyright @2017 Insight Technology, Inc. All Right Reserved
On-Premises(VAIO S13)
Processor : 1 core
Memory : 1024MB
DEMO
No TABLE NAME COUNT
1 CUSTOMER 30,000
2 DISTRICT 10
3 HISTORY 30,000
4 ITEM 100,000
5 STOCK 100,000
6 ORDERS 30,000
7 ORDER_LINE 299,617
8 NEW_ORDER 9,000
9 WAREHOUSE 1
175MB 598,628
Service Plan : Basic
Location : Japan West
Performance Level :
S0(10 DTU)
データベース負荷テスト
ベンチ マーキング ・ ツール
TPC-C
37
Oracle
38. Copyright @2017 Insight Technology, Inc. All Right Reserved
データレプリケーション技術を適用した
データベース移行と分析基盤の構築
まとめ
38
39. Copyright @2017 Insight Technology, Inc. All Right Reserved
データレプリケーションテクノロジーを活用して
ミニマムダウンタイム移行やデータ分析基盤構築を!
データ処理種別毎に適したデータベースを運用する時代となった
→ 異なるデータベース・ストレージで管理されたデータをオンプレ・クラウド
基盤に同期する必要がある。可能であればリアルタイムで・・
→ クラウドを含む異なる環境間でデータ連携は、移行用途としても適用可能