Talk 1「データインテグレーションとは何か」

Pythonistaに捧げる
「データインテグレーションとは何
か？」株式会社セゾン情報システムズ
常務取締役CTO テクノベーションセンター長
株式会社アプレッソ
代表取締役社長
小野和俊
ono@appresso.com

•  1976年⽣まれ
–  ⼩学3年⽣から趣味でプログラミングを開始
•  1995-1999年慶應義塾⼤学SFC 環境情報学部
–  NRIにてナレッジマネジメントシステムを企画・開発
•  1999-2000年サン・マイクロシステムズ
–  シリコンバレーの⽶国本社にてJava + XMLを⽤いたサイジングアプリ
ケーションを開発、E3 Award受賞
–  カリフォルニア州⽴⼤学サクラメント校⼤学院でのJava+XMLの授業を担
当
•  2000年アプレッソ起業
–  「⽇本にエンジニアの楽園のような場所をつくりたい！」
–  DataSpiderの企画・開発を開始、半年間で最初のバージョンが完成
–  DataSpiderは現在4年連続顧客満⾜度No.1、3000社を超える導⼊実績
•  2013年セゾン情報システムズ CTO
–  アプレッソ株式を売却
–  常務取締役 CTO テクノベーションセンター⻑
–  AWS re:invent 2015にてThink Big Award受賞
–  2017年、遂にHULFTは世界2位に！
2
⾃⼰紹介

•  未踏ソフトウェア創造事業
–  PICSY(伝播貨幣) シミュレータークライアント設計＆実装
(2002年)
–  Galapagos(XM会議ツール) 共同開発者 (2004年)
•  ⽇経ソフトウェア
–  巻頭連載「⼩野和俊のプログラマ独⽴独歩」(2007-2010年)
•  九州⼤学⼯学部⼤学院
–  「⾼度ICTリーダーシップ特論」⾮常勤講師 (2008-2011年)
3
⾃⼰紹介

株式会社アプレッソ
本社東京都文京区関口1-20-10 住友不動産江戸川橋駅前ビル
代表取締役社長小野和俊
2001年 6月 DataSpider製品最初のユーザとしてNHK様に導入（全国高校野球地方予選大会の結果をWeb掲載）
2002年10月財団法人ソフトウェア情報センター（SOFTIC）選定「2002年度ソフトウェア・プロダクト・オブ・
ザ・イヤー」受賞
2003年 1月 DataSpider採用の清水建設様工事・建物DBシステム日経コンピュータ「第7回情報システム大賞」グ
ランプリ受賞
2004年11月慶応義塾大学(藤沢）による SFC Entrepreneur Award 2004 Silver Award受賞
2008年 8月 DataSpiderが「Microsoft Innovation Award 2008 優秀賞」を受賞
2009年 4月「つなぐ」第2弾製品「PIMSYNC」発表
2010年 4月「つなぐ」第3弾製品「DataSpider BPM」発表
2010年 9月 DataSpider 2.4 IPA（独立行政法人情報処理推進機構）
連携プログラム技術評価制度評価書を取得
2011年 3月クラウド連携にフォーカスした DataSpider 3.0 を発表
2012年 2月 DataSpider Servista3.0 財団法人全国地域情報化推進協会（APPLIC）
地域情報プラットフォーム準拠認定
2013年 3月株式会社セゾン情報システムズと資本・業務提携
2014年 3月 DataSpiderシリーズ出荷累計 2000社突破
2015年 4月「つなぐ」第4弾製品「Thunderbus」発表
2015年11月 DataSpiderシリーズ出荷累計 2500社突破
2016年 2月 IoT連携プラットフォーム「DataSpider Servista 4.0」を発表
2017年 1月クラウド型データインテグレーションサービス「DataSpider Cloud」を提供開始 4
会社概要
「つくる」から「つなぐ」をコンセプトにデータ連携のソリューションを
展開しています

会社概要：セゾン情報システムズ
l  会社概要
商号株式会社セゾン情報システムズ
設⽴年⽉⽇ 1970 年 9 ⽉ 1 ⽇
代表取締役
社⻑
内⽥和弘
資本⾦ 13億6,768万7,500円
事業内容
‣ カードシステムソリューション事業
‣ 流通・ＩＴソリューション事業
‣ 通信基盤ミドルウェア（HULFT）事業
従業員数 1,203名（連結） 657名（単体）
本社所在地東京都豊島区東池袋三丁⽬1番1号
上場市場東京証券取引所JASDAQスタンダード市場（9640）
主要株主
（上位3位）
‣ 株式会社クレディセゾン
‣  ロイヤルバンクオブカナダトラストカンパニー（ケイマン）リミ
テッド
‣ イーシーエムマスターファンドエスピーヴイワン
認定・届出総務省電気通信事業者届出
品質
セキュリ
ティ
‣ プライバシーマーク付与認定取得
・登録番号【11820059(09)】
‣ JISQ9001:2015（ISO9001:2015）認証取得
・登録番号【JMAQA-041】
‣ JISQ27001:2014（ISO/IEC27001:2013）認証取得
・登録番号【JMAQA-S030】
‣ JISQ20000-1:2012（ISO/IEC20000-1:2011）認証取得
・登録番号【JMAQA-T002】
・登録範囲【システムサービスセンター、テクノベーションセン
ター、ビジネスサポート部、監査部】
（2016年9⽉30⽇現在）
1970年
1992年
㈱⻄武情報センター設⽴・創業
⻄武流通グループ（当時）の情報処理機能の統合と新しい情報サービス
業の創造を⽬的として、設⽴。情報処理サービス事業、ソフトウェア開
発事業を開始。
㈱セゾン情報システムズに商号変更
信販業務システムを中⼼に情報サービス拡⼤・強化のため㈱緑屋計算セ
ンターを吸収合併（1981年）、豊島区のコンピュータ専⽤ビルに移転
（1984年）し、総合サービス企業としての基盤を整備。
1993年
JASDAQスタンダード市場に上場
通信ミドルウェア「HULFT」販売開始
業種・業界を問わず、全世界で43ヵ国、8,600社、185,800本、世界売
上シェア第4位、国内シェア第1位の実績を誇るファイル転送ミドルウェ
ア販売・保守・ソリューション事業の源となる。（2016年9⽉末時点）
2005年
㈱流通情報ソリューションズを吸収合併
流通システム事業の経営資源の集中、強化。旧⻄武流通グループから蓄
積した技術・ノウハウの成熟させ、業務を“つなぐ”クラウドインテグ
レーターとしてお客様事業を⽀える流通・ITソリューション事業に発展
する。
2010年
クラウド関連製品・サービス提供開始
webデータ連携「HULFTクラウド」、クラウド型ホスティングサービス
「SAISOS」を提供開始。クラウド＆グローバル時代に求められるニーズ
に対応するための技術・環境を整備。
2015年 ASEAN拠点 HULFT Ｐｔｅ．Ｌｔｄ.設⽴
2013年㈱アプレッソ株式を取得、⼦会社化
データ連携ソリューションの強化とともに、先端技術の研究開発経営の
基盤を醸成。
2016年
北⽶拠点 HULFT, Inc.を設⽴
2005年に中国拠点の世存信息技術（上海）有限公司設⽴を⽪切りにグ
ローバルビジネス拡⼤を図るため、ASEAN、北⽶拠点会社を設⽴。⽶国
開催 AWS re:Invent 2015で「Think Big」賞を受賞。
5

© 2017 APPRESSO K.K. All Rights Reserved. 6
そもそもなんで
DataSpiderをつくったのか？

大学時代のNRIでの開発のバイトでの教訓
「このシステムは・・・
テキストベースの言語で書くと辛い！」

AIと⾔えば
データインテグレーションのお話です

データインテグレーションツール
• 可視化
• 予兆検知
• データガバナンス
Sensor
IoT
Factory
Mobile
FA
ERP HR DWH EDI
機械学習
データ
インテグレー
ション
ツール
ビッグデータ
・データフローコントロール
・ダイナミックルーティング
・データマネジメント

DataSpider ServistaのGUIと開発イメージ
入力変換出力
一連の処理の流れ＝スクリプト
DataSpider Studio
アダプタアダプタコンバータ
ア
ダ
プ
タ
群

1対1の変換
複数データの統合
DataSpiderのGUIと開発イメージ
コンバータツール「Mapper」

すべてのプロパティが日本語化/わかりやすくみやすい
設定のしやすいインターフェイス
ラベルがすべて
日本語でわかりやすい
マッピングもつながってい
る箇所がみやすい

データベース
■ Microsoft Access
■ DB2
■ DB2 for i
■ MySQL
■ Oracle
■ PostgreSQL
■ Microsoft SQL Server
グループウェア
■ IBM Domino
■ IBM Notes
クラウド
■ Amazon Web Services
■ Cloudn
■ Google Apps
■ Microsoft Azure
ネットワーク
■ FTP
■ JMS
■ Web
■ Webサービス
■ メール
■ Active Directory
■ REST
SDK
■ 追加アダプタ開発
■ JDBC
■ ODBC
■ NeoCore
■ Shunsaku
■ MongoDB
アプリケーション
■ DataSpider BPM
■ Thunderbusコネクタ
■ SAP
・SAP
・SAP BC
・SAP テーブルクエリ（差分抽出)
・ERP Adapter for SAP Basic Edition　 ※6
・ERP Adapter for SAP Table Query Edition　 ※6
・ERP Adapter for SAP Advanced Edition　 ※6
■ HULFT
■ Microsoft Dynamics AX ※4
■ Dr.Sum EA
■ SVF
■ StraForm-X（ｺﾈｸﾀ）
■ 勘定奉行V ERP ※5
■ 商蔵奉行V ERP ※5
■ Sedue
■ List Creator
■ Xuras inicio
■ メインフレーム
■ Oracle EBS ※3
■ Tableau ※6
■ Microsoft Dynamics CRM
ファイル
■ CSV
■ Microsoft Excel
■ HTML
■ XML
■ 固定長
■ 可変長
■ ファイル操作
■ ファイルシステム
■ Apache™ Hadoop® ※2
■ ニフティクラウド
■ Salesforce
・Log Manager for Salesforce
■ GAEデータストア ※1
■ kintone
クラウドからビッグデータまで様々なシステムへ対応
多種多様なシステムへの対応
※1：販売元は、株式会社ティー・シー・エフ様です。
※2： Apache™ Hadoop® アダプタの正式製品名は「DataSpider アダプタ for Apache™ Hadoop®」です。
※3：Oracle EBS はOracleアダプタで接続できます。
※4：本製品は古河インフォメーション・テクノロジー株式会社様の製品です。
※5：販売元は、日本電通株式会社様です。
※6：販売元は、SCSK 株式会社様です。
※1,※4,※5,※6 は代理販売によって提供致します。

外部からの呼び出し
HTTP、SAP、Webサービス、ファイルイベント、スケジューラ、専用クライアント、
Java API 、データベース、FTP、HULFT、AmazonSQS、Azure Service bus
DataSpider 実行サーバ
アダプタ
トリガー
スケジューラ
販売管理DB メールサーバ FTPサーバ在庫管理DB 購買管理DB
SAPHTTP Webサービス
ファイル
イベント
運用監視
ツール
Java API データベース HULFT Azure
Service Bus
FTPサーバ
様々なタイミングで連携処理を自動実行可能
Amazon
SQS

高速なパフォーマンス
モジュール
モジュールモジュール
コンパイル
コンパイル方式でJavaのプログラムと変わらないパフォーマンスを実現
DataSpider
Studio
DataSpider
Server
•  高速なデータ連携実行環境
–  GUIで開発を行った処理フローやデータフローは、DataSpider
内部でJava プログラムに変換後処理実行を行うため、プログラ
ムによる開発・実装と色ない高速な処理パフォーマンスを実現

4
変換処理
1
3
2
1
抽出処理書込処理
2
3
4
大容量データ対応①
一定の分割単位で各処理を並列に処理させることで、全体の処理速度が向上
最小限のメモリ量で大容量データを高速に連携
•  高速なデータ連携実行環境
–  大容量のデータをより高速に処理するために最適な方式を搭載
∼ パラレルストリーミング機能 ∼

結合
集計ソート
MSC
DataSpider Servista V4 新開発の高速エンジン
マルチストリームコンバータ
大容量データ対応②
結合処理は従来のバージョンより10∼15倍のパフォーマンス向上
新エンジン採用により集計/結合/ソートを高速化

仕様書出力機能
ボタンひとつで作った処理を仕様書に出力可能
•  仕様書出力機能
–  開発内容の文書化と設定情報の確認を可能にします。
–  メンテナンス時の設定確認や引き継ぎ等の作業に使用可能です。

1.  CSV連携パターン
a.  Pythonで読み込むCSVをDataSpiderで⽣成
b.  PythonでのCSV⽣成をトリガーにDataSpiderで各種データ
ソースに反映
→ CSVとのやり取りだけ意識すれば後はDataSpiderがCSV⇔各
種システムとの同期・連携をやってくれる
2.  直接呼び出し
a.  PythonからDataSpiderスクリプトを実⾏(RESTful API/
Web Services / コマンド実⾏ etc.)
b.  DataSpiderスクリプト内でPythonのコードを実⾏
→ Pythonの処理の⼀部をDataSpiderに委譲することができる /
DataSpiderの処理の⼀部をPythonに委譲することができる
Pythonとの2つの連携パターン

AIと⾔えば
AI x DI

1. データ準備
2. モデル作成
3. モデル検証
機械学習、深層学習のステップ

for (;期待する結果が得られるまで;) {
1.  データ準備
2.  モデル作成
3.  モデル検証
}
実際の機械学習、深層学習のステップ

}
各ステップにかけたい時間

}
実際の各ステップにかかる時間
80%もの時間がデータ準備に
費やされているというデータもあります

•  データってどこにあります？
•  それらのフォーマットってどうなっ
ています？
•  同じ意味のデータは同じデータに
なっています？
なぜそうなるのか？

•  例えば簡単な売上予想を考えてみま
す
•  学習用データや教師用データはセッ
トになっていない
– 天気→オープンデータ
– キャンペーン→キャンペーン管理シス
テム
– セール→商品管理システム
なぜそうなるのか？

データの所在
データベース？ファイル？
サービス/API？基幹システム/ホスト？

•  データベース
–  Oracle、DB2、SQL Server、PosgreSQL、
MySQL・・・
•  ファイル
–  フラットファイル、Excel、ログ・・・
•  サービス/API
–  クラウドサービス、オープンデータ・・・
•  基幹システム/ホスト
–  SAP、Domino/Notes、IBM z、MSP/XSP・・・
データの取得

•  認証⽅法
–  BASIC認証、ダイジェスト認証、NTLM認証、OAuth認証、SAML認
証・・・
•  API/接続⽅式
–  JDBC/ODBC、HTTP/HTTPS、Socket、SAP JCo、Notes C API、
POI/JExcel API
•  プログラミング⾔語
–  Java、.NET、C/C++、アセンブラ
•  型
–  数値(Integer、Float、Double)、⽂字列(CHAR、VARCHAR)、⽇
付・・・
•  エラーハンドリング/パフォーマンスチューニング
–  タイムアウト、フェッチ/バッチサイズ・・・
必要な技術

AIと⾔えばすべてのデータソースから
データを取得するプログラムが組める人？

•  データベース
–  ⾏列・・・
•  ファイル
–  CSV、固定⻑、可変⻑、Excel、アクセスログ、アプリケー
ションログ、バイナリファイル・・・
•  サービス/API
–  JSON、XML、CSV、変態CSV・・・
•  基幹システム/ホスト
–  SAP固有、Domino/Notes固有、IBM z固有、MSP/XSP固
有・・・
データフォーマット解析

•  データフォーマットを解析する⼒
•  データフォーマット解析ライブラリ
•  型フォーマット
–  ⽇付フォーマット、数値フォーマット
•  ⼤規模データ処理
•  データフォーマットが変わったときにも対応す
る忍耐⼒
必要な技術

AIと⾔えば
データフォーマット解析したい人？

•  「JP」と「⽇本」を同じデータとして扱う
•  「東京」と「港区」のデータの意味は同じものとして扱
う？
•  全⾓と半⾓
•  「2017/07/27」は「27/7/17」と同じ
•  ⽇時データの時間はいらない？
•  「k」や「m」の単位を合わせる
•  ⽋損データの取扱は？
–  それとも学習データから除外？
データ前処理

AIと⾔えば
データ前処理したい人？

AIと⾔えばデータを準備するだけで
結構大変なんです

}
現実の作業時間
80%もの時間がデータ準備に
費やされているというデータもあります

}
理想的な作業時間

1.  データの選択
–  どのようなデータが分析に使えるのか
–  そのデータはどこにあるのか
2.  データの前処理
–  フォーマッティング
•  DBやファイルのデータを取得します
•  それぞれのフォーマットを同じフォーマットにします
–  クリーニング
•  ⽋損データを取り除いたり、不正データを修正したりします
–  サンプリング
•  不要なデータ(あまりにも過去など)を取り除きます
3.  データの変換
–  クレンジング
•  同じ意味のデータは同じものとしてデータを整えます
–  スケーリング
•  桁を合わせます
–  デコンポジション
•  組み合わさったデータを構成されるデータに分割します
–  例：⽇時などのデータを⽇と時に分割
–  アグリゲーション
•  複数の特⻑を持ったデータを⼀つの特⻑に集約する
–  例：ログイン情報をログイン回数に集約する© 2017 APPRESSO K.K. All Rights Reserved. 39
データ準備まとめ

データインテグレーションツールが活躍
します
• 可視化
• 予兆検知
• データガバナンス
Sensor
IoT
Factory
Mobile
FA
ERP HR DWH EDI
機械学習
データ
インテグレー
ション
ツール
ビッグデータ
・データフローコントロール
・ダイナミックルーティング
・データマネジメント

•  多種多様な接続先を持っています
•  GUIを持っています
•  デフォルト値でそれなりに動くように
なっています
•  データ取得の際にはツールの使い⽅を学
ぶだけです
データインテグレーションツール
の特長

•  接続先を確認しましょう
–  接続先がなければ元も⼦もないですよね
•  設定粒度に気を付けましょう
–  GUIは制約にもなります
–  どの程度汎⽤的に処理が組めるのか確認しましょう
•  データインテグレーションツール⾃体の品質は良いものを選びま
しょう
–  データインテグレーション⾃体でそれなりにハマります
–  ツール⾃体にハマらないよう品質の良いものを選びましょう
•  処理速度は⾼速なものにしましょう
–  データはどんどん⼤きくなっていきます
–  処理速度が速いものを選びましょう
•  最初はクラウドがいいですよね
データインテグレーションツールの選び
方

ちょっと宣伝

•  機械学習のためのデータ準備は結構⼤変
です
•  機械学習ではデータ準備の時間を短くし
ましょう
•  その際にはデータインテグレーション
ツールが有効です
•  DataSpiderがおすすめですｗ
まとめ

私たちは仲間を募集しています
https://www.appresso.com/recruit/

ご静聴ありがとうございました

Talk 1「データインテグレーションとは何か」

More Related Content

What's hot

Similar to Talk 1「データインテグレーションとは何か」

More from Takeshi Akutsu

Talk 1「データインテグレーションとは何か」