Your SlideShare is downloading. ×
  • Like
20120822_dstn技術交流会_DataSpider接続先技術動向
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply

20120822_dstn技術交流会_DataSpider接続先技術動向

  • 1,094 views
Published

 

Published in Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,094
On SlideShare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
0
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • © 2010, APPRESSO K.K. All Rights Reserved.

Transcript

  • 1. 『 DataSpider 接続先技術動 向 - ソーシャル、ビッグ データ』   株式会社アプレッソ 代表取締役副社長 CTO 小野 和俊  1
  • 2. アジェンダ• 最近の技術トレンド• 今後の DataSpider で検討中の機能• ディスカッション 2
  • 3. ソーシャルメディアとエンタープライズソーシャル 3
  • 4. ソーシャルメディアの市場• ソーシャルメディア – Facebook: 全世界で 9 億人以上のユーザー – Twitter: 全世界で 1 億 4000 万人のユーザー – フォーチューン 100 社中、 61% が Facebook を企業 利用 (2011 年 )• エンタープライズ・ソーシャル – 世界の企業が 2010 年末までにエンタープライズ・ソ ーシャル・ソフトウェアに費やすコストは 6 億 6,440 万ドル。 2011 年は 16% 増の 7 億 6,920 万ド ル。 (Gartner, 2010 年 12 月 http://bit.ly/sERyoQ ) 4
  • 5. ソーシャルメディア利用者の推移In the looop 「 2012 年 3 月最新ニールセン調査」より http://bit.ly/IjiUWt 5
  • 6. エンタープライズソーシャル In the looop 「企業内にソーシャルの仕組みを」より http://bit.ly/yVUyOK 6
  • 7. エンタープライズソーシャルIn the looop 「企業内にソーシャルの仕組みを」より http://bit.ly/yVUyOK 7
  • 8. エンタープライズソーシャルツールIn the looop 「企業内にソーシャルの仕組みを」より http://bit.ly/yVUyOK 8
  • 9. DataSpider とソーシャルメディアソーシャルメディアやエンタープライズソーシャルと 社内の各種システムとの双方向の連携を実現できる• 例. – 企業の Facebook ページのメッセージごとの「いいね 」を付けたユーザーの属性情報を取得し、社内のシ ステムに反映させたり、レポート出力したりする – 売れ筋商品が入荷したら Facebook で「ファン」に通 知する – 宿泊予約サイトで当日にキャンセルが発生したら当 日限定の格安情報を Facebook ページで知らせる – 社内ソーシャルメディアに社内システムから上がっ てきたアラート情報を自動的に書き込む 9
  • 10. ビッグデータのエンタープライズ活用 10
  • 11. Cookpad たべみるの事例 Cookpad 佐々木氏「 961 万人の食卓を支えるデータ解析」より http://slidesha.re/azyROS 11
  • 12. Cookpad たべみるの事例 Cookpad 佐々木氏「 961 万人の食卓を支えるデータ解析」より http://slidesha.re/azyROS 12
  • 13. Cookpad たべみるの事例 Cookpad 佐々木氏「 961 万人の食卓を支えるデータ解析」より http://slidesha.re/azyROS 13
  • 14. ビッグデータとは• ビッグデータの例 – ウェブサーバーのログ – センサーから得られるデータ – モバイル聞きが生成するデータ – 音声や動画などのマルチメディアデータ
  • 15. ビッグデータの事例• アンデルセンの直営ベーカリー、パン・菓子の 製造・卸販売などの原価計算システム。• 従来は原材料原価から製品原価を算出するバッ チ処理に毎日 4 時間かかっており、原価の変動 に応じて毎日何度も再計算処理をさせることが 難しかった。• PL/SQL をクラウド上の Hadoop/Asakusa FW に 置き換え、処理時間を 4 時間から 20 分に短縮 。http://cloud.watch.impress.co.jp/docs/news/2012 0507_531036.html 15
  • 16. ビッグデータの事例• 自動車に搭載したコンピュータから運転情報を 収集し、急ブレーキが多い交差点が見つかると 、それに基づき車線の配置を変更して事故を未 然に防止できた。• 保険契約者の車に GPS 搭載の機器を設置して運 行情報を収集、走行パターンに応じて保険料金 を毎月決定 ( 深夜高速等のハイリスク走行パタ ーンが多いと高くなる等 )http://japan.zdnet.com/cio/sp_bigdata2011/350 07790/3/
  • 17. ビッグデータの事例• マーケティング : SNS の書き込みや検索結果か ら消費者がほしい商品を瞬時に判断してオスス メ• 医療 : 患者の血圧、心拍数などの情報から病状 の悪化を事前に察知• 防犯 : クレジットカード決済時に購入パターン から不正利用者を発見• 交通 : GPS 情報から、渋滞に巻き込まれないよ うに自動車の走行経路の変更を提案http://www.toyokeizai.net/business/industrial/de tail/AC/4dbc5d85726430bd1c51b46ac99918 4a/
  • 18. • 一方・・・ – 「そもそも統計学はビッグデータを不要にする技術 なはず」 – 「統計の基本的な考え方は、大きなデータを全部見 なくても、サンプリングで傾向が導き出せるという 点。こういう統計技術があったため、今までセンサ ーデータを採らなくても、分析ができていた。ビッ グデータを声高に唱える人は、こういう統計の基礎 の習得が不十分なのではないか?と思われることが 多い」 – 例 . テレビの視聴率 http://ascii.jp/elem/000/000/687/687170/ 18
  • 19. DataSpider とビッグデータ ビッグデータ関連の技術 (Hadoop / NoSQL / NewSQL 等 ) と社内システムの連携を実現• 例. – 原価計算に必要な原価データその他の関連情報を各 システムから抽出し、 Hadoop に渡す – フォーマットの異なるログを正規化しながら Hadoop に渡す – 社内データベースを抽出・マージしてクラウド上の NoSQL に同期 – 社内データベースの内容をクラウド上の NoSQL にバ ックアップ 19
  • 20. 今後の DataSpider で検討中の機能 20
  • 21. • 操作パフォーマンス・ユーザビリティ向上 – ペルソナ・シナリオ法• 実行パフォーマンス高速化 – スマートコンパイラ – ファイル系アダプタのループ処理高速化 21
  • 22. DataSpider とペルソナ・シナリオ法 ペルソナ = 本物の人間ではないけれど、デザインのプロセスの過程で本物の人 間の代わりになるもの。実際のユーザーの仮説的な原型。 ( 「コンピューターはむずかしすぎてつかえない!」より 主要ペルソナ = 利用者として想定される、もっとも典型 的な ユーザー。 アプレッソで使用しているペルソナ 22
  • 23. 参考 : PSP( パラレルストリーミング ) 機能 抽出処理 変換処理 書込処理 1 1 2 2 3 3 4 4 一定の分割単位で各処理を並列に処理させるため 、理論上データ容量の制限なし。 23
  • 24. • CSV 、データベース、固定長 / 可変長などのテ ーブルモデル型の結果データを持つアダプタで 対応。• 一部の Mapper ロジックは PSP 未対応 ( ヘルプ に対応一覧表あり )• スクリプト作成時に PSP 有効 / 無効を選択• 結果データを複数の出力先 で使用できません。 24
  • 25. パフォーマンス例 非 PSP 47 秒 4秒 15 秒 65 秒 ( メモリ ) 非 PSP 59 秒 36 秒 41 秒 136 秒 ( 大容量 ) (2.07) PSP - - - 59 秒 (0.9)※100 バイト / カラム、 100 カラム / 行、 10 万行 ( 約 1GB) CSV ファイル • メモリ処理で一番処理に時間がかかっているコンポーネント の処理時間 +α まで高速化可能。しかも理論上データ容量に 制限なし。 • ある処理だけがとても遅い ( 例えば全体の 90% など ) 場合に は、 PSP のパフォーマンス効果は少ない。 25
  • 26. スマートコンパイラ 今後対応予定 PSP 実行部分 通常実行部分 26
  • 27. まとめ 27
  • 28. • 最近の技術トレンド• 今後の DataSpider で検討中の機能• ディスカッション 28
  • 29. お問い合わせは… 株式会社アプレッソ TEL : 03-4321-1111 E-mail : info@appresso.com URL:http://www.appresso.com/© 2010 APPRESSO K.K. All Rights Reserved. 29