データサイエンス業務と「ツール」

5. ©2016 Financial Engineering Group Inc. 不許複製 4 FEG:会社概要  商号：株式会社金融エンジニアリング・グループ(Financial Engineering Group,Inc.) 呼称： FEG（フェグ）  所在地：〒104-0033 東京都中央区新川２丁目２７－１東京住友ツインビルディング（東館）10F  設立：1984年4月  代表者：宮村幸夫（代表取締役）  社員数：81名（2016年4月1日現在）  資本金：99百万円（新日鉄住金ソリューションズ100%)  売上高：3,071百万円（2016年3月期）  主要取引先：主要都市銀行、地方銀行およびクレジットカード会社など金融機関および、通信キャリアや大手小売業など。

6. FEGのご紹介：業務内容 ©2016 Financial Engineering Group Inc. 不許複製 5  FEGは、金融分野の数理分析及びデータマイニングを中心とする調査・分析・コンサルティング並びにソフトウェア開発を主たる業務としており、その内容は以下のとおり多岐に及びます。  リスクマネージメント領域の問題･･･与信リスク管理・債権リスク評価・市場リスク管理・統合リスク管理など  金融商品に関する問題･･･預金・クレジットカード・保険・証券など  金融マーケティング領域の問題･･･顧客ターゲティング・顧客リテンション・データベース構築など  さらにはネットオークション詐欺検知や「オレオレ詐欺」利用口座検知など、不正検知の分野でも目覚ましい結果を残しております。  これら諸問題を解決していくうえで、当社の核となっているのが、データマイニング技術、金融工学技術です。それに加え、金融実務知識、統計解析知識、データベース構築技術、IT/ソフトウェアエンジニアリング技術、そしてデータの実作業で培ってきた数多くのノウハウです。  また、FEGはこのような基礎技術を生かし、通信・流通・情報サービス産業などをクライエントとした非金融分野においても、分析・コンサルティング・システム開発事業を行っております。

7. 6©2016 Financial Engineering Group Inc. 不許複製写真: https://www.flickr.com/photos/126543328@N07/ データマイニング国際コンテストで2位:KDD CUP 2015  KDD2015(SIGKDDが毎年開催する国際会議)のオープニングセッション  KDD2015@Sydney – 参加者:1,182人(大学と企業が約1:1)

12. ©2016 Financial Engineering Group Inc. 不許複製 11 「ツール」と基盤は切り離せない関係基盤 ex:windows,linux,Hadoop,HBase,Spark ,etc ツール ex:SAS,SPSS,python,etc データサイエンス業務基盤がなければ「ツール」は利用できない！！「ツール」を使うためには「ツール」の理解が必要「ツール」を使うためには、基盤の理解も「ツール」と同じくらい必要案外大変だ…

15. 確認作成運用準備 ©2016 Financial Engineering Group Inc. 不許複製 14 業務と「ツール」データサイエンス業務 • 環境 • データ取得 • DBアクセス • データクリーニング • データ集計 • データマート作成 • BI • アクセス解析 • 統計モデル • 商用活用 • モニタリング • チューニング  Hive,etc  Hive,SAS,SPSS,python,R,etc  SAS,SPSS,python,R,tableau, etc  Jave,Hive,bash,SAS,SPSS, pyhton,Retc 業務の場面によって使い分ける必要がある

16. ©2016 Financial Engineering Group Inc. 不許複製 15 「ツール」と私 ~最初に~ 私の社会人スタート時の状況は…  出身学部経済学部経済学科  学部時代にプログラミング経験なし!!  学部時代にPCを活用していたかレポートを書くときくらい Internetも実はあまり使っていなかったいかにして私が「ツール」と向き合ってきたか… これからどんな体験をしていくか、以降でお話しします

17. DBアクセスデータ取得環境 ©2016 Financial Engineering Group Inc. 不許複製 16 「ツール」と私 ~準備編~ 2007年 2011年 2016年与信審査モデル作成業務 Webマーケティング業務 • WindowsPCを自分でセットアップ • クライアントから受領したフラットファイルを自力でSASへ読み込む • 基本的にすべてSASで完結 • Windowsだけでなく、linux、 Hadoop、HBaseと様々 • 今はmacユーザー • フラットファイルを自力で読む • 今やSqoopにてRDBからのデータ連携が主となっている • 初期の頃はmodelerで共有サーバー上のファイルを読んでいた • 今はHadoopへHiveにてアクセス

18. データマート作成データ集計データクリーニング ©2016 Financial Engineering Group Inc. 不許複製 17 「ツール」と私 ~確認編~ 2007年 2011年 2016年与信審査モデル作成業務 Webマーケティング業務 • SASのデータステップで頑張った • SASのprocedureで行うことが多い • Excelで集計も • 基本的にすべてSASで完結 • 最初の頃はmodeler • 今はHive上で行うことが多い • 最初の頃はmodeler • 今はHive、pythonと状況に応じて使い分ける • Hiveで作成してしまうことが多い

19. 統計モデル作成アクセス解析 BI ©2016 Financial Engineering Group Inc. 不許複製 18 「ツール」と私 ~作成編~ 2007年 2011年 2016年与信審査モデル作成業務 Webマーケティング業務 • 特に利用せず • ただ、案件は若干存在はしていた • 全くなし • SASに用意されているprocedureを利用 • 少しtableauを触ったくらい • 今となっては主戦場 • Hiveで取り扱うことが多い • 場合によってはpythonなども利用 • pythonのモジュール利用が多い • 時として、Hiveで自作も • modelerも時には利用

20. チューニングモニタリング商用活用 ©2016 Financial Engineering Group Inc. 不許複製 19 「ツール」と私 ~運用編~ 2007年 2011年 2016年与信審査モデル作成業務 Webマーケティング業務 • 仕様書を作成し、社内エンジニアの方にエンジンを作成していただく • 運用はお客様 • SASで定期的にモデル精度をウォッチしお客様へご報告 • SASでリモデルなどを行う • ある程度Hiveやbashで作成し、実装をエンジニアの方に依頼 • 運用Jobは常に自分達で監視 • Hiveで定期的に集計 • ものによってはBIにて行う • 必要に応じて統計モデル作成時と同じ要領で実施

21. ©2016 Financial Engineering Group Inc. 不許複製 20 「ツール」と私 ~そして現在~ 私の社会人スタート時に比べて…  環境に対して特にアレルギー無し  「ツール」の選り好み特になし!! もちろん、得手不得手はありますが  仕事の幅は想像以上に広くなった「ツール」が視野を広くしてくれた面もあるいろいろな変遷を経た結果たどり着いた現在は… 大変なこともたくさんありましたが、いろいろな「ツール」との出会いが、私の成長にもつながり、世界を広くしてくれた

23. 確認作成運用準備 ©2016 Financial Engineering Group Inc. 不許複製 22 「ツール」は手段でしかないデータサイエンス業務 • 環境 • データ取得 • DBアクセス • データクリーニング • データ集計 • データマート作成 • BI • アクセス解析 • 統計モデル • 商用活用 • モニタリング • チューニング  Hive,etc  Hive,SAS,SPSS,python,R,etc  SAS,SPSS,python,R,tableau, etc  Jave,Hive,bash,SAS,SPSS, pyhton,Retc 「ツール」に使われるのではなく、使いこなす環境によって、使うことができる「ツール」は異なる状況によって、使うべき「ツール」は異なる人によって、得意な「ツール」は異なる目的を達成するための「ツール」が何か常に考えながら目の前の課題に取り組むことが「ツール」を使いこなすことにつながる第一歩

24. ©2016 Financial Engineering Group Inc. 不許複製 23 好き嫌いはしない自分の可能性を最初から限定しない自分の使い慣れた「ツール」ばかり使っていませんか？時として、より強力な「ツール」は存在するかもしれない周りの人は、より強固な「ツール」を知っているかもしれない『好き嫌い』と『得意不得意』は、根本的に異なりますぜひ、選り好みせずに「ツール」を使ってみてくださいもしかしたら、新しい世界を開くことができるかもしれません

データサイエンス業務と「ツール」

You are reading a preview.

Check these out next

データサイエンス業務と「ツール」

More Related Content

Slideshows for you (20)

Viewers also liked (14)

Similar to データサイエンス業務と「ツール」 (20)

More from The Japan DataScientist Society (14)

Recently uploaded (20)