20150630_ビッグデータプロジェクトを加速させるための仕組みと運用 -米国の最新フレームワーク動向とデータアドミニストレータの役割の変化- by 笹原英司
•
2 likes•2,842 views
本セッションでは、ビッグデータプロジェクトの仕組み作りに不可欠なフレームワークについて、ユースケースに基づくビッグデータの定義・分類、リファレンスアーキテクチャ、技術ロードマップなど、米国の最新標準化動向について解説します。また、仕組みと運用の両面で重要な役割を担うデータアドミニストレータの実務について紹介した上で、米国医療業界におけるビッグデータのユースケースを交えながら、日本国内の課題について考察します。
Recommended
More Related Content
Similar to 20150630_ビッグデータプロジェクトを加速させるための仕組みと運用 -米国の最新フレームワーク動向とデータアドミニストレータの役割の変化- by 笹原英司
Similar to 20150630_ビッグデータプロジェクトを加速させるための仕組みと運用 -米国の最新フレームワーク動向とデータアドミニストレータの役割の変化- by 笹原英司 (20)
More from Insight Technology, Inc.
More from Insight Technology, Inc. (20)
20150630_ビッグデータプロジェクトを加速させるための仕組みと運用 -米国の最新フレームワーク動向とデータアドミニストレータの役割の変化- by 笹原英司
- 2. AGENDA 1. ビッグデータの標準化に関する最新動向 2. データアドミニストレータの役割 ～仕組みと運用のバランス～ 3. 米国医療業界のビッグデータ・ユースケース 4. まとめ／Q&A 2
- 4. 1-1. 米国のビッグデータに係る主な取組 米国政府の主要所管機関 大統領行政府～ビッグデータ政策の全般的枠組 ＊政策の企画立案プロセスを公開し、参加を促す 国立標準研究所（NIST）～技術規格の標準化 米国連邦取引委員会（FTC）～消費者保護 4 年月 所管機関 内容 2012年3月 大統領行政府 「Big Data Research and Development Initiative」を公表 2013年6月 NIST NISTビッグデータワーキンググループ（NBD-WG）のキックオフ ミーティングを開催 2013年7月 FTC 13歳未満の子どもを対象とした児童オンラインプライバシー保護法 （COPPA）の改正規則を施行 2014年5月 大統領行政府 「BIG DATA: SEIZING OPPORTUNITIES, PRESERVING VALUES 」を公表
- 5. 1-1. 米国のビッグデータに係る主な取組（続き） 5 年月 所管機関 内容 2014年5月 FTC 「Data Brokers: A Call for Transparency and Accountability」を公表 2014年9月 FTC ワークショップ「Big Data : A Tool for Inclusion or Exclusion ?」を 開催 2014年10月 NIST IEEEビッグデータカンファレンスにて、NISTビッグデータパブリッ クワーキンググループ（NBD-PWG）のワークショップを開催 2015年3月 FTC プライバシー、データセキュリティ、スマートホーム、ビッグデー タ、IoTなど次世代の消費者保護を目的とした技術研究・調査室 （OTRI）を新設 2015年4月 NIST NISTビッグデータパブリックワーキンググループ（NBD-PWG）が、 ビッグデータ相互運用性フレームワーク・バージョン1.0草案を公表
- 6. 1-2. 米国NISTのビッグデータ標準化の取組（1） （参考）ISOのビッグデータレファレンスモデル（2013年5月） 6 出典：ISO/IEC JTC1 SC32 Ad-hoc meeting, May 29, 2013, Gyeongju Korea を基に、日本クラウドセキュリ ティアライアンス・ビッグデータユーザーワーキンググループが作成 （2014年1月）
- 8. 1-2. 米国NISTのビッグデータ標準化の取組（3） NISTビッグデータ相互運用性フレームワーク 「定義／分類」、「ユースケース／要求事項」、「セキュリティ／ プライバシー」、「リファレンスアーキテクチャ」、「技術ロードマ ップ」の各分科会が草案策定作業を行う 8 段階 内容 ステージ1 上位レベルのビッグデータ・リファレンス・アーキテクチャ の主な要素で、技術やインフラストラクチャ、ベンダーに依 存しないものを定義する ステージ2 NISTビッグデータ・リファレンス・アーキテクチャ（NBDRA） の要素間の一般的なインタフェースを定義する ステージ3 一般的なインタフェースを介してビッグデータの一般的な アプリケーションを構築することにより、NBDRAを検証する V1
- 9. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（1） V1草案の構成 9 表題 内容 M0392: Draft SP 15001 Volume 1: Definitions 定義 M0393: Draft SP 15002 Volume 2: Taxonomies 分類 M0394: Draft SP 15003 Volume 3: Use Case & Requirements ユースケースと要求事項 M0395: Draft SP 15004 Volume 4: Security and Privacy セキュリティとプライバシー M0396: Draft SP 15005 Volume 5: Architectures White Paper Survey アーキテクチャ白書調査 M0397: Draft SP 15006 Volume 6: Reference Architecture レファレンスアーキテクチャ M0398: Draft SP 15007 Volume 7: Standards Roadmap 標準規格ロードマップ
- 10. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（2） ビッグデータの定義： Big Data refers to the inability of traditional data architectures to efficiently handle the new datasets. Characteristics of Big Data that force new architectures are volume (i.e., the size of the dataset) and variety (i.e., data from multiple repositories, domains, or types), and the data in motion characteristics of velocity (i.e., rate of flow) and variability (i.e., the change in other characteristics). 10 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 11. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（3） NISTビッグデータ・リファレンス・アーキテクチャの分類 11 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 12. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（4） NISTビッグデータ・リファレンス・アーキテクチャの全体像 12 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 20. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（12） ビッグデータのセキュリティ／プライバシーにおける十大脅威 20 出典：Cloud Security Alliance Big Data Working Group「Expanded Top 10 Big Data Security and Privacy Challenges」（2013年4月） を基に、日本クラウドセキュリティアライアンス・ビッグデータユーザーワーキンググループが作成（2014年5月）
- 21. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（13） データ特性の階層 データ要素 記録 データセット 多重データセット 21 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 22. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（14） ビッグデータのユースケース（1） 22 業界 ユースケース 健康医療 ／ライフサ イエンス （10件） ・Electronic Medical Record (EMR) Data; Shaun Grannis, Indiana University ・Pathology Imaging/digital pathology; Fusheng Wang, Emory University ・Computational Bioimaging; David Skinner, Joaquin Correa, Daniela Ushizima, Joerg Meyer, LBNL ・Genomic Measurements; Justin Zook, NIST ・Comparative analysis for metagenomes and genomes; Ernest Szeto, LBNL (Joint Genome Institute) ・Individualized Diabetes Management; Ying Ding, Indiana University ・Statistical Relational Artificial Intelligence for Health Care; Sriraam Natarajan, Indiana University ・World Population Scale Epidemiological Study; Madhav Marathe, Stephen Eubank or Chris Barrett, Virginia Tech ・Social Contagion Modeling for Planning, Public Health and Disaster Management; Madhav Marathe or Chris Kuhlman, Virginia Tech ・Biodiversity and LifeWatch; Wouter Los, Yuri Demchenko, University of Amsterdam
- 23. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（15） ビッグデータのユースケース（2） 23 業界 ユースケース 地球／環 境／極地 科学（10 件） ・EISCAT 3D incoherent scatter radar system; Yin Chen, Cardiff University; Ingemar Haggstrom, Ingrid Mann, Craig Heinselman, EISCAT Science Association ・ENVRI, Common Operations of Environmental Research Infrastructure; Yin Chen, Cardiff University ・Radar Data Analysis for CReSIS Remote Sensing of Ice Sheets; Geoffrey Fox, Indiana University, ・UAVSAR Data Processing, Data Product Delivery, and Data Services; Andrea Donnellan and Jay Parker, NASA JPL ・NASA LARC/GSFC iRODS Federation Testbed; Brandi Quam, NASA Langley Research Center ・MERRA Analytic Services MERRA/AS; John L. Schnase & Daniel Q. Duffy, NASA Goddard Space Flight Center ・Atmospheric Turbulence - Event Discovery and Predictive Analytics; Michael Seablom, NASA HQ ・Climate Studies using the Community Earth System Model at DOE.s NERSC center; Warren Washington, NCAR ・DOE-BER Subsurface Biogeochemistry Scientific Focus Area; Deb Agarwal, LBNL ・DOE-BER AmeriFlux and FLUXNET Networks; Deb Agarwal, LBNL
- 24. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（16） ビッグデータのユースケース（3） 24 業界 ユースケース 商業（8件） ・Cloud Eco-System, for Financial Industries (Banking, Securities & Investments, Insurance) transacting business within the United States; Pw Carey, Compliance Partners, LLC ・Mendeley -- An International Network of Research; William Gunn, Mendeley ・Netflix Movie Service; Geoffrey Fox, Indiana University ・Web Search; Geoffrey Fox, Indiana University ・IaaS (Infrastructure as a Service) Big Data Business Continuity & Disaster Recovery (BC/DR) Within A Cloud Eco-System; Pw Carey, Compliance Partners, LLC ・Cargo Shipping; William Miller, MaCT USA ・Materials Data for Manufacturing; John Rumble, R&R Data Services ・Simulation driven Materials Genomics; David Skinner, LBNL
- 25. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（17） ビッグデータのユースケース（4） 25 業界 ユースケース ディープ ラーニング ／ソーシャ ルメディア （6件） ・Large-scale Deep Learning; Adam Coates, Stanford University ・Organizing large-scale, unstructured collections of consumer photos; David Crandall, Indiana University ・Truthy: Information diffusion research from Twitter Data; Filippo Menczer, Alessandro Flammini, Emilio Ferrara, Indiana University ・Crowd Sourcing in the Humanities as Source for Big and Dynamic Data; Sebastian Drude, Max-Planck-Institute for Psycholinguistics, Nijmegen The Netherlands ・CINET: Cyberinfrastructure for Network (Graph) Science and Analytics; Madhav Marathe or Keith Bisset, Virginia Tech ・NIST Information Access Division analytic technology performance measurement, evaluations, and standards; John Garofolo, NIST
- 26. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（18） ビッグデータのユースケース（5） 26 業界 ユースケース 天文／物 理（5件） ・Catalina Real-Time Transient Survey (CRTS): a digital, panoramic, synoptic sky survey; S. G. Djorgovski, Caltech ・DOE Extreme Data from Cosmological Sky Survey and Simulations; Salman Habib, Argonne National Laboratory; Andrew Connolly, University of Washington ・Large Survey Data for Cosmology; Peter Nugent, LBNL ・Particle Physics: Analysis of LHC Large Hadron Collider Data: Discovery of Higgs particle; Michael Ernst BNL, Lothar Bauerdick FNAL, Geoffrey Fox, Indiana University; Eli Dart, LBNL ・Belle II High Energy Physics Experiment; David Asner & Malachi Schram, PNNL 研究向け エコシステ ム（4件） ・DataNet Federation Consortium DFC; Reagan Moore, University of North Carolina at Chapel Hill ・The 'Discinnet process', metadata <-> big data global experiment; P. Journeau, Discinnet Labs ・Semantic Graph-search on Scientific Chemical and Text-based Data; Talapady Bhat, NIST ・Light source beamlines; Eli Dart, LBNL
- 27. 1-3. NISTビッグデータ相互運用性フレームワーク V1草案の概説（19） ビッグデータのユースケース（6） 27 業界 ユースケース 政府機関 （4件） ・Census 2010 and 2000 -- Title 13 Big Data; Vivek Navale and Quyen Nguyen, NARA ・National Archives and Records Administration Accession NARA, Search, Retrieve, Preservation; Vivek Navale & Quyen Nguyen, NARA ・Statistical Survey Response Improvement (Adaptive Design); Cavan Capps, U.S. Census Bureau ・Non-Traditional Data in Statistical Survey Response Improvement (Adaptive Design); Cavan Capps, U.S. Census Bureau 国防（3件） ・Large Scale Geospatial Analysis and Visualization; David Boyd, Data Tactics ・Object identification and tracking from Wide Area Large Format Imagery (WALF) Imagery or Full Motion Video (FMV) -- Persistent Surveillance; David Boyd, Data Tactics ・Intelligence Data Processing and Analysis; David Boyd, Data Tactics エネル ギー（1件） ・Consumption forecasting in Smart Grids; Yogesh Simmhan, University of Southern California
- 29. 2-1. NISTビッグデータ相互運用性フレームワークから見た データ組織・人材の要件・スキル（1） ビッグデータの情報フロー バッチ処理とリアルタイム処理の融合へ →「仕組みを運用でカバーする」時代の終焉 29 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 30. 2-1. NISTビッグデータ相互運用性フレームワークから見た データ組織・人材の要件・スキル（2） ビッグデータで要求されるスキル 専門領域 ＋ 数理統計 ＋ エンジニアリング ＋ビジネス 30 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 31. 2-1. NISTビッグデータ相互運用性フレームワークから見た データ組織・人材の要件・スキル（3） データプラットフォームの視点： ビッグデータのためのデータ・オーガニゼーション・アプローチ データの分類・棚卸 資産台帳 ライフサイクル管理 31 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 36. 2-3. 「Information」を「Innovation」に変える 【事例2】シカゴ市役所のオープンデータを支える人材 シカゴ市のIT組織体制 Department of Innovation and Technology （DoIT） Office of the Chief Information Officer （CIO） Enterprise Systems Software Development & Application Support Enterprise Architecture （Chief Technology Officer） Technical Operations Information Security（Chief Information Security Officer） Planning, Policy & Management Data Science（Chief Data Officer） Finance and Administration 36
- 39. 3-1. ビッグデータのユースケース 病理診断画像化／デジタル病理診断（1） 39 ユースケースの概要 アクター／ステークホ ルダーと役割／責任 トランスレーショナルリサーチに従事する生物医学研究者；画像 誘導診断に従事する病院の医師 目標 画像から空間情報を抽出するために、パフォーマンスの高い画像 分析アルゴリズムを開発し、効率的な空間のクエリ／分析を提供 して、クラスタリングと分類を特徴付ける。 ユースケースの記述 デジタル病理診断画像は、高解像度の組織標本画像の検査によ り、新しくより効果的な疾病診断方法を可能にする成長領域であ る。病理診断画像分析により、細胞核、血管など、大量（画像当 たり百万単位）の空間オブジェクトがセグメント化され、これらのオ ブジェクトから多く抽出された画像特性に沿って境界が示される。 生成された情報は、生物医学研究や臨床診断の支援を目的とし て、大量の複雑なクエリや分析に利用される。 最近、3Dレーザー技術、すなわち数多くの組織部分を連続して切 り出し、それらをデジタル画像化することによって、3D病理診断画 像が可能になった。
- 40. 3-1. ビッグデータのユースケース 病理診断画像化／デジタル病理診断（2） 2-Dと3-D病理診断の比較例 40 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 41. 3-1. ビッグデータのユースケース 病理診断画像化／デジタル病理診断（3） 病理診断画像化／デジタル病理診断システムの全体イメージ 41 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 42. 3-1. ビッグデータのユースケース 病理診断画像化／デジタル病理診断（4） （参考）Hadoop 1.0 Stack ＊Hadoop自体は、バッチ処理が基本 42 出典：Cloud Security Alliance Big Data Working Group「Big Data Taxonomy」 （2014年9月）
- 43. 3-1. ビッグデータのユースケース 病理診断画像化／デジタル病理診断（5） 医療分野におけるHadoop利用の拡大とビッグデータのリスク 43 出典：Cloud Security Alliance Big Data Working Group「Big Data Analytics for Security Intelligence」 （2013年9月）
- 44. 3-1. ビッグデータのユースケース 病理診断画像化／デジタル病理診断（6） 44 現行のソリューション 計算処理システム スーパーコンピューター；クラウド ストレージ SANまたはHDFS ネットワーク 高度な外部ネットワークとの接続が必要 ソフトウェア 画像解析用MPI； MapReduce + 空間拡張付Hive ビッグデータの特性 データソース（分散型／ 集中型） 人間の細胞組織からデジタル化した病理画像 容量（規模） 1GBのRAW画像データ + 1.5GBの2Dによる分析結果； 1TBのRAW 画像データ + 1TBの3D画像による分析結果。中程度の病院で年 間1PBのデータ 速度（例．リアルタイム） 一度生成されたら、データは変更されない 種類（複数のデータセット、 マッシュアップ） 画像の特徴や分析は疾病の種類に依存する 可変性（変更の度合） 変更なし
- 45. 3-1. ビッグデータのユースケース 病理診断画像化／デジタル病理診断（7） 45 ビッグデータの課題 ビッグデータ固有の課題 （ギャップ） 超大容量；多次元；疾病固有の分析；他のデータタイプ（例． 臨床データ）との相関関係 モビリティにおけるビッグデー タ固有の課題 モバイルプラットフォーム上での3D病理診断画像の3D可視化 が想定されていない セキュリティ／プライバシー 要件 保護対象保健情報（PHI）を保護しなければならない；公的 データを匿名化しなければならない 本ユースケース策定のため の大きな課題 画像データ；多次元空間データ分析 ビッグデータサイエンス（収集、キュレーション、分析、行動） 正確さ（堅牢性の問題） 人間の注釈付けにより検証された質の高い結果が不可欠 可視化 検証とトレーニングのために必要 データ品質 組織断片の前処理（例.化学染色）や画像分析アルゴリズム の品質に依存する データのタイプ RAW画像は断片画像全体（大抵の場合BIGTIFF準拠）で、分 析結果は構造化データ（空間的境界および特性） データ分析 画像解析、空間的クエリ／分析、クラスタリング／分類機能
- 46. 3-2. ビッグデータとリアルタイムセキュリティ（例） Hadoopのセキュリティ監視／分析（1） NISTビッグデータ・リファレンス・アーキテクチャの全体像（前掲） 46 出典：NIST Big Data interoperability Framework Version 1.0 Working Drafts. (2015年4月)
- 47. 3-2. ビッグデータとリアルタイムセキュリティ（例） Hadoopのセキュリティ監視／分析（2） クラウド環境で稼働するHadoopクラスタのセキュリティ監視／ 分析をリアルタイムで行う際の留意点 47 留意項目 具体的な例 NISTフレームワーク での役割／ロール パ ブ リ ックク ラ ウ ド の セ キュリティ クラウドのエコシステムを構成するサーバー、 ストレージ、ネットワークのセキュリティ ビ ッ グ デ ー タ ・ フ レームワーク・プロ バイダー Hadoop ク ラ スタのセキュ リティ ノードのセキュリティ、ノードの相互接続、ノー ドの保存データのセキュリティ ビ ッ グ デ ー タ ・ フ レームワーク・プロ バイダー モニタリング ア プ リ ケ ー シ ョ ン の セ キュリティ モニタリングする相互関係のルール、セキュ アコーディング ビッグデータ・アプリ ケーション・プロバ イダー データの入力 ソ ー ス の セ キュリティ ソース（デバイス、センサーなど）からのデー タ収集のセキュア化、アクセスログ／メタデー タの生成／管理、アクセス権限のルール デ ー タ ・ プ ロ バ イ ダー
- 48. 3-2. ビッグデータとリアルタイムセキュリティ（例） Hadoopのセキュリティ監視／分析（3） HadoopクラスタにおけるMapperのセキュリティ脅威 48 ケース 脅威（例） Workerノードの誤 作動による計算処 理 分散処理でMapperに割り当てられたWorkerノードが不正 確な構成や障害ノードにより、誤作動を起こす可能性があ る。また、Workerが修正されて、ユーザーの機密データが 漏えいする可能性がある。 インフラストラクチャ 攻撃 危険にさらされたWorkerノードは、他のWorkerと再生を目 的とするMasterや中間者、MapReduceの処理に対する DoS攻撃との間の通信を傍受する可能性がある。 偽のデータノード 偽のデータノードがクラスタに追加されて、その後、複製さ れたデータを受信したり、変更されたMapReduceコードを 配布したりする可能性がある。
- 49. 3-2. ビッグデータとリアルタイムセキュリティ（例） Hadoopのセキュリティ監視／分析（4） HadoopクラスタにおけるMapperのセキュリティ対策 並列分散処理のプロセス全体におけるMapperの信頼性を 保証する 強制アクセス制御（MAC：Mandatory access control）を利用 し、セキュリティポリシーに基づき認証されたファイルへのア クセスを保証する Mapper出力からの情報漏えいによるプライバシー／個人 情報保護違反を防止するために、データ匿名化技術の機能 を強化する 49 MACやデータ匿名化技術の負荷が、処理のパフォーマンスに 影響を及ぼす可能性がある
- 51. 3-2. ビッグデータとリアルタイムセキュリティ（例） Hadoopのセキュリティ監視／分析（6） 今後の課題：「Hadoop 2.0」、「Apache Spark」への対応 インフラ／プラットフォーム寄りからの標準化された セキュリティ対策への期待 51 出典：Cloud Security Alliance Big Data Working Group「Big Data Taxonomy」 （2014年9月）
- 52. 4. まとめ／Q&A 52