Iugonet 20100916

207 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
207
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • (10s) IUGONETメタデータ・データベースの構築というテーマで、京都大学地磁気センターの小山が発表します。
  • (30s)
  • (30s)
  • Iugonet 20100916

    1. 1. 太陽地球系物理学における メタデータ・データベースの構築 小山幸伸 *1 、河野貴久 *2 、阿部修司 *3 、新堀淳樹 *4 、堀智昭 *2 、 林寛生 *4 、吉田大紀 *1 、田中良昌 *5 、鍵谷将人 *6 、上野悟 *7 、金 田直樹 *7 京大・理・地磁気センター、        *2 名古屋大学太陽地球環 境研究所、 *3 九大・宙空環境研究センター、      *4 京大・生存圏研究所 *1 極地研究所、 大気研究センター、 *7 京大・理・附属天文台 *5       *6 東北大・惑星プラズマ
    2. 2. 発表内容 1. 京都大学理学研究科 附属地磁気世界資料解析センターの紹介 2. IUGONET プロジェクトの紹介 • • • メタデータ・データベース  (DSpace 利用) 解析ソフトウェア 外部提供インターフェイス  (SRU/W, OpenSearch 利用) 3. まとめ RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    3. 3. 京都大学のおける地磁気センターの位置づ け 以下略 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    4. 4. 地磁気センターの位置 京都大学吉田キャンパス北部構内 5F 地磁気セン ター 生協 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    5. 5. 地磁気センターの情報 • スタッフ(8名) – – – – – – – • 教授 准教授 助教  x 2 特定研究員 教務補佐員 技術補佐員 事務補佐員 業務内容 – Wold Data Center for Geomagnetism, Kyoto の運営 – 各種研究解析(観測も含む) – 学部・大学院生の教育 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    6. 6. 地磁気センターの要望 • データベースを運用しなければならない。 • アナログデータ(マイクロフィッシュ、マイクロフィル ム、テープ、紙、書籍)の管理 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    7. 7. IUGONET プロジェクトの目的と参加メンバー  IGY 以来継続されてきた国際共同観測事業で蓄積された超高 層大気の地上観測データ ( アナログ・デジタル ) の流通を促進  分散して存在する観測データを横断検索するシステムを構築  多様なデータの解析による超高層大気長期変動の研究の進展 参加機関・組織  東北大学理学研究科附属惑星プラズマ・大気研究センター 小野 高幸、寺田 直樹、加藤 雄人、笠羽 康正、岡野 章一、熊本 篤志、坂野井 健、 三澤 浩昭、鍵谷 将人  国立極地研究所 佐藤 夏雄、中村 卓司、宮岡 宏、岡田 雅樹、冨川 喜弘、田中 良昌  名古屋大学太陽地球環境研究所 藤井 良一、荻野 竜樹、三好 由純、堀 智昭、大塚 雄一、河野 貴久  京都大学生存圏研究所 津田 敏隆、林 寛生、新堀 淳樹  京都大学理学研究科附属地磁気世界資料解析センター 家森 俊彦、能勢 正仁、藤 浩明、竹田 雅彦、小山 幸伸、吉田 大紀  京都大学理学研究科附属天文台 柴田 一成、上野 悟、金田 直樹  九州大学宙空環境研究センター RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 湯元 清文、阿部 修司 2010.9.16 ( 京都大学数理解析研究所 ) 7
    8. 8. プロジェクトの体制 バーチャル情 報拠点による 連携強化 他の地球科学 分野へ展開 国内他機関・大学 海外研究者 衛星、数値モデ ルデータへの拡 張 九大 宙空 研 地磁気研 地磁気研 究 究 コミュニ コミュニ ティ ティ 東北大 PPARC 電離圏・磁気圏 電離圏・磁気圏 研究 研究 コミュニティ コミ ュニティ XML XML 超高層大気科学 バーチャル情報拠点 XML XML 磁気圏研 磁気圏研 究 究 コミュニ コミュニ ティ ティ 極域 研究 極域 研究 コミ ュニ コミ ュニ ティ ティ 名大 STE 研 京大 理・附属天文 台 太陽物理研 太陽物理研 究 究 コミュニ コミュニ ティ ティ XML XML 極地 研 メタデータ DB XML 地磁気研究 地磁気研究 コミュニ コミ ュニ ティ ティ 赤道大気研 赤道大気研 究 究 コミュニ コミュニ RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 ティ ティ 京大 理・地磁気セン 2010.9.16 ( 京都大学数理解析研究所 ) 観測 DB (+ 解析ソフ ト) 京大 生存研 8
    9. 9. RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) 9
    10. 10. RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) 10
    11. 11. プロジェクトの年次計画 項目 超高層大気科学 バーチャル情報拠 点の構築と運営 メタデータ・デー タベースの開発 メタデータフォー マットの策定 解析ソフトウェア の開発 H21 H22 システム導 入 公開バー ジョンの開 発 Ver.1 の策定 プログラム 開発スター ト H25 H26 備考 多点情報交換システムを各 機関に導入し、緊密な連携 体制を実現する システム更 新 メタデータに関して、登 録・検索・配信などを行う システムを開発する アップデー ト / ドキュ メント整備 開発環境整 備 仕様の策定 H24 システム更 新 定常運用 プロトタイ プの開発 H23 一般に公開 初年度に ver.1 を策定し、以 後必要に応じてアップデー トを重ねる 各機関が現在実施している 観測に適合した解析ソフト ウェアの開発を進める 一般に公開 観測データのデー タベース整備 観測 DB 整備 / 非デジタ ルデータ調 査 後半は過去 20 年以上にわたって蓄 積された観測データを中心に扱う メタデータの抽出 メタデータ 抽出スター ト 後半は過去 20 年以上にわたって蓄 積された観測データを中心に扱う まだデータベース化されて いない観測データのデータ ベース化を進める 策定されたフォーマットに 基づき、メタ情報の抽出作 業を開始する メタデータのデー タベース化 メタデータをデータベース 化し、公開する バーチャル情報拠 点の拡大 成果を総括し、関連他分野 への拡大・統合を検討する RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) 11
    12. 12. 外部提供インターフェイス① • Web インターフェイス – ユーザー用 • 外部提供インターフェイス – 外部ソフトウェア用 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    13. 13. 外部提供インターフェイス③ • 外部提供インターフェイスの用途 – IUGONET 解析ソフトウェアとの連携 • 他の可視化 / 解析ソフトウェアとの連携 ↓ • (動的に観測データのロケーション情報を 得られることが利点) – 他のデータベースとの連携 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    14. 14. IUGONET 解析ソフトウェアとの連携 クライアント側 (3) DOM IUGONET metadata DB XML (2) Metadata (4a) Load procedure (1) Query (6) Plot (IDLVM+TDAS) (5) Observational Data (4b) Wget (Internal call) IDL から DSpace にアクセスし、得られたメ タデータを DOM で加工するテスト済み ( ただ RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 (SRU/SRW, OpenSearch) 2010.9.16 ( 京都大学数理解析研究所 ) し DC) 。
    15. 15. 光球画像(京大天文台) スタックプロットの試作 (2003 年 1 年分03:00 ) 5/28 00:02 10/29 00:14 11/19 1/1 01:20 ACE Vsw ACE IMF-Bz AE 指数 (京大 WDC ) 昭和 VLF[8kHz] (極地研) 女川 Pc3 指数 (東北大) 陸別地磁気 H 成分 (名大 STEL ) CEB 地磁気 H 成分 (九大) EAR 南北風 [18km] (京大 RISH ) RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) 15
    16. 16. 解析ソフトウェアの開発 要求される最低限の仕様  時系列プロットのスタック表示  2 次元画像の同時表示 複数データの スタックプ ロット 解析ソフトウェアのイ メージ 開発方針  IDL + TDAS(THEMIS science Data Analysis Software) を ベースに開発する  ( 無償の )IDL VM で動作する ことを保証する  ローカルマシンでの解析と サーバ側での解析の両方を目  指す サイエンスセンターと ERG の協力のもと、開発を進める 2 次元画像 データ表 示 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) GUI によ る操作 16
    17. 17. IUGONET のホームページ http://www.iugonet.org/ RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    18. 18. 観測データベースに関する現状の問題点 A 研究センター 地磁気指数 データベース 地磁気観測 専門家 B 研究所 ・・ ・・ ・・ C 大学 極域オーロラ データベース 太陽活動 データベース ? ? 極域観測 専門家 太陽観測 専門家 他分野のデータへ辿り着く為の RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 手がかりが無い!!! 2010.9.16 ( 京都大学数理解析研究所 ) 18
    19. 19. メタデータを活用した観測データベース利用 A 研究センター メタデータ DB 地磁気観測 専門家 ・・ ・・ ・・ B 研究所 C 大学 極域オーロラ データベース 太陽活動 データベース 極域観測 専門家 地磁気指数 データベース メタデータ抽 出 XML 観測時刻 装置の種類 データフォー マット データの所在地 ... etc. 太陽観測 専門家 メタデータ流 通 メタデータを検索し、色々な機関の RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 多種多様な観測データの情報を取得! 2010.9.16 ( 京都大学数理解析研究所 ) 19
    20. 20. メタデータフォーマットの策定 IUGONET フォーマット ver.1 = SPASE(ver.2.1.0) + 一部改変 (http://www.spase-group.org) SPASE とは 太陽、惑星間空間、地球磁気圏の人工衛 星観測に関連する研究リソースを包括的 に表現するために作られたメタデータ フォーマット •超高層大気研究と密接な関係にある分野の データを記述するために開発 ( ベースとし て利用しやすい ) •要素、単語の拡張が可能 ( 我々のデータに あったカスタマイズが可能 ) •周辺分野の VxO に採用されている ( 将来 的なデータ交換を考慮 ) •メタデータは XML ファイルとして管理 ( コンピュータ上で扱いやすい ) •フォーマットや関連ツールは全て公開 ( 自 己開発する部分を減らせる ) •開発は続行中 ( フォーマット改変の提案が できる ) IUGONET による改変  非デジタル保存データに関する単語の追加  太陽観測データに特有な座標系を表す単語の追加 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」  観測位置・範囲等を記述する新要素 (SpatialCoverage) の追加 2010.9.16 ( 京都大学数理解析研究所 ) 20
    21. 21. メタデータ・データベースの開発 時間範囲 による検 索 既存の技術を利用してカスタマイズ  メタデータを登録・検索・収 集・提供する機能  任意のメタデータを扱えること テキストキー ワードによる検 索  無償で利用実績の多いソフト 図書館や学術情報 リポジトリ等で使 われているリポジ トリ・ソフトウェ ア より詳細なメタデー タへ DSpace をベースにした システムの開発 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    22. 22. まとめ 超高層大気の地上観測データの流通、サイエンスへの 有効利用に関する大学間 ( 極地研、東北大、名大、京 大、九大 ) の連携プロジェクト【平成 21 年〜 26 年 度】  SPASE をベースにしたメタデータフォー マットを策定。各機関でメタデータの抽出 作業へ  DSpase を利用したメタデータ・データベー スシステムを開発中。  IDL + TDAS をベースにした解析ソフトウェ アを開発中。 CAWSES-II E-Science and informatics への貢献 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) 22
    23. 23. IDL->SRU->MDB pro iug_load_srw file_name=‘srw.dat’ localdir=‘c:/test/’+file_name url=‘http://iugonet1.stelab.nagoyau.ac.jp:8080/SRW/search/jspui?query=mag’ file_http_copy,url,localdir,verbose=2 end RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    24. 24. 検索結果 (XML 形式 ) RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    25. 25. 検索結果の変換( IDL+DOM ) • 以下のコマンドで "sampleSRWresult.xml" の <recordData> タグの値を取得できる。 • oDoc = OBJ_NEW('IDLffXMLDOMDocument',filename="sample SRWresult.xml") ;Load XML • oNodeList = oDoc>GetElementsByTagname('recordData') • oName = oNodeList->Item(0) • oNameText = oName->GetFirstChild() • print,oNameText->GetNodeValue() ;Get value • OBJ_DESTROY, oDoc RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    26. 26. 外部提供インターフェイス③ • 外部提供インターフェイスの用途 – IUGONET 解析ソフトウェアとの連携 • 他の可視化 / 解析ソフトウェアとの連携 – 他のデータベースとの連携 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    27. 27. 外部提供インターフェイス③ • 他のデータベースとの連携 超高層大気以外の 地球環境情報の MDB 科学データの ポータル 数値モデル実験 の MDB 横断検索! VDC4EPS MDB MDB RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) 衛星観測の MDB
    28. 28. IUGONET の周辺 WMO は SRU を実装済み & 運用中 メタデータ・フォーマットが異なる点が課題 。 超高層大気以外の 地球環境情報の MDB 数値モデル実験 の MDB 衛星観測の MDB WMO ポータ ル ? MDB OAI-PMH VDC4EPS MDB RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    29. 29. 外部提供インターフェイス① • Web インターフェイス – ユーザー用 • 外部提供インター フェイス – 外部ソフトウェア 用 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    30. 30. 外部提供インターフェイス③ • 外部提供インターフェイスの用途 – IUGONET 解析ソフトウェアとの連携 • 他の可視化 / 解析ソフトウェアとの連携 ↓ • (動的に観測データのロケーション情報を 得られることが利点) – 他のデータベースとの連携 例えば、 World Meteorological Organization 図 書館系等 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    31. 31. IUGONET 解析ソフトウェアとの連携 クライアント側 (3) DOM IUGONET metadata DB XML (2) Metadata (4a) Load procedure (1) Query (6) Plot (IDLVM+TDAS) (5) Observational Data (4b) Wget (Internal call) IDL から DSpace にアクセスし、得られたメ タデータを DOM で加工するテスト済み ( ただ RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 (SRU/SRW, OpenSearch) し DC) 。 2010.9.16 ( 京都大学数理解析研究所 )
    32. 32. IDL->SRU->MDB pro iug_load_srw file_name=‘srw.dat’ localdir=‘c:/test/’+file_name url=‘http://iugonet1.stelab.nagoyau.ac.jp:8080/SRW/search/jspui?query=mag’ file_http_copy,url,localdir,verbose=2 end RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    33. 33. 検索結果 (XML 形式 ) この様な XML ファイルから 、 URL 情報を切り出す際に XML Parser を使用する。 (IDL の場合は DOM) URL 情報を切り出す為のサ ンプル・プログラム(代表 的なプログラム言語で記 述)は、 IUGONET によっ て提供されるでしょう。 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    34. 34. 検索結果の変換( IDL+DOM ) • 以下のコマンドで "sampleSRWresult.xml" の <recordData> タグの値を取得できる。 • oDoc = OBJ_NEW('IDLffXMLDOMDocument',filename="sample SRWresult.xml") ;Load XML • oNodeList = oDoc>GetElementsByTagname('recordData') • oName = oNodeList->Item(0) • oNameText = oName->GetFirstChild() • print,oNameText->GetNodeValue() ;Get value • OBJ_DESTROY, oDoc RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    35. 35. 考えられる運用 ① クエ リー × IDL load_blabla.pro (URL を保持 ) ③URL を 閲覧 ④ データ取 得 Primary MDB 冗長構成 ② クエ リー × DB RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 ) Secondary MDB
    36. 36. 外部提供インターフェイスの利用者 • メタデータ・データベースを IDL から検索し、実データ の URL を取得するプロシージャは UDAS で提供される 。 • IUGONET 側から API が公開されるまで待つ。 – はっきりしたリリース日は言えない。 – しかしながら、 IUGONET-MDB と IUGONET- 解析ソフトウェア の連携を SGEPSS での話題にしたい。 – WMO 、 ERG 、 Dagik などと協調する上でも、最重要課題と認識 している。 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    37. 37. 外部提供インターフェイス③ • 外部提供インターフェイスの用途 – IUGONET 解析ソフトウェアとの連携 • 他の可視化 / 解析ソフトウェアとの連携 – 他のデータベースとの連携 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    38. 38. 図書館業界 170もの DB を横断検 索! (DC だから、話は単純ではあるが。) SRU/SRW OpenSearch NDL Search (PORTA を内 包) OAI-PMH RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    39. 39. IUGONET の周辺 WMO は SRU を実装済み & 運用中 メタデータ・フォーマットが異なる点が課題 。 超高層大気以外の 地球環境情報の MDB 数値モデル実験 の MDB WMO ポータ ル ? 衛星観測の MDB MDB VDC4EPS MDB RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    40. 40. • DublinCore だけでなく、多様なメタデータの取り扱いが 必要 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    41. 41. DSpace のブロック図 3.メタデー メタデー タ交換 タ交換 1.Web WEB UI by OAI-PMH 2. 全文検索 アクセス 権 ( 案 ) IUGONET RDBMS XML メタデータ (ex. 観測機器 ) + 実データは 管理しない RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    42. 42. メタデータの流通案 メタデー タ 実データ (空) 極地研 名大・ STE 研 OAI-PMH プロトコ ル 図書情報の流通等に利 ※ 用されているプロトコル 九大・宙空 研 京大・生存 研 京大・地磁気 セ •PORTA by 国立国会図書館 •Nature.com •Elsevier.com 東北大・惑 星 京大・天文 台 メタデータを交換し共有化 →他機関のメタデータを検索可能に! RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    43. 43. 数学系との関わり • システム・レベルの情報共有ができるかも知れない。 – – – – – 学術情報リポジトリ NII 学術情報リポジトリ支援事業 国立国会図書館 数学 IUGONET RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    44. 44. KURENAI での IUGONET の検索結果 IUGONET の発表を、積極的に KURENAI に登録 。 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    45. 45. JAIRO での IUIGONET の検索結果 QIR へ登録したデータも、ハーベスティングされて いる。 RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )
    46. 46. まとめ RIMS 研究集会「数学におけるデジタルライブラリー構築に向けて」 2010.9.16 ( 京都大学数理解析研究所 )

    ×