Recommended
More Related Content
Similar to 東京大学学術資産等アーカイブズポータルの構築
Similar to 東京大学学術資産等アーカイブズポータルの構築 (20)
東京大学学術資産等アーカイブズポータルの構築
- 1. 東京大学学術資産等アーカイブズ ポータルの構築プロジェクト 2019年9月8日 code4lib japanカンファレンス 2019 東京大学情報システム部 前田 朗 東京大学情報基盤センター 中村 覚 1
- 3. 東京大学のアーカイブズの統合サイト • 東京大学の「学術資産等」アーカイブズ • 学内所蔵の古典籍や博物資料がメイン • 東京大学学術機関リポジトリとは住み分け • 「ポータル」（入口）としての位置づけ • 学内で個別に構築されているコレクションへのナビゲート • 粒度はアイテムレベル • 元サイトのメタデータとサムネイル画像（一部）を収録 • 外部システムとのやりとりにおける窓口 • NDLサーチやジャパンサーチなどとの連携を検討中 • 現在の収録状況 • 70以上のコレクション / 15万件以上のアイテム • まだまだ収録したいコレクションあり 3
- 5. 高速検索＋見せ方の工夫 • 高速検索エンジン(Solr)による検索機能 • 漢字統合インデクスによる表記ゆれ対応 • メタデータ＋元サイトのイメージ • IIIFビューワーによる元サイトの高精度画像表示 • アイテムのサムネイル表示 • Drupalによる画面構築 • スマートデバイス対応のレスポンシブデザイン • 総務省の「みんなの公共サイト運用ガイドライン」準拠 • 変化しつづけるサイトに • 季節に応じたトップ画面画像の入れ替え • 特別展示（電子展示）の開催 ※ IIIF = International Image Interoperability Framework 5
- 6. メタデータのやりとりがポイント • 学内からのデータ収集方法各種 • OAI-PMHのハーベスト機能 • Sitemap+RDFa準拠サイトよりWebページ取得 • Excel等ファイルによる提供メタデータ • 外部連携 • OAI-PMHのプロバイダ機能を一般公開 • Web検索エンジン(Schema.org)対応 • 検索結果ダウンロード(CSV, JSON-LD, Refer/BiblX) • SNS連携(Facebook, Twitter) 6
- 8. 先行事例を踏まえる • 京都大学貴重資料デジタルアーカイブ → 電子展示機能 • 国立情報学研究所(NII)の各種システム • IRDB(機関リポジトリデータベース） → メタデータ収集配信 • WEKO2 → 仕様の要件整理 • CiNii Article → インターフェイス（元サイトへのリンクボタンなど） 8
- 9. 当事者は振り返る • 技術の独自性は少ないが、それがいい • ベンダーロックインの回避 • 残すべきは登録アイテム • それでも「大学規模のポータルシステム」であることは特色 • IIIFビューワーによる外部サイト画像表示 • メタデータの収集・検索・配信が重点 • コンセンサスを得るステップを重視 • ビジョンの確認 → 調査 → 試行・評価 → 本番開発 • 実務者チームによる検討 9
- 11. 独立したコレクション群 • 東京大学の「学術資産」調査 • 調査結果300以上 • 情報基盤センターのサーバ環境提供 • 総合図書館分をメインに掲載 • システムは提供元まかせ • 学内コレクション例 • 文書館デジタルアーカイブ • 総合研究博物館の各種コレクション • 各部局図書館室のコレクション コレクション 検索・ブラウズの仕組み 平賀 譲 デジタルアーカイブ 独自 電子版『地震火災版画張交帖』 静的なWebサイト 電子版『直江状』 1枚物の資料 観世アーカイブ 独自 電子版『明・弘治十八年八月二十日勅命』 1枚物の資料 大日本海志編纂資料 独自 電子版『三十六歌撰』絵巻 1枚物の資料 電子版『百鬼夜行図』絵巻 1枚物の資料 教育用掛図 静的なWebサイト スタニスラス・プチ『産業実務家』 静的なWebサイト 電子版『（享保八年）紀州熊野浦諸鯨之圖』 1枚物の資料 電子版『水野家古文書(水野忠幹氏旧蔵書文書)』 静的なWebサイト 高木貞治先生自筆ノート 静的なWebサイト 鉱山絵図・絵巻コレクション 静的なWebサイト 電子版貴重書コレクション 独自 鴎外文庫書入本画像データベース JavaScriptによる検索 電子版『甲州法度之次第』 1枚物の資料 朝鮮王朝実録画像データベース JavaScriptによるページめく り 写真帖『東京帝国大学』電子版 静的なWebサイト 電子版自然真営道 JavaScriptで巻・頁指定 電子版霞亭文庫 独自 電子版黒木文庫 独自 情報基盤センター預かり分コレクション システムはバラバラ 11
- 12. 統合検索を目指して • 学内の統合検索への取り組み • 2000年: 総合図書館の「電子版貴重書コレク ション」 • 2003年：経済学部”Engel” • 2010年：「東京大学和本画像横断検索（テス ト版）」(デモシステム・非公開) • アーカイブズポータルへの議論 • 標準メタデータスキーマの導入 vs 無制約 • デジタル学術資産アーカイブズポータルにつ いての基本方針 東京大学総合図書館の旧「電子版貴重書コレク ション」(2000-) 当時個別のコレクションを統合検 索することを想定しシステム設計はされていた。 12 「東京大学和本画像横断検索（テスト版）」(2010-) 情報基盤センター預かりのコレクションの横断検索。 デモシステム・非公開どまり。
- 13. 学内学術資産調査とリンク集試作 • 学内学術資産調査 • ポータル構築の前準備 • Web公開されている「学術資産」は300以上 • 「学術資産等アーカイブズリンク集」試作 • Elasticsearchを使ったシステム。数日で自作。 • 他のメンバーにデザインテンプレートを直しても らい翌年度12月一般公開 • Elasticsearchを使うのはやりすぎか？JavaScript によるシステム置き換えができないか検討中 https://da.dl.itc.u-tokyo.ac.jp/dalink/ 学術資産調査結果抜粋 13
- 14. 前田は布石を打ってみた • 「アーカイブ・リポジトリシステムで遊ぼう！」 (cod4lib japan 2016) https://www.slideshare.net/genroku/ss-65897736 • IIIFサーバの稼働実験 • 私案の提示 • 学内メタデータスキーマ標準化はしない • ただし、流通用メタデータには標準を使う 私案で提示したWEKO2によるイメージ 14
- 15. 前田は当時を振り返る • アーカイブ化推進室の設立と、中村覚助教（当時、東京大学の学 生）の参加を期待して待つ • 当時の前田の発想がどうにも機関リポジトリの延長 • アーカイブズリンク集はプロジェクトの最初の成果物になることを考 慮し、高速検索エンジンの採用・異体字対応・Wikipedia記事取り込 みなど「インパクト」を狙ってみた 15
- 17. 東京大学デジタルアーカイブズ構築事業 ２０１５年 「東京大学ビジョン 2020」に、「東京大学が保持する学術資産のアーカイブを構築し、その公開 と活用を促進することで、学術の多様性を支える基盤を強化する。」という方針が示される ２０１６年 全学委員会として「東京大学学術資産等アーカイブズ委員会」が設置される。 ２０１７年４月 附属図書館に学術資産アーカイブ化推進室を設置し、情報基盤センターや附属図書館、情報 システム部等の教職員10名から成るメンバーで、学内における学術資産等のデジタル化と公 開の支援に取り組む。 "「東京大学デジタルアーカイブズ構築事業」について"より http://www.center.iii.u-tokyo.ac.jp/wp-content/uploads/28_1.pdf 学術資産アーカイブ化推進室内の実務者メンバーによるシステム協議体制 情報基盤センター 中村覚助教 情報システム部 職員2名 附属図書館総務課 職員3名＋ ＋ 17
- 18. ビジョンの確認とスケジュール ビジョン 期間中の取組 主体となる組織 平成29年度 平成30年度 平成31年度 学術資産のポータル サイト構築 推進室 ポータルサイトの機 能要件検討 ポータルサイトの本構築 公開までのスケジュール（当初のもの） 「アーカイブズプラットフォームにより、東京大学の学術情報資源がひろく学内 外に知られ、より活用されるようになる。アーカイブズポータルはアーカイブズプ ラットフォームの構成要素のひとつとして、学内に分散しているコレクションの情 報をとりまとめ発信する役割を果たしている」 18
- 19. アーカイブズポータルの位置づけ • 東京大学学術資産等アー カイブズプラットフォーム • NIIのサービスに対応して 考えるとしっくりする 東京大学学術資産等 アーカイブズ ポータル アーカイブズ 共用サーバ 東京大学学術資産等 アーカイブズリンク集 学部、附置研究所等の取組 東京大学学術資産等アーカイブズ プラットフォーム 〔デジタルアーカイブズ構築事業で構築するシス テムの総称〕 B研究 所 A学部アーカイブ B研究所アーカイブ Cセンター 公開基盤システ ムのない部局等 〔 メタデータの集積〕 〔 画像の蓄積・公開 〕 〔学内のデジタル関連ウェブサイト案内〕 (ウェブサイト単位の紹介) A学部 D学部 ① デジタル化 ① デジタル化 ①デジタル化 ＋ ② 公開支援 メタデー タ 様々なアクセスルートの提供 外部シス テム連携 19 アーカイブズ プラットフォーム NIIのサービス アーカイブズリンク集 CiNii Books アーカイブズポータル IRDB アーカイブズ共用サーバ JAIRO Cloud ※ JPCOARと共同運営
- 20. 開発・試行サーバによる各種システム評価 • 開発・試行サーバマシンの導入 • Dockerの活用 • 同一のサーバーマシンで複数の評価環境を構築するにはよい • 対応しているシステムならインストールが楽 • 評価対象のオープンソースシステム例 • DSpace • IsLandora • VuFind • Drupal (Solrモジュール付き) • WEKO2 20
- 21. VuFindによるシステム試作 • VuFind • オープンソースのディスカバリシステム • 業者によらず改修が容易 • 昭和音大オペラ研究所の先行事例あり • MARCXMLへの対応が必須 • MARC21目録規則の理解は悩みどころ • Pythonのjinja2でMARCXML変換 • コードハックによる足し算と引き算 • IIIFビュワーを足したり、所蔵表示を消したり • 学内有識者向けアンケートによる評価 アーカイブズポータル用のカスタマイズ記録 プロジェクトではWikiに記録を残していた 21
- 22. 当事者は振り返る • 附属図書館の総務課職員を含めた協議体制がよい • 図書館職員・利用者目線で、多くの意見をもらえた • 学術資産アーカイブ化プロジェクトの電子化事業と連動 • 技術と予算の維持可能性の兼ね合いを考えた • 職員のスキルに依存しすぎないよう、業者保守を入れる • 維持費がかかりすぎないよう、職員が基本的な運用を行う • 将来を見据え手順を踏むことを重視 • 関係者のコンセンサスを得る • 判断の理由を残す 22
- 24. 有力候補！ Drupal (Solrモジュール付き) • 国内デジタルアーカイブズでの採用 • 九州大学 • 京都大学 • メタデータ収集・配信に対応 • NIIのIRDBでの採用予定（当時） • GUIによる画面構築・アイテム個別編集 • ただし、Drupalのノウハウがないとコード改変は厳しい 24
- 25. 要件定義と業者ヒアリング • 要件定義 • 当初、国立公文書館「デジタルアーカイブ・システムの 標準仕様書」をベースに検討 • http://www.archives.go.jp/about/report/pdf/da_180330.pdf • しかし、アーカイブズポータルは、メタデータの収集・ 検索・配信システムなので性格が異なるか • そこで、試行経験やWEKO機能を参考に考え直し • 業者ヒアリング • 要件定義をもとにしたシートで、ヒアリングを実施 • 内容的には仕様書案ほぼそのもの 業者ヒアリングシート抜粋 必要要件と十分（加点）要件を整理 25
- 26. Drupalか、VuFindか？ • 時間と経費をかければ、どちらも十分要件を満たす → 考えてみればあたりまえか… → 将来のベンダーロックオンの回避にはよい情報 • 最終的にはDrupalで調達 → DrupalとVuFindの業者提案をもとに検討 → 独自開発分が少なくて済みそうなDrupalを選択 26
- 27. 業者との細部詰め • メタデータ設計と各出力形式へのマッピング設定 → フラットな（階層をもたない）メタデータ設計 → 外部連携やファセット検索を考慮 • Dockerコンテナでの稼働を決める → サーバ環境の依存を避ける • OAI-PMH機能を業者開発 • IIIFビューワー(Universal Viewer)のサムネイル表示順修正 • システム管理マニュアルの用意 → 保守契約はするが、基本は職員による運用 27
- 28. 学内関係者向け公開 • 2019年1月から2019年6月16日まで実施 • 意見への対応 → 追加改修が必要となる意見は翌年度へ • 学内コレクションの登録募集に使う • 関係者のコンセンサスを得る 28
- 29. 当事者は振り返る • 調達が済んだところでひと安心 → しかし、本番の開発はこれからだ！ • シンプルを心掛けてみた → 将来のリプレイスを考慮するとシンプルがよい → 仕様書もあまり開発に無理ないように（したつもり） 29
- 31. 学内からメタデータを集める • データ提供の依頼 • 提供してもらえそうな部署に声をかける • Creative Commons推奨 • データ加工は教職員で • 3人でチェックしつつ登録元データの加工と登録 • PythonのPandasやPykakasiが有用 • 裏では公開期日ぎりぎりまで作業 • ファセットの表示件数が計算と合わない！？ • 公開数日前に約4万件追加登録 31
- 32. 外部システムとの連携を探る ~IRDB・NDL Search・ジャパンサーチ連携~ 共用サーバ アーカイブズ ポータル IRDB NDL Search JaLC （DOI取得) CiNii R (2020リリース) ・IRDBからジャパンサーチへの連携は不明 ・NDL Searchに直提供分は連携外にできる ※IRDBとNDL Search重複レコードの問題 学内独自 サイト ※重複レコードの問題 TREE (東京大学 のディスカバリ) ジャパン サーチ 32 • 右図は検討中の シナリオのひとつ • どのシナリオがよ いかを検討中
- 33. 当事者は振り返る • ほうっておくとリッチ化するメタデータ → 「刊行年月日」「作成年月日」「関連年月日」の使い分け → 和歴を西暦にも変換 → カナ読みとローマ字読みのダブル記載 • 幻の？一般公開前アイテム登録禁止令 → 一般公開日のトラブルを避ける安全策 → 結局、熱意には勝てず残業して登録 → 結果一般公開時１５万アイテム収録！ → …いちおう無理しないための抑制にはなったか？ 33
- 35. アーカイブズ ポータル 機械を用いた利活用 ex. 機械（深層）学習、 データの可視化 機械可読なデータ公開 ・（メタ）データの集約 ・データのオープン化 テキストマイング ex. ワードクラウド 時系列変化 の可視化 人間による検索 Linked Open Data 標準API (SPARQL) 深層学習を用 いた画像処理 データ 出力・ 変換 API API デジタル化された学術資産の活用 35