Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

aozorahack hackathon #1

1,053 views

Published on

aozorahack hackathon #1での説明に使った資料です

Published in: Technology
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (2019 Update) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/w8e9gy6 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/w8e9gy6 } ......................................................................................................................... Download Full doc Ebook here { https://tinyurl.com/w8e9gy6 } ......................................................................................................................... Download PDF EBOOK here { https://tinyurl.com/w8e9gy6 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/w8e9gy6 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/w8e9gy6 } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

aozorahack hackathon #1

  1. 1. aozorahackの これまでと サーバ移転について 2016/07/30 株式会社達人出版会 / aozorahack 高橋征義
  2. 2. 自己紹介 ● 高橋征義 ● 株式会社達人出版会代表 ● 電子書籍の制作と販売 ● 一般社団法人日本Rubyの会代表 ● Re:VIEWコミッタ ● 『たのしいRuby』など
  3. 3. 私と青空文庫 ● aozora4reader (2010-) ● 青空文庫形式テキストファイルをSony Reader向けのPDFに変換する – https://github.com/takahashim/aozora 4reader ● フォーマットの仕様がよく分からず難 儀した ● Code for 青空文庫の運営に参加
  4. 4. 本日のお話
  5. 5. 本日のお話の流れ ● aozorahackについて ● Code for 青空文庫 ● サーバ移転計画の話 ● ハッカソンについて ● 青空文庫に関する資料
  6. 6. 青空文庫について ● 毎週のように使っている ● たまに使う ● 昔使っていたことがある ● 今回はじめて聞いた
  7. 7. http://www.aozora.gr.jp/
  8. 8. http://www.aozora.gr.jp/cards/001779/card56649.html
  9. 9. http://www.aozora.gr.jp/cards/001779/files/56649_59494.html
  10. 10. aozorahack
  11. 11. githubの organization
  12. 12. https://github.com/aozorahack
  13. 13. 青空文庫に 関連する レポジトリを集約
  14. 14. aozorahack の経緯
  15. 15. 2015/05/30 Code for 青空文庫 アイデアソン #1
  16. 16. https://atnd.org/events/66230
  17. 17. aozorahack ● アイデアソンのフォローアップ用 ● その場で命名・発足 ● アイデアソンと関係なくても、青 空文庫に関連するものであれば追 加していく流れ
  18. 18. Code for 青空文庫 開催のきっかけ
  19. 19. サーバ移転
  20. 20. いわゆる 「青空文庫」のサイトが 移転するわけ ではない
  21. 21. 青空文庫とは http://www.aozora.gr.jp/ 「インターネットの電子図書館、 青空文庫へようこそ。」
  22. 22. http://www.aozora.gr.jp/guide/aozora_bunko_hayawakari.html 青空文庫とは 「青空文庫は、誰にでもアクセ スできる自由な電子本を、図書 館のようにインターネット上に 集めようとする活動です。」
  23. 23. 「図書館」という比喩 ● 青空文庫は「図書館」なのか?
  24. 24. http://www.aozora.gr.jp/aozora_bunkono_shikumi.html
  25. 25. http://www.aozora.gr.jp/aozora_bunkono_shikumi.html
  26. 26. 「運営について」 ● 耕作員または工作員のみなさま ● 呼びかけ人 ● 点検グループ ● 広報 ● 会計 ● Web管理 ● 外部協力者のみなさま
  27. 27. 「運営について」 ● 耕作員または工作員のみなさま 入力・校正 ● 呼びかけ人 顧問 ● 点検グループ 受付・受領・ファイル変換 ● 広報 渉外 ● 会計 資金管理 ● Web管理 ● 外部協力者のみなさま
  28. 28. 読み手からは「図書館」に 見える 運営している人たちにとっては ちょっと違う
  29. 29. 青空文庫と図書館の関係 ● 読者にとっては図書館であっても、それだけで はない ● 入力をする人がいる ● 校正をする人がいる ● 書誌情報とURLをリンクさせる ● ⇒一種の「出版(者|社)」でもあるのでは ● 新しいコンテンツを「創作」していなくても publishingはしている ● 新しい翻訳作品が公開されたりもする
  30. 30. 青空文庫≒図書館+出版(者|社) ● 図書館的な機能 ● 著作権保護期間完了済み等の自由に配布できるコン テンツを公開する ● ⇒静的ファイルの配信サービス的なもの ● 出版(者|社)的な機能 ● 入力・校正の状態を管理する ● 入力済み・校正済みのファイルを管理する ● ⇒機能としてはCMS的なもの
  31. 31. 現状のしくみ 公開コンテンツ (静的ファイルツ) 入力・校正管理 (CMS+状態管理) 配信Webサーバ ・レンタルサーバ ・静的ファイル 管理用Webサーバ ・自前物理サーバ ・DB内蔵 図書館部分 出版部分
  32. 32. 現状のしくみ 公開コンテンツ (静的ファイルツ) 入力・校正管理 (CMS+状態管理) 配信Webサーバ ・レンタルサーバ ・静的ファイル 管理用Webサーバ ・自前物理サーバ ・DB内蔵 図書館部分 出版部分 ↑こちらが移転する
  33. 33. サーバ移転の 計画
  34. 34. 管理用Webサーバ ● 入力校正管理サーバ ● DB+Webアプリ+バッチ ● 入力・校正のステータス管理 ● 原稿と変換済みファイルの保管 ● 現在は物理サーバで稼働中 ● データセンター内で運用されている(はず) ● 現行機は2006年ごろに構築 ● OS: Turbolinux というレガシー感
  35. 35. 管理用Webサーバ DBファイル �� � 耕作員 点検グループ 公開サーバへ HTML生成 バッチ 管理用アプリ
  36. 36. 移転先 ● さくらのクラウドで検討 ● 日本法が適用される ● 青空文庫は著作権にセンシ ティブな活動なので、日本法 でないと大変そう
  37. 37. 移転先 ● DBとWebは切り離す ● DBは別サーバにする ● バックアップは別に一台用意す る ● こちらはVPSにするかも
  38. 38. 移転先 ● OSはDebian系に変更 ● ミドルウェアは更新 ● Apache 2.4 ● PostgreSQL 9.4 ● PHPは古いままで頑張る…
  39. 39. 移転にあたって の問題点
  40. 40. 移転にあたっての問題点 ● やればできそう ● 価格感も現実的なところに落とせそう ● 管理サーバは頻繁なアクセスはないのでそれほどパ フォーマンスもシビアではない ● 古いところがあるのは頑張って対応する ● バージョンの更新については特に問題は言われてい ない ● ある程度は検証済 ● 単純な技術面ではないところが問題になりそう
  41. 41. 現状の具体的な課題 ● サーバの代替機がない ● データ等のバックアップがあってもそこ からリストアする先が確保されていない ● サーバの監視がない ● 異常があるかどうかを検出するしく み・事象発生時の一次対応等のワーク フローがない
  42. 42. http://www.aozora.gr.jp/aozora_bunkono_shikumi.html
  43. 43. 「運営について」 「青空文庫は、インターネット上のボ ランティア活動です。よく誤解されま すが、青空文庫は当初より明確な代表 を置いていません。」 ● 「CEO」がいない ● 「CTO」もいない
  44. 44. 技術面での中長期的な 意志決定を行う主体が 明確な形では存在していない ↓ 新しいことを判断するのが難しい
  45. 45. その対策 ● 取り付く島もないわけではない ● 問題意識、危機意識は共有できてる ● 提案の検討はできるが、抽象的なレベ ルだと理解が難しい ● 具体的なものがあれば検討が進むので はないか
  46. 46. ハッカソン
  47. 47. ハッカソンの目的 ● コンテストではない ● 優勝賞品とかはない ● 投票はやりたい ● 新規事業開発とかではない ● すごいアイデアやビジネスを求めて いるわけではない
  48. 48. ハッカソンの目的 ● 青空文庫に対する活用法の提案 ● 青空文庫に必要な機能の洗い出し ● 青空文庫に興味を持っているエンジニ ア・クリエイターとの交流
  49. 49. ハッカソンで使えるデータ ● 作家別作品一覧拡充版CSV ● github aozorabunko/aozorabu nko
  50. 50. 作家別作品一覧拡充版CSV ● 青空文庫の書誌情報 ● http://www.aozora.gr.jp/index_pages/list_per son_all_extended_utf8.zip ● DBから毎日生成 ● ちょっと無理がある構成 – 1作品に複数の著者等が関わってい る場合、複数レコードになる ● doc/csv.md に説明
  51. 51. aozorabunko (github) ● 青空文庫のスナップショット(らしい) ● 毎日更新されている ● 詳細はあまりよく分かってない ● でかい ● コピーがあるのでそれを配布した方が はやいかも
  52. 52. その他の仕様
  53. 53. 青空文庫形式テキストファイル ● 青空文庫のテキストファイルのマークアップ ● ルビなどをマークアップできる ● 「注記一覧」「組版案内」に説明がある ● HTMLへのコンバータは公開されている ● https://github.com/aozorahack/aozora2html ● XHTML版はこれで生成されているとのこと ● 仕様は未整備 ● githubのaozorahack/specsにま とめられるといいですね(願望)
  54. 54. 青空文庫の文字コード ● JIS X 0208で包摂 ● JIS X 0213化は試験版のみ ● テキストファイルはShift_JIS+注記記法 ● JIS X 0208にない文字は注記記法で記載 ● aozora2htmlではUnicodeの数値実体参照に 変換するオプションがある ● https://github.com/aozorahack/specs /blob/master/aozora-text.md で説明
  55. 55. 青空文庫サイトの構造 ● www.aozora.gr.jpのファイルそのものはg ithubのaozorabuko/aozorabunkoから 取得できる ● 10GBくらいあるので結構時間がかかる ● 主な階層構造をRAML形式で記述したもの ● https://gist.github.com/takahashim/b 5c4efceb85a7defb1d572287a2da8d8 に置いてみました
  56. 56. まとめ ● aozorahackという活動があります ● 管理用Webサーバが移転します ● ハッカソン頑張りましょう!

×