Shared Questionnaire System Development Project

  • 1,367 views
Uploaded on

Shared Questionnaire System(SQS) is an integrated Optical Mark Reader(OMR) form processing system using XML standards. …

Shared Questionnaire System(SQS) is an integrated Optical Mark Reader(OMR) form processing system using XML standards.

SQS applications are opensource software, licensed upon Apache License, Version2.0. You can use, hack, and redistribute them freely.

You can use SQS easily. They run on JRE6, JavaWebStart Ready. You can install and launch them easily from your web browser.

More in: Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,367
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
2
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • 「訓練を受けていない者が安易に調査を実施する」現状からの脱却 ->調査票の作成、調査の実施・集計に関わる業務の分業、調査票の再利用 「調査票雛形作成」と「調査票作成」の水平分業化 (1)個別の調査現場を超えた調査支援組織が調査票の雛形データを作成する (2)それぞれの調査現場における調査実施組織が調査票の雛形をもとにして現場ごとのニーズに対応した調査票データを完成させる Cf. 調査結果の共有を進める研究の事例は多いが、調査票の共有支援に関する議論は少ない。 「共有」を実現するための必要条件のひとつ: XML 手法:調査票作成業務における「内容構造」部分の重視
  • The main objective of this project / is to develop an OMR system / using the best of XML standards. Step 1: / Designing an “OMR Form Document Markup Language”: / To use XHTML, / XForms, / S V G Print, / and so on./ To be based on “Separation of Content and Presentation” Step 2: / Developing the language processor: / To be implemented in Java. / To be licensed / under Open-Source Licens es .
  • This is SourceEditor. / You can create and edit questionnaires / on this application. (click-1) In this window, / The left side of the work area / shows an outline of an XML DOM structure, / as an OMR form structured document. / (click-2) You can select single node by left-clicking / and multiple nodes by left-dragging. / You can see the selected nodes h i ghlighted in green. / (click-3) The right side shows / a node editor of the selected node content. / This is xforms:select1 element editor. Can you see tabs around this work area…? / (click-4) You can edit multiple XML instances at the same time. / You can freely cut and copy some nodes in one XML document / and paste them in another XML document. (click-5) The quick export buttons, / located in the toolbar, / translate the OMR form structured document / into a visual representations / using XSL-FO engine.
  • You can get a number of OMR forms / printed on paper / by printing the PDF file. / After answering the questionnaire, / th e OMR forms have to be scanned into i mages. You can use scanners like this. / This scanner is KV-S2026CN by Panas o nic, / about 1 thousand and 5 hundred dollars. / It has an excellent automatic document feeder engine, / with no skew, / no jam. You may w a nt to choose cheeper scanners, / but I strongly recommend you to buy powerful scanners / even thought it costs high.
  • I’ll show you HOW th e answer areas can be processed / in the OMR engine. / (click-1,2) First, / calculate the projection translation matrix / for this scanned i mage. / (click-3) Next, / extract i mages of answer areas / by the matrix. / (click-4,5,6,7,8) Then, / calculate marking density / and distinguish filled-marks / from not-filled marks. /
  • OK, The result of OMR tasks are collected / from worker nodes, / and a set of result data structure is created / (click-1)(click-2) and prepared to browse / through an “iTunes-like” AJAX user interface, / as shown in this slide. / You can use drill-down menu of forms, tables, rows and questions. You can get the result of this questionnaire, / (click-3) as a set of spreadsheets, (click-4) pie-charts, (click-5) stacked-bar-charts / and cross-tabular data.
  • Unfortunately, a certain number of read errors / are inevitable / in OMR form processing, / so the user has to correct th e errors manually. / This AJAX user interface can help us. You can browse images of mark areas, / (click-1) then you can find marks with errors and correct them. (click-2) In same way, you can browse images of free-answer areas, and enter texts of th e answers. Th e input texts are used as cell values in this spreadsheet.

Transcript

  • 1. Shared Questionnaire System Development Project 千葉商科大学政策情報学部 久保裕也 [email_address] Shared Questionnaire System 『調査 2.0 』実現のための プラットフォーム
  • 2. 目次
    • 本研究の社会的背景、解決すべき問題
    • 本研究の提案
    • 本提案を実現するための情報システム要件
    • 他研究や実践との比較にもとづく考察
    • 本提案を実現するシステムの参照実装例
    • まとめと今後の課題
  • 3. 本研究の社会的背景、 解決すべき問題、目的  
  • 4. 本研究の社会的背景
    • 社会の様々な現場における 「評価」の努力義務化
      • 説明責任とアカウンタビリティ:顧客・株主・金融機関からの圧力の高まり
      • 業界・分野ごとの評価の法制化・ガイドライン化
        • 第三者機関による評価、顧客による評価、自己評価…
    • 社会の様々な現場における 「評価」の定量化
      • 質問紙での「アンケート調査」とその集計による 統計的分析にもとづいた評価
        • Cf. 平成 14 年4月 学校設置基準改訂:
          • 「自己評価」・「関係者評価」の努力義務化
          • アンケート調査などによる統計的な評価項目の採用
  • 5. 問題:評価の形骸化・未熟性
    • 当事者意識を伴わない評価
      • 上部の組織(教育委員会など)の命令や指導にもとづく評価の 調査実施だけでも精一杯
      • 現場の状況に応じて評価項目を検討し取捨選択・修正する作業が 十分にできない
      • 「形だけ」評価・「やらされている感」の中での評価
      • ⇒ 本来ならば、カイゼンのためのベンチマークや目標が 現場ごとに自律的に設定されるべき。
    • 未熟なシロウトによる評価
      • 調査デザイン、調査票作成、統計的手法による集計や分析を適切に行うためには、そうした専門的技術の訓練が必要
      • 現場で評価をさせられる者・評価をする者は、必ずしも 訓練を受けているわけではない
      • ⇒ 現場の者に訓練をさせろ!というだけでは、この問題は解決しない
  • 6. 本研究の目的
    • Where:
      • さまざまな組織の現場において
    • When:
      • 統計的な根拠に基づいて何らかの事業を評価する際に
    • Who:
      • その事業に関わる組織の構成員が
    • What:
      • 「自己評価」「関係者評価」などの 「アンケート調査」を
        • 現場で、自らが自らを評価し回答する「アンケート調査」
        • 現場で、事業の顧客や関係組織の構成員に 評価し回答してもらうアンケート調査
    • How:
      • より「適切な形」で実施できる ようにすること
  • 7. “Garbage in, Garbage out”
    • ダメな調査データからは、ダメな分析結果しか生まれない
    • ダメな調査票からは、ダメな調査データしか得られない
    • 「訓練を受けていない者が 安易に調査を実施してはならない」
    • しかし、
    • 「現場当事者だけが持ち得るような 調査の視点というものがある」
  • 8. 本研究の提案: 「調査実施の新しい業務モデル 」  
  • 9. 『調査票は、共有・再利用 すべきではないのか?』
    • 過去の優れた 調査票の共有・再利用 を進めると、
      • 調査技術の向上や調査結果の有効活用が進むはず
    • 2種類 の共有・再利用
      • 「時間軸上での共有・再利用」
        • 調査対象の経年変化を追うことができる
      • 「空間を超えての共有・再利用」
        • 異なる地域や組織で横断的に利用することで、 調査対象間での比較や対照を行うことができる
  • 10. 業務モデルの提案: 調査業務関係者間での役割分担
    • (1)専門家(調査支援組織)の役割:
      • 「共有」 され得るような評価項目を作成し、 「調査票のひな形」 として提供する
    • (2)現場担当者(調査実施組織)の役割:
      • 「調査票のひな形」 を 「再利用」 することで、 現場ごとのニーズに対応した評価を 指標するための 「調査票」 を作成する
  • 11. 業務モデル提案:垂直から水平へ 調査実施組織 調査票の作成 調査の実施・集計 調査対象者 調査への回答 垂直統合モデル 水平分業モデル 調査支援組織 調査票のひな形作成 調査実施組織 調査票の編集 調査の実施・集計 調査対象者 調査への回答 タコツボ タコツボ タコツボ 分担・協業 分担・協業
  • 12. 調査業務関係者の相互関係 ⑦ 調査レポート 作成 調査支援組織 ① 調査票「ひな形」の 蓄積・公開 ⑧ 結果分析 ⑤ 調査への回答 回答者 調査票 ③ 調査票の作成・ 編集・出力 調査実施組織 ② 調査票「ひな形」の 検索・ダウンロード ⑥ 調査票の 集計・分析 ④ 調査の実施 インターネット ⑨ 調査レポートの 蓄積・公開
  • 13. 本提案を実現するための情報システムの要件  
  • 14.
    •   調査業務の「水平分業」に対応した 情報システムを開発提供するには?
      • 「調査票雛形作成」と「調査票作成」を分業する ための データ記述・交換形式 を 定義する
      • 「内容(構造)と表現の分離」にもとづいて調査票を作成・利用するための 処理系 を開発する
      • 当初時点での「水平分業」「共有」以前の システム導入の動機づけに対応する機能 を 提供する
  • 15. 共有用データ記述・交換形式: XML 標準の活用
    • 調査票データの記述・交換
      • XHTML, XForms, SVG, DublinCore などの XML 標準のボキャブラリを利用
      • 既存のデータ資産の再利用性、 他システムとの連携性・ 拡張性を担保
    XHTML + XForms + OMR metadata c XHTML + XForms + OMR metadata XHTML + XForms + OMR metadata XHTML + XForms + OMR metadata ?
  • 16. 「内容(構造)と表現の分離」に もとづいて調査票表現を 作成・利用するための処理系
    • XSLT, FO, XForms などの XML 標準のプロセッサを通じて、 調査票表現を生成し調査を実施
    • “ One Source Multi Use” 変換ルールを切り替えるだけで 多様な調査媒体・方式に対応
      • PC ブラウザでの調査
      • 携帯端末での調査
      • 音声ブラウザでの調査
      • 印刷媒体での調査…
    XSLT XSLT ○ △ XSL XSL □ XSL XSLT XHTML + XForms + OMR metadata
  • 17. 「内容(論理的構造)と表現の分離」
    • 調査票 = 「 論理的構造に関わる定義 」+「 表現に関わる定義 」
      • 論理的構造に関わる定義 :
        • 説明文、設問文、設問の型、選択肢…
      • 表現に関わる定義 :
        • 論理的構造の要素内容を、メディア上に自動的に 配置・組版するためのルール
    • それぞれをあらかじめ分離して定義しおき、必要に応じてそれらを組み合わせることで最終的な完成物を得るようにする
    • 調査票の定義内容のうち、繰り返し利用できる共通的部分を、「ひな形」として抽出しやすくできる
  • 18. DublinCore + XForms ※ FormControl 部分のみ + XHTML2 + etc. ∥ 調査の属性+ 調査票の本文 を抽象的に記述する言語 “ SQS Source”
  • 19. 「共有」には デメリット がある
    • 本研究による情報システムのユーザ:
      • 情報システムの専門家ではない。
      • 調査票データに関する知識共有を行うことの中長期的な価値を、 すぐに理解・賛同してくれるということは期待薄
    • 知識共有には:
      • 他者とデータを共有するには様々な追加的 コスト が発生する
      • 競合する他主体に知識が伝播することで、 何らかの不利益を被る リスク が存在する
    • こうした情報システムを普及させるためには、 ユーザが自分にとっての導入メリットをすぐに理解でき、使ってみたいと思わせるような機能 を盛り込む必要がある
  • 20. 調査現場の問題
    • ★ 質問紙調査の ネックとなるのは、 その集計作業の コスト である。
    ※ Web アンケートを利用できる場合は非常に限定的 ※ いわゆるマークシート方式は機器・用紙コストが高く、  回答者にも負担がある
  • 21. 「水平分業」「共有」以前の システム導入の動機づけ
    • まずは、質問紙調査の集計作業のコスト削減
    • ひいては、質問紙データの再利用性を担保
    「 Web フォーム」 への回答と、 「質問紙上でのマークシート 形式のフォーム」 への回答を 統合的に扱えるような しくみを提供する
  • 22. 調査票処理系の一例・ 当初時点での「共有」以前の システム導入の動機づけ
    • 調査票データ (Web フォーム)をもとに、自動的な組版ルールにもとづいて、 マークシート方式で自動集計 可能な「調査票」 の印刷原稿 PDF を生成可能とする。
    • ★ 利用者本位での導入の動機づけをし、 クリティカル・マスを克服する
    XHTML + XForms + OMR metadata c PDF
  • 23. W3C 標準の方法で XML の構造を変換・組版 調査票の表現 W3C 標準の XML データで調査票の 論理的構造を作成 XSLT XHTML + XForms + OMR metadata XSLT Processor での変換 FO Processor での組版 PDF SVG Print の生成 PDF PDF へ ファイルを 添付 XSLT Processor での変換 XSLT XHTML Form SVG Print + XForms + OMR metadata XHTML + XForms + OMR metadata FO + SVG + XForms + OMR metadata SVG Print + XForms +OMR metadata 普通紙に印刷可能な マークシートによる調査票+マーク読み取り用情報 Web ブラウザでの フォームによる調査票 調査票の 論理的構造を 記述した XML データ DTP 的アプリケーションによる WYSIWYG 手法での調査票デザイン
  • 24. SVG Print: OMR Form Metadata ... <svg:page> <svg:g id=&quot;mark1-1&quot;> <svg:rect x=&quot;61.0&quot; y=&quot;176.9&quot; width=&quot;5.0&quot; height=&quot;16.0&quot;> <svg:metadata> <xforms:select xforms:ref=&quot;answer[1]/mark[1]&quot; sqs:qid=&quot;1&quot; sqs:itemIndex=&quot;1&quot; sqs:prev-xform-type=&quot;select1&quot;> <xforms:label>(1)</xforms:label> <xforms:hint>Do you agree or disagree?: XHTML 2 Working Group expected to stop work for increasing resources on…</xforms:hint> <xforms:item> <xforms:label>agree</xforms:label> <xforms:value>1</xforms:value> </xforms:item> </xforms:select> </svg:metadata> </svg:rect> </svg:g> …
  • 25. 他研究や実践との 比較にもとづく考察  
  • 26.
    • 東京大学社会科学研究所附属社会調査・データアーカイブ研究センター SSJDA(Social Sicence Japan Data Archive)
      • 目的:
        • 日本における社会科学の実証研究を支援する
      • 統計調査・社会調査の個票データ(個々の調査票の記入内容、マイクロデータ)について:
        • 収集・保管(データ散逸を防ぐ)
        • 学術目的での二次的な利用のための提供
      • 提供開始:
        • 1998 年 4 月
        • http://ssjda.iss.u-tokyo.ac.jp/
    「調査プロセス情報の共有」 についての関連研究(1)
  • 27.  
  • 28. 調査ごとの調査票で 構造・表現の記法に揺れがある 調査番号  0383 調査名  高専の教育と卒業生のキャリアについての調査, 1998 調査番号  0539 調査名  学校教育に対する保護者の意識調査, 2003 設問・選択肢などの 構造の表記法が統一されていない 機械的処理が困難
  • 29. 「調査プロセス情報の共有」 についての関連研究(2)
    • Swivel : 「データの YouTube 」
    • 統計データの
    • Upload、共有
    • 多様な手法 での可視化
    http://www.swivel.com/ 統計データをどうやって作るか?は、スコープ外 「可視化」手法の共有の焦点
  • 30. 従来的な「調査」との比較考察 調査 1.0 「 Closed な調査」 調査プロセス情報の非公開化 /  他者との差別化 / 調査結果の私物化・死蔵 調査 2.0 「 Open な調査」 調査プロセス情報の公開化 / 関係者からの信頼 / 調査結果の共有財化・多角的活用 … and more !
  • 31. 本提案を実現する 参照実装事例  
  • 32. 2 種類の「 共有 」の実現へ Shared   Questionnaire   System 1.「アンケートシステム」の 共有化 オープンソース・ソフトウェアとしての SQS × 2. 「調査コンテンツの 共有 」のシステム    オープンな調査コンテンツの処理系としての SQS
  • 33. Shared Questionnaire System ⑦ 調査レポート 作成 調査支援組織 ① 調査票「ひな形」の 蓄積・公開 ⑧ 結果分析 ⑤ 調査への回答 回答者 調査票 ③ 調査票の作成・ 編集・出力 調査実施組織 ② 調査票「ひな形」の 検索・ダウンロード ⑥ 調査票の 集計・分析 ④ 調査の実施 インターネット ⑨ 調査レポートの 蓄積・公開 SQS SourceEditor SQS MarkReader
  • 34. SQS SourceEditor 調査票内容の編集と表現の生成
  • 35.  
  • 36. ドキュメントスキャナによる 調査票の取り込み
  • 37. SQS MarkReader 調査票の読み取り・集計 回答済み調査票 をスキャンし フォルダに保存 フォルダを ドラッグ & ドロップ OMR処理の開始 SVG Print + XForms +OMR metadata 調査票原稿の PDF ファイルから OMR 用の メタデータを抽出 調査票原稿の PDF をフォルダに コピーして フォルダを編成 読み取りエラーの確認・修正
  • 38.  
  • 39. Master Node Worker Node Worker Node Worker Node Worker Node ノード間で P2P 通信して祖結合クラスタを構成し、 マーク読み取り・自由記述覧抽出などを分散並列処理、高速化を実現。 OMR Task OMR Config Scanned Image OMR Master OMR Task OMR Config Scanned Image OMR Master OMR Task OMR Config Scanned Image OMR Master OMR Config Scanned Image Scanned Image Scanned Image OMR Master Scanned Image Scanned Image Scanned Image Scanned Image Scanned Image Scanned Image Scanned Image Scanned Image Scanned Image OMR Master OMR Config OMRSessionSource OMR Task OMR Task OMR Task OMR Task OMR Task OMR Task OMR Task OMR Task OMR Task OMRSession SVG Print + XForms + OMR metadata OMR Engine OMR Engine OMR Engine OMR Engine OMR Engine
  • 40. AJAX user interface による : Result Browser
  • 41. AJAX user interface による : Result Editor
  • 42. 利用状況の一例: 「学校評価」を中心に、実務的な用途で普及
    • 2005 年 9 月: 中央教育審議会 ・義務教育特別部会 (第 33 , 34 回)
      • 学校評価での利用において、「科学的な手法」であるというコメントを受ける。
    • 2006 年 4 月:「 学校の第三者評価等に関する研究計画に関わる事業案の公募 」
      • 文部科学省からのヒアリングを受け、募集内容に影響を与える。
        • 「事業成果物はフリーソフトウェアとすること」との文言が盛り込まれる。
    • 2006 年 8 月:「 学校評価ガイドラインに基づく評価実践研究推進地域及び協力校の指定 」・「コンピュータ等を有効に活用した効果的な処理方法の研究」部門
      • 岩手県奥州市における「 学校評価の事務的負担を軽減する「学校評価支援システム( SQS ) 」の有効な活用と普及・拡大 」が採択される。
    • 2007 年 /2008 年:「 学校評価を適切に実施するための情報システムに関する調査研究 」
      • 文部科学省からの研究委託により、慶應義塾大学において、 調査研究とシステム開発を実施。
  • 43. SQS の全国的普及 宮城県:全高校 岩手県:高校、実験校 群馬:前橋市を中心とした実験校 千葉:独自導入校、 研究導入高校 東京都足立区:実験校 茨城:取手市 全校導入 神奈川県横浜市:実験校 愛知県:独自導入 京都市: 全小中高幼 大坂府: 実験校 鳥取: 個別導入 宮崎: 個別導入 東京都三鷹市:実験校 愛媛県:全校導入予定 兵庫: 個別導入
  • 44. まとめ
    • 調査票ひな形と調査票のそれぞれの 作成業務をレイヤ分けし、水平分業する 業務モデルを提案した。
    • 調査票作成業務における「内容と表現の 分離」の発想に基づく実装を行った。
    • 本研究は、これまでに無い調査業務の 取り組み方を提示するという意味で、 新規性があると考えられる。
  • 45. 今後の課題
    • ユーザへの実験協力依頼・ ユーザ登録の実施
    • 「水平分業」の実践事例を増やす:
      • 利用者たちに、調査票作成業務を水平分業しながら調査票データの再利用を行い合うような利用を促す
    • 「水平分業」の出会いの場をつくる:
      • 利用者同士がコミュニティを作って連携できるような Web サービス (SNS?) を提供し、そこでの利用内容の検証を通じて、本研究のモデルと実装を評価していきたい
  • 46. Please access: http://sqs2.net/ JavaWebStart でブラウザ上から簡単に インストール・実行できる機能と Apache License, Version 2 によるソースコードを提供