R を使ったコンピュータ
適応型テスト構築の試み
水本 篤
(関西大学)
2013/07/13
SappoRo.R #2 @北海学園大学
自己紹介
• 水本篤(みずもと あつし)
• 研究分野:英語教育(語彙,言語テスト)
• Twitter: @MizumotoAtsushi
コンピュータ適応型テスト
Computerized Adaptive Testing
CATを使ったテストの例
CATを使ったテストの例
CAT
http://www.j-cat.org/page/interpret
CATの利点
• 個人の能力に応じた出題
• テスト時間(問題)短縮
• 測定精度が高い
• 無作為抽出の必要がない
www.geocities.jp/kosugitti/labo/irtnote.pdf
CATの開発
• 項目作成
• テスト実施
• 分析
• アイテムバンク作成
(スタートライン)
「CATが作りたいです。」
MoodleのPlugin
http://moodle2x.info
mmm...
1. フリーアカウント(受験者150人/月)
2. Amazon Machine Images(1年間は無料のはず)
3. 自分のサーバーにインストール
サーバーにインストール
https://code.google.com/p/concerto-platform/wiki/installation4
• オープンソース
• 裏でRを走らせている(catR, RMySQL)
• テスト画面は HTML で作成
Wiki(作成方法サンプル等)
https://code.google.com/p/concerto-platform/wiki/Resources?tm=6
Forumも助けてくれる
http://concerto.e-psychometrics.com/forum/viewforum.php?f=1
Specifications of CAT
• アイテムバンクの項目数
• Starting point(パラメタ数,初期能力値,
項目のランダム化)
• 能力値推定方法(ML, BM, EAP or WL)
• Stopping rule(項目...
Magis and Raîche (2012, p. 7)
何問ぐらいでSEはどの程度?
• catRパッケージでシミュレーション可能
• Magis, D., & Raîche, G. (2012).
http://www.jstatsoft.org/v48/i08
require(catR)
difficulties <- c(2.616,2.399,...,-4.63)
disc <- c(0.868, 1.109, ..., 0.78)
itempar <- as.matrix(cbind(disc,d...
True Theta = 1
Concertoでのテスト作成手順
• HTMLで初期画面,出題画面,
フィードバック画面の設定。
• アイテムバンクの登録。
• 問題出題ルールの設定。
Platform のコード入力例
エラー:どこが原因か教えてくれる
今回作成した語彙テスト
• 水本 (2006) http://www.mizumot.com/files/VocSizeMeasure.pdf
• SVL12000の8000語まで(1レベル30問)
• 合計240問を716名に実施。
• 項目分...
http://langtest.jp/concerto/?tid=20
出題画面
フィードバック画面
注意点(ConcertoでCAT作成)
• 先に大規模なテスト実施(アイテムバンク)
• サーバー関連の知識
• オープンソースなので基本自力
• 項目応答理論・CATのメカニズムの理解
• フィードバックの方法
• 同時アクセス(さくらのVP...
Rを使ったコンピュータ適応型テスト構築の試み
Rを使ったコンピュータ適応型テスト構築の試み
Rを使ったコンピュータ適応型テスト構築の試み
Rを使ったコンピュータ適応型テスト構築の試み
Upcoming SlideShare
Loading in …5
×

Rを使ったコンピュータ適応型テスト構築の試み

1,325 views

Published on

2013.07.13
SappoRo.R #2
http://kokucheese.com/event/index/88324/
【Lightning Talks】
「R を使ったコンピュータ適応型テスト構築の試み」

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,325
On SlideShare
0
From Embeds
0
Number of Embeds
67
Actions
Shares
0
Downloads
12
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Rを使ったコンピュータ適応型テスト構築の試み

  1. 1. R を使ったコンピュータ 適応型テスト構築の試み 水本 篤 (関西大学) 2013/07/13 SappoRo.R #2 @北海学園大学
  2. 2. 自己紹介 • 水本篤(みずもと あつし) • 研究分野:英語教育(語彙,言語テスト) • Twitter: @MizumotoAtsushi
  3. 3. コンピュータ適応型テスト Computerized Adaptive Testing
  4. 4. CATを使ったテストの例
  5. 5. CATを使ったテストの例
  6. 6. CAT http://www.j-cat.org/page/interpret
  7. 7. CATの利点 • 個人の能力に応じた出題 • テスト時間(問題)短縮 • 測定精度が高い • 無作為抽出の必要がない www.geocities.jp/kosugitti/labo/irtnote.pdf
  8. 8. CATの開発 • 項目作成 • テスト実施 • 分析 • アイテムバンク作成 (スタートライン)
  9. 9. 「CATが作りたいです。」
  10. 10. MoodleのPlugin http://moodle2x.info
  11. 11. mmm...
  12. 12. 1. フリーアカウント(受験者150人/月) 2. Amazon Machine Images(1年間は無料のはず) 3. 自分のサーバーにインストール
  13. 13. サーバーにインストール https://code.google.com/p/concerto-platform/wiki/installation4
  14. 14. • オープンソース • 裏でRを走らせている(catR, RMySQL) • テスト画面は HTML で作成
  15. 15. Wiki(作成方法サンプル等) https://code.google.com/p/concerto-platform/wiki/Resources?tm=6
  16. 16. Forumも助けてくれる http://concerto.e-psychometrics.com/forum/viewforum.php?f=1
  17. 17. Specifications of CAT • アイテムバンクの項目数 • Starting point(パラメタ数,初期能力値, 項目のランダム化) • 能力値推定方法(ML, BM, EAP or WL) • Stopping rule(項目数 or SE) • 最終能力値推定方法
  18. 18. Magis and Raîche (2012, p. 7)
  19. 19. 何問ぐらいでSEはどの程度? • catRパッケージでシミュレーション可能 • Magis, D., & Raîche, G. (2012). http://www.jstatsoft.org/v48/i08
  20. 20. require(catR) difficulties <- c(2.616,2.399,...,-4.63) disc <- c(0.868, 1.109, ..., 0.78) itempar <- as.matrix(cbind(disc,difficulties,0,1)) bank <- createItemBank(itempar,model="2pl") start <- list(nrItems=1, theta=0) test <- list(method="BM", randomesque = 5) final <- list(method="BM") stop <- list(rule="precision", thr=0.25) res <- randomCAT(1, bank, maxItems=150, start=start, test=test, stop=stop, final=final) plot(res, ci=TRUE)
  21. 21. True Theta = 1
  22. 22. Concertoでのテスト作成手順 • HTMLで初期画面,出題画面, フィードバック画面の設定。 • アイテムバンクの登録。 • 問題出題ルールの設定。
  23. 23. Platform のコード入力例
  24. 24. エラー:どこが原因か教えてくれる
  25. 25. 今回作成した語彙テスト • 水本 (2006) http://www.mizumot.com/files/VocSizeMeasure.pdf • SVL12000の8000語まで(1レベル30問) • 合計240問を716名に実施。 • 項目分析で150問を選定。 • 2パラメータロジスティックモデルで困難度と 識別力を推定。→アイテムバンクに使用。
  26. 26. http://langtest.jp/concerto/?tid=20
  27. 27. 出題画面
  28. 28. フィードバック画面
  29. 29. 注意点(ConcertoでCAT作成) • 先に大規模なテスト実施(アイテムバンク) • サーバー関連の知識 • オープンソースなので基本自力 • 項目応答理論・CATのメカニズムの理解 • フィードバックの方法 • 同時アクセス(さくらのVPS(v3) 4Gで20名程度)

×