Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ジグソー・テキストによる文並べ替え操作の測定

149 views

Published on

情報処理学会 コンピュータと教育研究会(CE) 142回研究発表会
2017年12月10日(日)、 松山大学 樋又(ひまた)キャンパス
http://ce.eplang.jp/index.php?142%B2%F3%B8%A6%B5%E6%C8%AF%C9%BD%B2%F1

v1.1: 発表時スライドv1に、 口頭で説明した内容などを 補ったものです。

2018-01-14
スライド#54の「ジグソー年表」を「ジグソーできごと」として実装しました。
ジグソーできごと
https://cc-study.appspot.com/open-jigsaw-event/
ジグソーできごと分析
https://cc-study.appspot.com/open-jigsaw-analytics/

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

ジグソー・テキストによる文並べ替え操作の測定

  1. 1. ジグソー・テキストによる ⽂並べ替え操作の測定 Reading And Writing Activity Measurement And Analysis By Jigsaw Text ◎⼭⼝琢(フリー), ⼤場みち⼦(公⽴はこだて未来⼤学), ⾼橋慈⼦(ハーティネス), ⼩林⿓⽣(スコレックス) v1 2017-12-10 v1.1 2017-12-28 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 1
  2. 2. このv1.1は、発表時スライドv1に、 ⼝頭で説明した内容などを 補ったものです。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 2
  3. 3. Agenda • ジグソー・テキスト(Jigsaw Text)アプリ、 測定データ、分析結果の紹介 「ジグソー・テキストの操作ログは、 ⼈の考え⽅を捉えているか?」 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 3
  4. 4. • 背景: 主なフィールド – Learning Analytics学習分析 – 考え⽅の学習・指導 – 読み・書き、プログラミング、歴史、地理、 … 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 4
  5. 5. 今回の研究会で すでに何度も語られてるので、 背景については割愛します。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 5
  6. 6. 考え⽅を反映した⾏動パターン 山口琢 6 ○→△→□… ●→▲→■… ◇→▼→◎… 観察できない頭の中 観察できる操作パターン アプリ + 課題・問題 の⼯夫 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学
  7. 7. • ヒッグス機構(ヒッグス粒⼦)だって、 重⼒理論(重⼒波)だって、 観測されてこそ、ですよね • ICTツールならきめ細かく⼯夫できるはず 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 7
  8. 8. アプリ 記録[データ]分析[理論] 指導・学習[応⽤] 研究の構成 互いに密接に関係する、個別の研究 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 8 フィードバック
  9. 9. 教材アプリ 記録[データ]分析[理論] 指導・学習[応⽤] 各研究のテーマ • ⽐較・特徴・向き/不向き • パターンの顕在化 • 授業に馴染むか? • 相互運⽤性 • 国際化 • 指導法などからの中⽴性 • 指導・学習の効果・検証 … • 点過程の分析 • 読み書きパターンの可視化⼿法 • 計算時間・コスト • リアルタイム、ストリーミング • 予測・機械学習 • さまざまな相関・因果関係 科学: そもそも… • 考え⽅とは? • 知的なスキル・能⼒とは? 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 9
  10. 10. 教材アプリ 記録[データ]分析[理論] 指導・学習[応⽤] 個別の研究: 組み合わせて相互活⽤ アプリ、分析 ⼿法などを組 み合わせて 相互に活⽤ 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 10 • トピック・ライター • ジグソー・テキスト • AnswerBoxCreator [*1] • BookLooper [*2] • デジタルペーパー [*3] • ロンリー [*4] • マトリックス型 テキスト編集モデル • InputLog • keystroke • pen stroke • ロジック・ツリー • ○○法 • △△法 • 操作の時間的・⼿順的な共起 • EOI: Editing Operation Indicator …
  11. 11. …そして、メタ研究 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 11 様々な結果を横断的に分析 • トピック・ライター • ジグソー・テキスト • AnswerBoxCreator • BookLooper • デジタルペーパー • ロンリー • ロジック・ツリー • ○○法 • △△法 教材アプリ 記録[データ]分析[理論] 指導・学習[応⽤]
  12. 12. ジグソー・テキスト 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 12 教材アプリ 記録[データ]分析[理論] 指導・学習[応⽤]
  13. 13. ジグソー・テキスト • ランダムに並んだ⽂を、 プレイヤーが適切と考える順序に、 並べ替える • ⽂章のジグソー・パズル 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 13
  14. 14. https://cc-study.appspot.com/jigsaw_text/ 短縮URL https://goo.gl/QFQ336 山口琢 142017-12-10 IPSJ SIGCE 142回研究会 @松山大学
  15. 15. 演習での⼿順 1. ブラウザを起動し、ジグソーテキストにアクセスします。 2. 「オレオレ詐欺」を選択します。 ← ここで⽂がランダムに並べ替えられ、そのたびに違う順序で表⽰される。 3. ⽂章をドラッグ&ドロップして順番を並べ替えます。 4. 並べ替えが終わったら、「完成!」をクリックします。 document idと、完成した⽂章が⽂id付きで表⽰されます。 5. 表⽰されたテキストを提出します。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 15
  16. 16. ジグソー・テキストの測定 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 16 教材アプリ 記録[データ]分析[理論] 指導・学習[応⽤]
  17. 17. ジグソー・テキストの測定 • いつ(⽇時) • なにを(対象、⽂章の単位)、 – どの⽂を + どんな状況で(コンテキスト) – ドラッグやドロップしたとき、その⽂の前の⽂ – ドラッグやドロップしたとき、その⽂の後の⽂ – ⽂全体の並び順 • どうしたか – パズル開始、⽂をドラッグ、⽂をドロップ、完成 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 17
  18. 18. 学習分析は細粒度化が進んでいる。s1 読解では、電⼦書籍のページめくりを記録して学習者の参画度合いを知…s2 記録・分析した作⽂⾏動には誤字脱字や表現の修正も含まれている。s4 別の作⽂アプリケーションによって⽂章の論理構成のみを問うような課題を…s5 そこで、⽂の並べ替え作⽂を課題とし編集操作を記録するジグソー・…s6 われわれは、これまでに、作⽂について、作⽂⾏動を記録・分析した…s3 s1…s7は⽂(=パズルのピース)のID 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 18
  19. 19. 学習分析は細粒度化が進んでいる。s1 読解では、電⼦書籍のページめくりを記録して学習者の参画度合いを知…s2 記録・分析した作⽂⾏動には誤字脱字や表現の修正も含まれている。s4 別の作⽂アプリケーションによって⽂章の論理構成のみを問うような課題を…s5 そこで、⽂の並べ替え作⽂を課題とし編集操作を記録するジグソー・…s6 われわれは、これまでに、作⽂について、作⽂⾏動を記録・分析した…s3 ドラッグ開始: 前(上) s1、対象 s3、後(下) s4 ドロップ: 前(上) s6、対象 s3、後(下) s5 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 19
  20. 20. ジグソー・テキストの分析 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 20 教材アプリ 記録[データ]分析[理論] 指導・学習[応⽤]
  21. 21. 違う受講⽣に対する2つの演習(A演習とB演 習)を対⽐して、結果を⽰して考察します。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 21
  22. 22. パズルの⽂章「オレオレ詐欺」 s1 相変わらず、オレオレ詐欺の被害が減らない。 s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。 s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、 ⾦銭を要求する。 s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして 現⾦⾃動預払機を操作させ、⾦銭をだまし取る。 s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗 証番号を聞き出した上で、銀⾏カードもだまし取る。 s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、 銀⾏⼝座やクレジットカードに係わる電話があった場合は、 まず、詐欺を疑い、家族や親しい⼈に相談することだ。 s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多く いることにあるのかもしれない。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 22
  23. 23. 最初に動かした⽂ s1「相変わらず、…減らない。」が多 い s2「…2つの種類がある。」が多い A演習 B演習 % 件数 対象の⽂ 件数 % ########## 50% 4 s1 9 22% #### ##### 25% 2 s2 15 37% ####### ## 12% 1 s3 2 5% # ## 12% 1 s4 3 7% # 0% 0 s5 5 12% ## 0% 0 s6 2 5% # 0% 0 s7 4 10% ## 8件 40件 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 23
  24. 24. 以下、件数の少なさに留意しつつ… 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 24
  25. 25. • 最初に動かした⽂が違う s1 相変わらず、オレオレ詐欺の被害が減らない。 ↕ s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。 • トピック・センテンス的な⽂か、 構造を⽰す⽂か、という違いではないか。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 25
  26. 26. A演習 B演習 件数 並び順 件数 ##### 25% 2 s1→s2→s3→s4→s5→s6→s7 30 57% ############################## ####### 37% 3 s1→s2→s3→s4→s5→s7→s6 4 7% #### s2→s3→s4→s5→s6→s7→s1 1 1% # s1→s2→s4→s3→s5→s6→s7 1 1% # s1→s2→s4→s5→s3→s6→s7 5 9% ##### s1→s7→s2→s3→s6→s4→s5 1 1% # s2→s4→s5→s3→s1→s7→s6 2 3% ## s1→s2→s3→s4→s6→s7→s5 1 1% # s1→s2→s3→s7→s4→s5→s6 1 1% # s1→s2→s4→s5→s3→s6→s7 1 1% # ##### 25% 2 s1→s2→s3→s6→s4→s5→s7 1 1% # s2→s3→s6→s7→s4→s5→s1 2 3% ## s1→s2→s3→s5→s4→s6→s7 1 1% # s2→s3→s4→s5→s1→s6→s7 1 1% # ## 12% 1 s2→s4→s3→s1→s5→s6→s7 0 0% 完成順序 サンプル数が少なすぎるのか… オリジナルと同じが半数以上 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 26
  27. 27. 完成順序については、 「書き⼿の意図」で戻ってきます。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 27
  28. 28. 操作順序(ドラッグ対象)の共起マトリックス 合計: 286, セルの数: 49, 平均: 5.8, 分散: 7.4, 標準偏差: 2.7, 平均 + 標準偏差 = 8.5 <、ただし対⾓ 線を除く。 B演習 • s2の後でs3、s4を動かす。 • s6の後でs1を動かす。 合計: 50, セルの数: 49, 平均: 1, 分散: 0.9, 標準偏差: 0.9, 平均 + 標準偏差 = 1.9 <、ただし対⾓ 線を除く。 A演習 サンプル数が少なくて特徴が出てないのかも 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 28
  29. 29. このマトリックスの⾒⽅を以下に説明しま す。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 29
  30. 30. ドラッグ対象の時系列 • 「s2を動かして、次ぎにs3を動かした」 回数が、全員の合計で16回あった。 …などと読む。 • 操作対象の 時間的共起を 表現 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 30
  31. 31. • s2、s3、s4、s5を互いに続けて動かすこ とが多いのでは? これを「操作が時間的に共起している」 と表現しています。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 31
  32. 32. • 操作の時間的な共起には理由があって、 例えば、⽂章の構造を反映してる、 と考えています。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 32
  33. 33. s1 相変わらず、オレオレ詐欺の被害が減らない。 s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。 s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、⾦銭 を要求する。 s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして現⾦ ⾃動預払機を操作させ、⾦銭をだまし取る。 s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗証番 号を聞き出した上で、銀⾏カードもだまし取る。 s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、銀 ⾏⼝座やクレジットカードに係わる電話があった場合は、まず、 詐欺を疑い、家族や親しい⼈に相談することだ。 s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多くいる ことにあるのかもしれない。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 33
  34. 34. 再掲: ドラッグ対象の共起マトリックス 合計: 286, セルの数: 49, 平均: 5.8, 分散: 7.4, 標準偏差: 2.7, 平均 + 標準偏差 = 8.5 <、ただし対⾓ 線を除く。 B演習 • s2の後でs3、s4を動かす。 • s6の後でs1を動かす。 合計: 50, セルの数: 49, 平均: 1, 分散: 0.9, 標準偏差: 0.9, 平均 + 標準偏差 = 1.9 <、ただし対⾓ 線を除く。 A演習 サンプル数が少なくて特徴が出てないのかも 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 34
  35. 35. ドラッグ対象の時系列分析より 1. 「2つの種類がある」、「ひとつは」、「ひとつは」と いうキー・フレーズに着⽬して(読解) 2. ⽂章に構造があると考えて(読解) 3. その構造を反映した順序に並べ替えようとしてる(作⽂) …のではないか 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 35
  36. 36. ドロップ先の分析 - B演習 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 36
  37. 37. 「s1をs2の前にドロップした回数が、トータルで34回」 などと読む。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 37
  38. 38. 「s4をs5の前に」と「s5をs4の後に」の回数が多い。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 38 セルの値のヒストグラム
  39. 39. • B演習の完成順序は、 s1→s2→s3→ s4→s5→s6→s7 が多い ↕ 符合している • B演習のドロップ先のマトリクスは、 「対⾓線+右隣」の左右両隣が多い 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 39
  40. 40. 再掲: パズルの⽂章「オレオレ詐欺」 s1 相変わらず、オレオレ詐欺の被害が減らない。 s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。 s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、 ⾦銭を要求する。 s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして 現⾦⾃動預払機を操作させ、⾦銭をだまし取る。 s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗 証番号を聞き出した上で、銀⾏カードもだまし取る。 s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、 銀⾏⼝座やクレジットカードに係わる電話があった場合は、 まず、詐欺を疑い、家族や親しい⼈に相談することだ。 s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多く いることにあるのかもしれない。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 40
  41. 41. 書き⼿の意図 • 作った側の意図としては、 – 書き出しのs1、s2は、分かって欲しい – s3とs4は、交換可能(s3を先に持ってくるためには、オレオレ詐欺に ついての社会的背景知識が必要) – 構造的には、s5は、s3の後でもs4の後でも可能(銀⾏⼝座関連の語彙 グループに気付くと、s4の下が⾃然) – s6とs7も、⽂意が読み取れれば⾃然に繋がる • というわけで、解答データの変異は、s3、s4、s5の辺りに集中して いる、というのがぼくの作業仮説。 • 逆に⾔うと、他の部分の変異は、(論理的)読解⼒との正の相関が ある、という仮説も成り⽴ちそう。 山口琢 412017-12-10 IPSJ SIGCE 142回研究会 @松山大学
  42. 42. この派⽣形として、⼝座が不正に操作され たとだまして、暗証番号を聞き出した上で、 銀⾏カードもだまし取る。 相変わらず、オレオレ詐欺の被害が減らない。 ひとつは、官公庁や銀⾏を騙って、還付⾦ があるとだまして現⾦⾃動預払機を操作さ せ、⾦銭をだまし取る。 ひとつは、まさにオレオレ 詐欺で、孫や甥などをか たって、⾦銭を要求する。 オレオレ詐欺には、⼤きく分けて2つの種類がある。 このような被害を防ぐ最良の⽅法は、電話 での⾦銭の要求や、銀⾏⼝座やクレジット カードに係わる電話があった場合は、まず、 詐欺を疑い、家族や親しい⼈に相談するこ とだ。 しかし、問題は、⾝近に相談できる⼈がい ない⾼齢者が多くいることにあるのかもし れない。 テーマの設定 分類 例⽰ 例⽰ 例⽰_sub 解決⽅法 課題の展開 s1 s2 s3 s4 s5 s6 s7 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 42
  43. 43. A演習 B演習 件数 並び順 件数 ##### 25% 2 s1→s2→s3→s4→s5→s6→s7 30 57% ############################## ####### 37% 3 s1→s2→s3→s4→s5→s7→s6 4 7% #### s2→s3→s4→s5→s6→s7→s1 1 1% # s1→s2→s4→s3→s5→s6→s7 1 1% # s1→s2→s4→s5→s3→s6→s7 5 9% ##### s1→s7→s2→s3→s6→s4→s5 1 1% # s2→s4→s5→s3→s1→s7→s6 2 3% ## s1→s2→s3→s4→s6→s7→s5 1 1% # s1→s2→s3→s7→s4→s5→s6 1 1% # s1→s2→s4→s5→s3→s6→s7 1 1% # ##### 25% 2 s1→s2→s3→s6→s4→s5→s7 1 1% # s2→s3→s6→s7→s4→s5→s1 2 3% ## s1→s2→s3→s5→s4→s6→s7 1 1% # s2→s3→s4→s5→s1→s6→s7 1 1% # ## 12% 1 s2→s4→s3→s1→s5→s6→s7 0 0% 再掲: 完成順序 サンプル数が少なすぎるのか… オリジナルと同じが半数以上 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 43
  44. 44. • 書き⼿の意図 「というわけで、解答データの変異は、s3、s4、s5の辺 りに集中している、というのがぼくの作業仮説。」 ↑ • B演習では当たっていると⾔えそう。でも、変異の⽐率 については、考えさせられることもある。 • これら 並べ替え操作 + 操作可視化・分析結果 を、⽂章に対するレビュー結果と⾒ることもできそう。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 44
  45. 45. リアルタイム分析 • リアルタイムに傾向が分かる/予測できれ ば: – 好ましくない傾向が⾒えたら、早⽬に介⼊ – 簡単過ぎた/難しすぎたなど • B演習は: – 各⾃は2〜3分ほどで解いているが、 – 全体では20分程度の時間をかけている… 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 45
  46. 46. B演習、操作順序マトリックスの時間変化 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 46 開始直後 開始3分 6分 9分 12分 18分15分 21分
  47. 47. • …よく分からない。 何か良い傾向を⽰しているのか? 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 47
  48. 48. 結論 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 48
  49. 49. • 結果に⾄る過程に違いがあり、 かつパターンがある。 • 少なくとも「サイコロを振ってる」 のではなさそうだ。 ↓ 考え⽅を反映してると ⾔ってよいのではないか 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 49
  50. 50. 外から測定できる「考え⽅」とは 今回、外から測定できた「考え⽅」: • ある⽂を最初に動かす • キー・フレーズから⽂章の構造を知る – 「2つある」「ひとつは…」「ひとつは…」 • 複数の⽂をセットで扱う 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 50
  51. 51. • これらの結果は、それだけで良いとか悪 いとかいうものではないだろう。 • 演習では、パズルの後でグループになっ て、⾃分の完成形を⾒せあって、なぜそ うだと思うのか説明したり、議論したり している。この、事後のディスカッショ ンに効果があるのではないかと、先⽣は ⾔っている。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 51
  52. 52. 発展・応用 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 52
  53. 53. ジグソー年表 できごとのカテゴリーを知って・意識して並べ替えている かが、分析で分かるのではないか。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 53
  54. 54. ジグソー年表 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 54 朝ドラ「あさが来た」のモデル 朝ドラ「わろてんか」のモデル
  55. 55. ジグソー地理 • 地理のメンタルモデル • 緯度経度によらない地理 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 55
  56. 56. ジグソー・プログラム • 変数の値の⼊れ替えなど、順序が問題と なる処理。 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 56
  57. 57. 以上 2017-12-10 IPSJ SIGCE 142回研究会 @松山大学 山口琢 57

×