3/7 教育情報システム学会四国大会での発表

1. Media Interaction Laboratory, Osaka Institute of Technology
授業振り返りのための授業中の
児童生徒に対する教員の
行動解析に関する検討
河内 治遼♰1 大井 翔♰1 佐野 睦夫♰1
後藤 壮史♰2
大阪工業大学♰1 奈良県王寺町立王寺小学校♰2 1
2022/3/7
教育システム情報学会
オンライン開催

2. Media Interaction Laboratory, Osaka Institute of Technology
研究背景
新任教員は授業中に
おける児童生徒の状態に
応じた対応をすることが
困難[1]
この問題を解決するスキル
向上の方法がいくつか
提案されている
2
解決するには…
2022/3/7
[1]高谷将宏，学習者と教師の視点を基にした授業構想力育成の指導に関する事例的研究，Vol.43，No.3，
pp.266-279，2019
課題 解決

3. Media Interaction Laboratory, Osaka Institute of Technology
児童生徒状態に対応するスキル向上方法一覧
方法１:実践回数 方法２:他人の授業観察
3
方法３:第三者による評価 方法４:カメラで振り返り
時間がかかる 時間と人を
用意できない
カメラを見返す
のに時間がかかる
2022/3/7
時間と人を
用意できない

4. Media Interaction Laboratory, Osaka Institute of Technology
目的
•本研究ではカメラ撮影による教員の
児童生徒に対する行動に着眼点を置く
•カメラ撮影による問題点である振り返る時間を
短くすることを目的とする
4
時間が...
振り返り機能
2022/3/7

5. Media Interaction Laboratory, Osaka Institute of Technology
カメラを用いた振り返りの関連研究
教員視線による振り返り
授業観察時における分析[2]
• 教員の視線が着眼点
授業中の発話による振り返り
言葉による分析[3]
• 教員の発話が着眼点
5
2022/3/7
[2]大井翔，後藤壮史：初心者教員と現職教員間の授業観察時の定量的分析に関する研究，信学技報，Vol.120，No.289，pp.43-46，2020
[3]Wang yuchen，大井翔，松村耕平，野間春夫：初心者教師行動を改善するための教師の行動とスピーチに基づく反射システム，日本教育メディア学会，pp.248-254，
2021

6. Media Interaction Laboratory, Osaka Institute of Technology
提案システム
6
振り返りポイントを抽出
実際の授業動画
2022/3/7
カメラ
A.インタラクション情報
評価の基準を作成
B.教員の行動認識
振り返るポイントを検出
システム

7. Media Interaction Laboratory, Osaka Institute of Technology
A. インタラクション情報の解析
7
•17本の授業映像(小学校)をチェック
•以下の行動を抽出
•授業に集中していない児童生徒の行動(9種類)
•対象の児童生徒に対する教員の行動(4種類)
•教員免許所持23名(経験者11名，未経験者12名)
•各9種類の児童生徒の行動に対して4択で回答
•その理由を自由記述
2022/3/7
著者 質問紙を作成
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム
※倫理委員会の審査(2021-23)に基づき実施

8. Media Interaction Laboratory, Osaka Institute of Technology
A.ピックアップした項目
8
2022/3/7
授業に集中していない児童生徒の状態
対象の児童生徒に対する教員の行動
• 寝ている
• 立ち歩いている
• 体の姿勢が悪い
(前に倒れた体勢)
• 前を見ていない
• 立って他の児童生徒と話している
• 板書を書いていない
• 話している
• 教科書を閉じている
• 違うところを見ている
• 肩をたたく
• 指を指す
• 放置する
• 声をかける
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム

9. Media Interaction Laboratory, Osaka Institute of Technology
A.質問紙調査による結果と考察
•各児童生徒の状態に「声をかける」の回答が多数
•「その他」は選択肢以外の記述行動
•教科書から問題を出す、黙るなど
9
2022/3/7
• 児童生徒に対して声をかけながらの動作
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム

10. Media Interaction Laboratory, Osaka Institute of Technology
A.AIテキストマイニング[4]による結果と考察
• 教員経験者は妨げる，妨げなどが強調
授業に集中していない児童生徒に対して抑止的な思考
• 教員未経験者は板書などが強調
授業に集中していない児童生徒に対して抑止的ではない思考
10
経験者のワードクラウド 未経験者のワードクラウド
2022/3/7 [4]ユーザーローカル テキストマイニングツール(https://textmining.userlocal.jp/)(2021/11/17)
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム

11. Media Interaction Laboratory, Osaka Institute of Technology
B.教員の行動認識の解析
•骨格認識(Open Pose[4])を用いて授業に
集中していない児童生徒に対しての教員の
行動の検出
•特殊なカメラを使用しない
11
インタラクション情報
2022/3/7
[4] Cao Zhe，Simon Tomas，Wei Shih-En，and Sheikh Yaser：Realtime multi-person 2d pose estimation using part affinity fields，
Proceedings recognition, pp.7291-7299，2017．
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム

12. Media Interaction Laboratory, Osaka Institute of Technology
B.(ⅰ)腕角度による指さし検出実験
•授業データ(約10分)を1秒ごとに分割
• 指さし行動(正例)とそうでない行動(負例)に分割
•システム内では28フレーム中一定フレーム腕の角度が
180度付近になった時
→指さし行動として認識する
•結果と事前に用意した
• 正例データ
• 負例データ
との混同行列を作成
12
2022/3/7
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム

13. Media Interaction Laboratory, Osaka Institute of Technology
B.(ⅰ)腕角度による検出の結果と考察
•精度としては最高でも10%
•教壇に手を置く動作などで180度付近の誤認識が
多発
•指さし行動に対する他の条件が必要
13
2022/3/7
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム
フレーム数(flame) 精度(%) 正確率(%) 再現率(%) 真陰性率(%)
5 5.521 70.719 34.615 97.820
10 6.000 80.479 23.076 98.723
15 4.166 88.013 7.692 99.610
20 4.347 91.952 3.846 99.813
25 10.000 94.178 3.846 99.818

14. Media Interaction Laboratory, Osaka Institute of Technology
B.(ⅱ)SVMでの機械学習による指さし検出実験
•学習データ作成
• 指さし行動(正例)とそうでない行動(負例)の映像(1秒)を370個
• 反転動画を含めて合計740個用意
•特徴量
• 腕や肩の角度を算出
• 4つの角度×28フレームの112次元データ
•検証データ作成
• 授業データ(約10分)も同じように正例，負例に分割を行う
14
2022/3/7
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム

15. Media Interaction Laboratory, Osaka Institute of Technology
B.(ⅱ)SVMによる結果と考察
•再現率は30%という結果だった
•26個のうち8個は指さし行動として認識
•カメラの映り方や，学習データの精度
15
311
2022/3/7
振り返りポイントを抽出
実際の授業動画
A.インタラクション情報
B.教員の行動認識
システム

16. Media Interaction Laboratory, Osaka Institute of Technology
結論と今後の展望
教員の授業振り返りシステムにおいての
行動の自動検出部分を開発
①質問紙調査によるインタラクション情報の解析
②28個のうち8個の指さし行動を検出
16
2022/3/7
• 実際にチェックポイントを抽出
• インタラクション情報の増加
• 音声認識に対応
結論
今後の展望

17. Media Interaction Laboratory, Osaka Institute of Technology
まとめ
17
背景
提案
展望
実験
• 教員は業務内容が多く多忙なため授業力のスキルアップが困難
• 振り返る着眼点が多く，本研究では児童生徒に対する対応を
メインとして行う
• 着眼点を定量化するためインタラクション情報を解析
• インタラクション情報に関連する部分をOpen Poseを用いて
自動検出
• インタラクション情報関連の質問紙調査を実施
• Open PoseとSVMを用いた機械学習による行動の検出
• インタラクション情報の増加
• Open Poseに行動検出の精度強化
2022/3/7