SlideShare a Scribd company logo
1 of 13
津田塾大学大学院「コミュニケーション研究 VI」
(平成 26 年度)
担当:山森光陽 (国立教育政策研究所総括研究官 )
1 この講義の目標
評価結果の戻し方(フィードバック)によって学習成果に違いが生じることを,外国語
学習の文脈における複数の最新の研究を検討したうえで,形成的評価研究,フィードバッ
ク研究,「学習のための評価」研究の流れを概観する。さらに,最近とみに指摘されるよ
うになった帰無仮説有意差検定に替わる統計的分析手法の意義を議論したうえで,最近研
究数が増えつつあるメタアナリシスによる形成的評価等の効果に関する知見をまとめる。
これらのことを通じて,学習者の能力の伸長に寄与する学習評価を実施するための枠組み
を身につけ,具体的な方法を証拠にもとづいて構築できるようになる。
2 この講義の内容
2.1 外国語学習と形成的評価
外国語学習においても形成的評価が重要視されるようになった現状を (Black, 2009) を
購読することで理解し,外国語学習研究において特に研究の多い修正フィードバックに
ついてレビューしメタアナリシスを行った研究 2 本 (Li, 2010; Lyster, Saito, & Sato,
2013) を検討する。さらに,フィードバックの遅延の効果についての最新の知見 (Nakata,
in press) を講読し,外国語学習における形成的評価研究についての概略と形成的評価の
効果についての全体像を把握する。
2.2 形成的評価,フィードバック,「学習のための評価」
2.2.1 形成的評価
形成的評価の概念は Cronbach (1963) に端を発している。その後 (Scriven, 1967) が,
一定期間のカリキュラムの実施後における学習の結果に関する情報だけを問題とする評価
だけではなく,カリキュラムの開発途中に小刻みに学習過程に関する情報を取得しカリ
キュラムや教材の改善に用いる評価の必要を主張し,前者を総括的評価,後者を形成的評
価と呼んだ (学習過程の情報の取得・教育課程や教材の改善)。その後,指導の途中で評価
1
を行いその結果に基づいて処遇を選択しすべての学習者に一定以上の学習成果を保障する
完全習得学習の理論において,指導の途中で行う評価を形成的評価と位置づけた (学習過
程の情報の取得・処遇の選択および指導方法の改善)。さらに,新たな指導 (単元) の導入
の際に学習者の状況を把握するための評価を診断的評価,一定期間の指導の終了後の学習
成果をまとめて示す評価を総括的評価と位置づけた (教育課程から単元へ)。
その後形成的評価概念はさらに拡張され,(Sadler, 1983, 1989) によって,結果を学習
者が自身の能力向上のために利用するための評価と位置づけ (教師から学習者へ),最近で
は学習者の動機づけを高めるためにも結果が利用される評価と位置づけられるようになっ
た (Black & Wiliam, 1998a,b; Brookhart, 1997a,b)(学習成果 (cognitive) から動機づ
け (non-cognitive) へ)。これらの原典とこの流れを概説した (Brookhart, 2007) にも
とづいて,形成的評価の基本的な概念とその拡張について,学習理論の変遷と関連づけて
講じる。
2.2.2 フィードバック
戻された評価結果を学習者が自身の能力向上にために使うという形成的評価概念の
拡張の契機となった (Black & Wiliam, 1998a) では,効果的な形成的評価を実現す
るにはフィードバックの質が重要であることを指摘している。フィードバックとは,
Ramaprasad (1983) が到達状況と到達目標の差を明らかにするとともに,その差を埋め
るために用いられる情報を与えることと定義した。さらに Sadler (1989) は,単に正誤や
到達状況を示すのではなく,到達状況と到達目標との差を示すことで,到達目標に向かう
ための学習活動における行き当たりばったりな行動や不必要な試行錯誤を回避させること
ができると指摘した。
フィードバックの種類について実証的に検討した (Kulhavy & Stock, 1989) は,効果
的なフィードバックには正誤と正答に至る手がかりの 2 つの情報が含まれていることを
示した。また形成的評価やフィードバック研究のレビューとメタ分析を行った Hattie &
Timperley (2007) は,フィードバックの種類や方法ごとの効果を検討したうえで,到達目
標と到達状況との間の差を縮小するために学習者が努力の増大やより効果的な方略の利用
ができるように,また教師が達成目標に到達するための次の段階をを提示することや学習
者が効果的な方略が使えるような支援をすることができるようにすることがフィードバッ
クの目的であると指摘した。そして到達目標,到達方法,次に到達すべき段階をフィード
バックすることが効果的であるとした。
2
2.2.3 「学習のための評価」
形成的評価の概念が,評価結果を教師が指導内容や方法の修正や改善のために用いるこ
とと,学習者が自身の能力向上にために使うという拡張がなされたことにともない,特に
後者が重要視されるようになった。このような学習者が自身の能力向上にために使う評価
のことを「学習のための評価」(Assessment for Learning: AfL) という。形成的評価や
フィードバックから「学習のための評価」に至る系譜とそれらが学力に与える影響につい
ては Wiliam (2011) が詳しい。英国 ARG は特にどのように学習者が学ぶかに焦点化し,
授業実践の中核と位置づけ,学習者の能力向上のための認知的支援となるべきようにすべ
きと指摘したうえで,「学習のための評価」を以下のように定義した。
学習のための評価とは証拠の探索と解釈の過程のことを指し,これらは学習者及び
教師が学習状況,到達すべき目標,その到達のための最適な方法を特定するために
用いられる (Assessment Reform Group, 2002)。
また,形成的評価と「学習のための評価」の違いは Table 1 のようにまとめることができ
る (Swaffield, 2011)。
Table 1 「学習のための評価」と形成的評価の違い (Swaffield (2011) より作表)
特徴 「学習のための評価」 形成的評価
論点 教授学習過程  評価の目的・機能
期間 直後あるいは近接した未来  長期的
文脈 特定の教室内  教室の内外
機能 学習者が主体性と自律性を高める  学習者が教師の決めた指導を受ける
位置づけ 学習過程に内在  後続の学習に対する情報
関心 学習方法と学習内容  教育課程の目標に限定
「学習のための評価」が学習者の能力向上のための認知的支援であるという考え方を敷
衍すると,学習者に自己調整学習方略の利用を促す評価であるとも位置づけられる。自己
調整学習という視点を導入すると,「学習のための評価」に対する学習者の寄与の度合い
3
が問題となる。Clark (2012) は「学習のための評価」の要素として,①到達目標と到達度
の基準を教師と学習者が理解し合うこと,②到達目標達成に向けた方法を教師と学習者が
話し合うこと,③学習計画の立案に学習者が参加すること,④学習者が必要なときに誰か
ら援助が得られるかを知らせること,の 4 つを挙げ,これらが学習者の意欲,努力,こだ
わりといった情意面に働きかけるとしている。さらに学習者自身による自己評価を「学習
のための評価」(Assessment as Learning: AaL) と呼び,⑤メタ認知能力の高まりと知識
の形成の機会を与えること,⑥他者との順位などを比較をしない自尊感情が保たれる環境
をつくること,⑦学習者自身が学習に責任を持つようにすること,⑧学習者と教師が平等
で双方向的に学習に参加できるようにすることの 4 要素を挙げた。これら 4 つは計画,モ
ニタリング,内省といったメタ認知的活動に働きかけるとしている。そして自己制御学習
は情意面(あるいは自己効力感)とメタ認知的活動の両者からなり,さらにそれは形成的
評価の理論に内包されるとした。
2.3 形成的評価及びフィードバックの効果
2.3.1 形成的評価の効果
形成的評価が重視されるようになってきた背景には,形成的評価やフィードバックが学
習成果に及ぼす効果が比較的高いことが,メタ分析によって明らかにされてきたことが挙
げられる。代表的な研究例としては,以下のようなものがある。
Fuchs & Fuchs (1986) による,就学前∼12 年生の LD 児を対象とした研究 21 例に含
まれる効果の指標 96 件をメタ分析した結果では,統合後効果量は .70 程度であることが
示された。Kluger & DeNisi (1996) による 607 の指標をメタ分析した結果では,統合後
効果量は .41 であったが,メタ分析の対象となった指標のうち 1/3 以上は負の効果を示
していた。また,包括的なレビューを行った Black & Wiliam (1998a) は,形成的評価の
効果は .40 から .70 程度であると指摘するとともに,効果的な形成的評価を実現するには
フィードバックの質が重要であることを主張した。
最近の実験的研究としては自己効力感に対する影響を検討した Chan & Lam (2010)
や,RCT(ランダム化比較実験) による検討を行った Phelan, Choi, Vendlinski, Baker, &
Herman (2011) などがある。
2.3.2 フィードバックの効果
具体的なフィードバックの内容について検討した研究には以下のようなものがある。
Butler (1988) では,小学校 5, 6 年生を対象に実験授業を行い,成果物に対して判定基
4
準に則ったコメントをフィードバックされる群,相対的な評語がフィードバックされる
群,両方がフィードバックされる群で内発的動機づけの変化を比較した結果,コメントを
フィードバックされる群で向上が見られ,評語がフィードバックされる群で下降が見られ
た。Schunk (1996) は小学校 4 年生に実験を行い,学習目標 (問題解決方法の習得) 強調
or 遂行目標 (問題解決の結果のみ) 強調,問題解決能力の自己評価の有無の 2 × 2 デザイ
ンで動機づけと自己効力感の肯定を比較した結果,遂行目標強調・自己評価なし群の動機
づけと自己効力感が低かった。その結果,教師による目標の強調と学習者自身の目標に対
する達成状況の認知の両者が必要であることが示唆された。
日本では,答案返却の方法 (橋本, 1956),集団基準準拠と目標基準準拠 (鹿毛, 1993),
判定基準 (ルーブリック)(鈴木, 2011a,b) などの研究例がある。
フィードバックの形態等についてのメタ分析の例としては,Bangert-Drowns, Kulik,
Kulik, & Morgen (1991) が挙げられる。小学生∼大学生を対象とした研究 40 例に含ま
れる 58 件の指標をフィードバックの形態等で分類してメタ分析を行った結果では,正誤
の提示 (−.08) や正答の提示 (.22) よりも,説明を与えること (.53) の方が効果が高いこと
や,遅延フィードバックも効果が比較的高い (.56) ことなどが示された。また Hattie &
Timperley (2007) による 7000 件以上のフィードバックに関連する研究のメタ分析の結
果では,手がかりを与えること (d = 1.10),到達目標を示したフィードバック (d=.46),
正誤や正答を示す修正フィードバック (d = .37),褒めること (d=.14) などが示された。
この結果から,先に言及したような到達目標,到達方法,次に到達すべき段階をフィード
バックすることが効果的であることを示すとともに,フィードバックのレベルを課題レ
ベル (正誤),過程レベル (解決方法),自己制御レベル (モニタリングや振り返り),自己
レベル (努力など) の 4 つに分類し,自己レベルよりも課題レベル,そして過程レベルの
フィードバックが重要であることを示した (Figure 1)。
学習活動最中でのフィードバックに関しては,学習活動において取り組んでいる課題の
難易度や,課題解決を通じて育成が目指されている能力の違いによって,効果的なタイミ
ングが異なると考えられている。学習課題の難易度とフィードバックのタイミングとの
関連を検討した研究によれば,難しい課題に取り組んでいる際には評価結果を即時に戻
すよりも,遅らせた方が学習成果が高くなることが示されている (Clariana, Wagner, &
Roher Murphy, 2000)。また学習内容との関連においては,知識習得を目標とした学習活
動では即時にフィードバックを与えた方が学習成果が高く,概念形成を目標とした場合に
は遅らせた方が学習成果が高いことが示されている (Schroth, 1992)。
難しい課題や概念形成を目標とした学習活動に取り組んでいる際にフィードバックを遅
らせた方がよい理由は,課題解決後にしばらく振り返りの時間を持たせた方が,学習者が
5
達成目標に到達したか
正答か誤答か どうすれば回答を修正できるのか。
もっとよい成果物になるのか
その回答の何
がよいのか
どこでつまず
いているのか
どういった回
答が正答か
達成目標に到達するに
は他にどんな情報(記
述等)が必要か
どういった方略が
用いられたのか
何を間違っているの
か。その理由は何か
修正された回答はどの
ように説明されるのか
課題に対して他
にどのような質
問ができるか
課題について
関連する他の
事項は何か
他にどのような
情報を資料とし
て示せばよいか
課題に関連してどの
ような概念や知識を
持っているのか
課題解決の結果をどのよう
にモニター(自己評価・メ
タ認知)しているのか
示された情報
をどのように
評価するか
自分の学習を
どのように振
り返るか
課
題
レ
ベ
ル
過
程
レ
ベ
ル
自
己
調
整
レ
ベ
ル
誤答
正答
Figure 1 フィードバックのレベル
課題に関連した認知的,メタ認知的な処理を行うことができ,概念形成にも寄与するため
と考えられている。また,学習者自身が自由に考える時間を持たせることが自律性の欲求
を満たすことにつながり,ひいては動機づけを高めることにも寄与しうるとも考えられて
いる。
しかし,動機づけの低い学習者にとっては,課題解決が終わった時点からフィードバッ
クが与えられる間に自身で振り返ったりすることができる時間を与えられても,あまり振
り返りを十分には行わないため,フィードバックを遅らせることは動機づけの低い学習者
にとっては逆効果になり得るといった指摘もみられる (Shute, 2008)。このような指摘を
踏まえると,ある特定のフィードバックが全ての学習者に等しく効果的であるとはいえ
ず,フィードバックについても適性処遇交互作用がみられると考えられる。
2.3.3 形成的評価と過去の学力
課題解決の手がかりや到達目標や到達状況を示すことは,過去の学力が低い学習者に対
して有効であることが示されている。White & Frederiksen (1998) は7年生の理科の授
業において,単元末に判定基準に基づいて生徒が教師と学習成果について討議を行う群
と,単元内容のおもしろさについて討議した群とをもうけ,7 単元実施後の事後テストの
結果を事前テストの得点による上位群と下位群とで比較する実験をお此方。その結果,図
2 のとおり,単元末に判定基準に基づいて生徒が教師と学習成果について討議を行う群の
ほうが,事後テストにおいて上位群,下位群とも同程度の高い得点だったことが示され
た。また,橋本 (1956) も,答案返却の際に講評をつけることが低学力の学習者に対して
有効であることが示されている。
6
Figure 2 評価規準・判定基準の共有と学習成果 (White & Frederiksen, 1998)
2.4 学習評価の妥当性
妥当性とは「評価結果の解釈と利用の適切さの程度」のことである。従来,妥当性の議
論は評価情報のひとつとして位置づけられる測定値についてのみ対象としてきた。しかし
近年の「学習のための評価」論の高まりは,測定値の利用のされ方も視野に入れた妥当性
の議論を促し,学習評価そのものに対する妥当性概念も検討されつつある。このような議
論を踏まえ,Table 2 に示したような形成的評価および総括的評価といった,評価結果の
使われ方の違いを踏まえ,評価に用いる情報と評価結果の使われ方のそれぞれに対する妥
当性の種類を示すと,表 3 の通りとなる。
評価結果の使われ方が総括的,形成的のいずれであっても,評価に用いる情報は,評価
対象である能力等の構成概念を正しく反映していることが必要である。このように,評価
対象である構成概念が正確に捉えられている程度のことを概念的妥当性といい (Cronbach
& Meehl, 1955; Messick, 1995; 並木, 2006),学習評価における妥当性の中核をなしてい
る。総括的評価の場合には,進学時の申し送りや,入学試験における合否判定など,その
結果が学習の文脈の外で用いられることが多い。そのため,被評価者に対して別の文脈に
おける処遇を適切に決定するといったように,別文脈において適切に利用できる程度が高
いほど,妥当性の高い評価であるといえる。一方,形成的評価の場合には,その結果が学
習の文脈の中で用いられることが多く,被評価者である学習者自身が学習の進め方を,あ
るいは評価者である教師が指導を改善するために結果を用いるために実施されることを踏
まえると,達成目標と実現状況の差の把握や,後続の学習に役立つ情報が得やすいほど,
7
Table 2 形成的評価と総括的評価
形成的評価 総括的評価
学習の文
脈の…
中で実施され結果が用いられる。 外で結果が用いられる。
被評価者
(学習者)
にとって
…
参照枠に対する自身の段階を把握
し,より高い段階に到達するよう
に学習方法を改善,計画するため
に結果を用いる。
長期的な学習活動の結果として
の,参照枠に対する段階を把握す
るために結果を用いる。
評 価 者
( 教 師 )
に と っ
て…
参照枠に対して学習者がどの段階
に相当するのかを把握し,指導の
改善や学習者に対する後続の処遇
を決定するために結果を用いる。
長期的な学習活動の結果,参照枠
に対して学習者がどの段階に至っ
たのかを把握し,報告するために
結果を用いる。
評価者や
被評価者
以外の第
三者にと
って…
学習の文脈(単元,教育課程)そ
のものを評価したり,被評価者に
対する別文脈における処遇(進学
など)を決定するために結果を用
いる。
Table 3 学習評価の結果の利用のされ方と妥当性の種類(Messick (1995); Brookhart
(2003) を参考に作表)
評価結果の利
用のされ方
学習の文脈にお
ける位置づけ
評価に用いられる情
報としての妥当性
評価結果の使われ方
としての妥当性
総括的評価
評価結果は学習
の文脈の外で主
に用いられる。
評価対象である能力
等の構成概念を正し
く反映している程度
(概念的妥当性)
評価対象である能力
等の構成概念を正し
く反映している程度
(概念的妥当性)
被評価者に対する処
遇を決定するなど別
の文脈において利用
できる程度
形成的評価
評価結果は学習
の文脈の中で主
に用いられる。
評価対象である能力
等の構成概念を正し
く反映している程度
(概念的妥当性)
達成目標と実現状況
の差を知ることがで
きる程度
後続の学習に役立つ
情報が得られる程度
8
妥当性の高い評価であるといえる。
2.5 「学習のための評価」と学習者の参与
「学習のための評価」論では,評価に対する学習者の参与が重視される。学習者の参与
が認知的能力 (cognitive skills: 学力など),非認知的能力 (non=cognitive skills: 動機づ
けなど) の育成につながるという考えの背景には様々な心理学的理論が想定できるが,そ
の一側面として Hattie & Yates (2014) に紹介されている IKEA effect を検討する。
2.6 学力に対する影響を検討する統計的分析手法の動向
先に指摘したように,形成的評価が重要視されるようになった背景には,学習成果に及
ぼす効果が比較的高いことが,メタ分析によって明らかにされてきたことがある。メタ
分析では帰無仮説有意差検定 (NHST) ではなく効果量が用いられるが,メタ分析に限ら
ず NHST ではなく効果の大きさや区間推定を用いることが推奨されるようになってきた。
NHST に代わる統計的指標について Cumming (2014) を購読しながら検討したい。
9
3 講義の進め方
2 節に挙げた引用文献のうち,以下の Table 4 に示す文献について担当を一名決めてア
サインし,報告していただく。日本語のハンドアウトを人数分用意して報告すること。な
お報告およびハンドアウトの内容は skimming によるまとめではなく,上記 2 節に示した
概略を補強し,各々の報告を統合することで形成的評価やフィードバックに関する研究の
全体像に迫れるような内容にすること。
Table 4 割り当て文献と分担
文献 学習評価一般 外国語教育 理論 メタ分析 実験・調査  担当 
Li (2010) ○ ○
Lyster et al. (2013) ○ ○
Nakata (in press) ○ ○
Black & Wiliam (1998a) ○ ○
Wiliam (2011) ○ ○
Swaffield (2011) ○ ○
Chan & Lam (2010) ○ ○
Phelan et al. (2011) ○ ○
Clariana et al. (2000) ○ ○
White & Frederiksen (1998) ○ ○
Hattie & Yates (2014) ○ ○
Cumming (2014) ○ ○
4 評価
この集中講義で扱った内容を中心として,形成的評価についての簡単なレビュー小論文
のようなものを持ち帰り試験として課す予定である。詳細は追って指示する。
10
引用文献
Assessment Reform Group (2002). Assessment for learning.
Bangert-Drowns, R. L., Kulik, C. C., Kulik, J. A., & Morgen, M. (1991). The in-
structional effect of feedback in test-like events. Review of Educational Research,
61, 213–238.
Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in
Education, 5, 7–74.
Black, P., & Wiliam, D. (1998b). Inside the black box: Raising standards through
classroom assessment. Phi Delta Kappan, 80, 139–144.
Black, P. (2009). Formative assessment issues across the curriculum: The theory and
the practice. TESOL Quarterly, 43, 519–524.
Brookhart, S. M. (1997a). Effects of the classroom assessment environment on math-
ematics and science achievement. Journal of Educational Research, 90, 323–330.
Brookhart, S. M. (1997b). A theoretical framework for the role of classroom assess-
ment in motivating pupil effort and achievement. Applied Measurement in Educa-
tion, 10, 161–180.
Brookhart, S. M. (2003). Developing measurement theory for classroom assessment
purposes and uses. Educational Measurement: Issues and Practice, 22, 5–12.
Brookhart, S. M. (2007). Expanding views about formative classroom assessment: A
review of the literature. In J. H. McMillan (Ed.), Formative classroom assessment:
theory into practice. New York: Teachers College Press. pp. 43–62.
Butler, R. (1988). Enhancing and undermining intrinsic motivation: The effects of
task-involving and ego-involving evaluation on interest and performance. British
Journal of Educational Psychology, 58, 1–14.
Chan, J. C. Y., & Lam, S. (2010). Effects of different evaluative feedback on students’
self-efficacy in learning. Instructional Science, 38, 37–58.
Clariana, R. B., Wagner, D., & Roher Murphy, L. C. (2000). Applying a connectionist
description of feedback timing. Educational Technology Research and Development,
48 (3), 5–21.
Clark, I. (2012). Formative assessment: Assessment is for self-regulated learning.
Educational Psychology Review, 24, 205–249.
11
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests.
Psychological Bulletin, 52, 281–302.
Cronbach, L. J. (1963). Course improvements through evaluation. Teachers College
Record, 64, 672–672.
Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25,
7–29.
Fuchs, L. S., & Fuchs, D. (1986). Effects of systematic formative evaluation: A meta-
analysis. Exceptional Children, 53, 199–208.
橋本重治 (1956).答案返却の方法が学習成果に及ぼす影響の研究 教育心理学研究, 3,
14–24.
Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational
Research, 77, 81–112.
Hattie, J., & Yates, G. C. R. (2014). Visible learning and the science of how we learn.
London: Routledge.
鹿毛雅治 (1993).到達度評価が児童の内発的動機づけに及ぼす効果 教育心理学研究,
41,367–377.
Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on perfor-
mance: A historical review, a meta-analysis, and a preliminary feedback interven-
tion theory. Psychological Bulletin, 119, 254–284.
Kulhavy, R. W., & Stock, W. A. (1989). Feedback in written instruction: The place
of response certitude. Educational Psychology Review, 1, 279–308.
Li, S. (2010). The effectiveness of corrective feedback in sla: A meta-analysis. Lan-
guage Learning, 60, 309–365.
Lyster, R., Saito, K., & Sato, M. (2013). Oral corrective feedback in second language
classrooms. Language Teaching, 46, 1–40.
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from
persons’ responses and performances as scientific inquiry into score meaning. Amer-
ican Psychologist, 50, 741–749.
Nakata, T. (in press). Effects of feedback timing on second language vocabulary learn-
ing: Does delaying feedback increase learning? Language Teaching Research, –.
並木博 (2006).概念的妥当性の検証:心理測定学的構成概念と認知心理学的構成概念の
場合 教育心理学年報, 45,134–144.
Phelan, J., Choi, K., Vendlinski, T., Baker, E., & Herman, J. (2011). Differential im-
12
provement in student understanding of mathematical principles following formative
assessment intervention. Journal of Educational Research, 104, 330–339.
Ramaprasad, A. (1983). On the definition of feedback. Behavioural Science, 28, 4–13.
Sadler, D. R. (1983). Evaluation and the improvement of academic learning. Journal
of Higher Education, 54, 60–79.
Sadler, R. (1989). Formative assessment and the design of instructional systems. In-
structional Science, 18, 119–144.
Schroth, M. L. (1992). The effects of delay of feedback on a delayed concept formation
transfer task. Contemporary Educational Psychology, 17, 78–82.
Schunk, D. H. (1996). Goal and self-evaluative influences during children’s cognitive
skill learning. American Educational Research Journal, 33, 359–382.
Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagne, &
M. Scriven (Eds.), Perspectives of curriculum evaluation. Chicago: Rand McNally.
pp. 39–83.
Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research,
78, 153–189.
鈴木雅之 (2011a).ルーブリックの提示による評価基準・評価目的の教示が学習者に及ぼ
す影響:テスト観・動機づけ・学習方略に着目して 教育心理学研究, 59,131–143.
鈴木雅之 (2011b).ルーブリックの提示が学習者に及ぼす影響のメカニズムと具体的事例
の効果の検討 日本教育工学会論文誌, 35,279–287.
Swaffield, S. (2011). Getting to the heart of authentic assessment for learning. As-
sessment in Education: Principles, Policy & Practice, 18, 433–449.
White, B. Y., & Frederiksen, J. R. (1998). Inquiry, modeling, and metacognition:
Making science accessible to all students.. Cognition and Instruction, 16, 3–118.
Wiliam, D. (2011). What is assessment for learning? Studies in Educational Evalua-
tion, 37, 3–14.
13

More Related Content

Viewers also liked

โรคเบาหวาน
โรคเบาหวานโรคเบาหวาน
โรคเบาหวาน
weerawatkatsiri
 
Slide show
Slide showSlide show
Slide show
mbjame
 
Summer scholars presentation
Summer scholars presentationSummer scholars presentation
Summer scholars presentation
Nikki VandeVliet
 

Viewers also liked (20)

International House of Prayer- IHOPGear.org Presentation
International House of Prayer- IHOPGear.org PresentationInternational House of Prayer- IHOPGear.org Presentation
International House of Prayer- IHOPGear.org Presentation
 
Multiple streams of_income_1
Multiple streams of_income_1Multiple streams of_income_1
Multiple streams of_income_1
 
人生三願
人生三願人生三願
人生三願
 
Graphics By Jacqueline2 E
Graphics By Jacqueline2 EGraphics By Jacqueline2 E
Graphics By Jacqueline2 E
 
Chushi151022
Chushi151022Chushi151022
Chushi151022
 
Presentatie bloggen #mk12
Presentatie bloggen #mk12Presentatie bloggen #mk12
Presentatie bloggen #mk12
 
โรคเบาหวาน
โรคเบาหวานโรคเบาหวาน
โรคเบาหวาน
 
Cs160706 5
Cs160706 5Cs160706 5
Cs160706 5
 
Treat a Breach Like a Customer, Not a Compliance Issue
Treat a Breach Like a Customer, Not a Compliance IssueTreat a Breach Like a Customer, Not a Compliance Issue
Treat a Breach Like a Customer, Not a Compliance Issue
 
Slide show
Slide showSlide show
Slide show
 
150629 教育評価論 第11講
150629 教育評価論 第11講150629 教育評価論 第11講
150629 教育評価論 第11講
 
Vintage ❋ Christmas
Vintage ❋ ChristmasVintage ❋ Christmas
Vintage ❋ Christmas
 
G77 training
G77 trainingG77 training
G77 training
 
Quotes ~ Inspiration
Quotes ~ InspirationQuotes ~ Inspiration
Quotes ~ Inspiration
 
Guida Introduttiva a Linkedin
Guida Introduttiva a LinkedinGuida Introduttiva a Linkedin
Guida Introduttiva a Linkedin
 
Facebook: Who? What! When? Why! How?
Facebook: Who? What! When? Why! How?Facebook: Who? What! When? Why! How?
Facebook: Who? What! When? Why! How?
 
懐かし
懐かし懐かし
懐かし
 
Summer scholars presentation
Summer scholars presentationSummer scholars presentation
Summer scholars presentation
 
INDIAN CULTURE
INDIAN CULTURE  INDIAN CULTURE
INDIAN CULTURE
 
Eje Cafetero
Eje CafeteroEje Cafetero
Eje Cafetero
 

Similar to 140811 outline

Rm20140416 1key
Rm20140416 1keyRm20140416 1key
Rm20140416 1key
youwatari
 

Similar to 140811 outline (8)

Rm20150415 1key
Rm20150415 1keyRm20150415 1key
Rm20150415 1key
 
Rm20150708 10key
Rm20150708 10keyRm20150708 10key
Rm20150708 10key
 
運動部活動における指導方法についての一考察
運動部活動における指導方法についての一考察運動部活動における指導方法についての一考察
運動部活動における指導方法についての一考察
 
Atiati
AtiatiAtiati
Atiati
 
外国語教育研究における尺度の構成と妥当性検証
外国語教育研究における尺度の構成と妥当性検証外国語教育研究における尺度の構成と妥当性検証
外国語教育研究における尺度の構成と妥当性検証
 
LET関西支部メソドロジー研究部会2023年度第1回研究会発表スライド(亘理陽一)
LET関西支部メソドロジー研究部会2023年度第1回研究会発表スライド(亘理陽一)LET関西支部メソドロジー研究部会2023年度第1回研究会発表スライド(亘理陽一)
LET関西支部メソドロジー研究部会2023年度第1回研究会発表スライド(亘理陽一)
 
151125 教育評価論(三田)第8講
151125 教育評価論(三田)第8講151125 教育評価論(三田)第8講
151125 教育評価論(三田)第8講
 
Rm20140416 1key
Rm20140416 1keyRm20140416 1key
Rm20140416 1key
 

More from Koyo Yamamori

More from Koyo Yamamori (20)

181117 お台場海苔 説明会
181117 お台場海苔 説明会181117 お台場海苔 説明会
181117 お台場海苔 説明会
 
170304 お台場海づくりフォーラム
170304 お台場海づくりフォーラム170304 お台場海づくりフォーラム
170304 お台場海づくりフォーラム
 
170210 いきる・かかわる・そなえる
170210 いきる・かかわる・そなえる170210 いきる・かかわる・そなえる
170210 いきる・かかわる・そなえる
 
台湾の目標準拠評価の国際会議のスライド
台湾の目標準拠評価の国際会議のスライド台湾の目標準拠評価の国際会議のスライド
台湾の目標準拠評価の国際会議のスライド
 
Cs160720
Cs160720Cs160720
Cs160720
 
慶應義塾大学 教育学特殊 第11講(2016年67月6日)
慶應義塾大学 教育学特殊 第11講(2016年67月6日) 慶應義塾大学 教育学特殊 第11講(2016年67月6日)
慶應義塾大学 教育学特殊 第11講(2016年67月6日)
 
慶應義塾大学 教育学特殊 第12講(2016年67月13日)
慶應義塾大学 教育学特殊 第12講(2016年67月13日) 慶應義塾大学 教育学特殊 第12講(2016年67月13日)
慶應義塾大学 教育学特殊 第12講(2016年67月13日)
 
151202 教育評価論(三田)第9講
151202 教育評価論(三田)第9講151202 教育評価論(三田)第9講
151202 教育評価論(三田)第9講
 
151121_お台場海苔づくり説明会
151121_お台場海苔づくり説明会151121_お台場海苔づくり説明会
151121_お台場海苔づくり説明会
 
151028教育評価論(三田)第5講
151028教育評価論(三田)第5講151028教育評価論(三田)第5講
151028教育評価論(三田)第5講
 
Chushi151023
Chushi151023Chushi151023
Chushi151023
 
151021 教育評価論(三田)第4講
151021 教育評価論(三田)第4講151021 教育評価論(三田)第4講
151021 教育評価論(三田)第4講
 
151014 教育評価論(三田)第3講
151014 教育評価論(三田)第3講151014 教育評価論(三田)第3講
151014 教育評価論(三田)第3講
 
151007 教育評価論(三田)第2講
151007 教育評価論(三田)第2講151007 教育評価論(三田)第2講
151007 教育評価論(三田)第2講
 
151006 早稲田大学大学院 教育心理学(学級規模)
151006 早稲田大学大学院 教育心理学(学級規模)151006 早稲田大学大学院 教育心理学(学級規模)
151006 早稲田大学大学院 教育心理学(学級規模)
 
150929 教育評価論(三田)第1講
150929 教育評価論(三田)第1講150929 教育評価論(三田)第1講
150929 教育評価論(三田)第1講
 
150715 教育学特殊XIV(学級規模)第13講 [完]
150715 教育学特殊XIV(学級規模)第13講 [完]150715 教育学特殊XIV(学級規模)第13講 [完]
150715 教育学特殊XIV(学級規模)第13講 [完]
 
150708 教育学特殊XIV(学級規模) 第12講
150708 教育学特殊XIV(学級規模) 第12講150708 教育学特殊XIV(学級規模) 第12講
150708 教育学特殊XIV(学級規模) 第12講
 
150705 カリキュラム学会
150705 カリキュラム学会150705 カリキュラム学会
150705 カリキュラム学会
 
150701 教育学特殊(学級規模) 第11講
150701 教育学特殊(学級規模) 第11講150701 教育学特殊(学級規模) 第11講
150701 教育学特殊(学級規模) 第11講
 

140811 outline

  • 1. 津田塾大学大学院「コミュニケーション研究 VI」 (平成 26 年度) 担当:山森光陽 (国立教育政策研究所総括研究官 ) 1 この講義の目標 評価結果の戻し方(フィードバック)によって学習成果に違いが生じることを,外国語 学習の文脈における複数の最新の研究を検討したうえで,形成的評価研究,フィードバッ ク研究,「学習のための評価」研究の流れを概観する。さらに,最近とみに指摘されるよ うになった帰無仮説有意差検定に替わる統計的分析手法の意義を議論したうえで,最近研 究数が増えつつあるメタアナリシスによる形成的評価等の効果に関する知見をまとめる。 これらのことを通じて,学習者の能力の伸長に寄与する学習評価を実施するための枠組み を身につけ,具体的な方法を証拠にもとづいて構築できるようになる。 2 この講義の内容 2.1 外国語学習と形成的評価 外国語学習においても形成的評価が重要視されるようになった現状を (Black, 2009) を 購読することで理解し,外国語学習研究において特に研究の多い修正フィードバックに ついてレビューしメタアナリシスを行った研究 2 本 (Li, 2010; Lyster, Saito, & Sato, 2013) を検討する。さらに,フィードバックの遅延の効果についての最新の知見 (Nakata, in press) を講読し,外国語学習における形成的評価研究についての概略と形成的評価の 効果についての全体像を把握する。 2.2 形成的評価,フィードバック,「学習のための評価」 2.2.1 形成的評価 形成的評価の概念は Cronbach (1963) に端を発している。その後 (Scriven, 1967) が, 一定期間のカリキュラムの実施後における学習の結果に関する情報だけを問題とする評価 だけではなく,カリキュラムの開発途中に小刻みに学習過程に関する情報を取得しカリ キュラムや教材の改善に用いる評価の必要を主張し,前者を総括的評価,後者を形成的評 価と呼んだ (学習過程の情報の取得・教育課程や教材の改善)。その後,指導の途中で評価 1
  • 2. を行いその結果に基づいて処遇を選択しすべての学習者に一定以上の学習成果を保障する 完全習得学習の理論において,指導の途中で行う評価を形成的評価と位置づけた (学習過 程の情報の取得・処遇の選択および指導方法の改善)。さらに,新たな指導 (単元) の導入 の際に学習者の状況を把握するための評価を診断的評価,一定期間の指導の終了後の学習 成果をまとめて示す評価を総括的評価と位置づけた (教育課程から単元へ)。 その後形成的評価概念はさらに拡張され,(Sadler, 1983, 1989) によって,結果を学習 者が自身の能力向上のために利用するための評価と位置づけ (教師から学習者へ),最近で は学習者の動機づけを高めるためにも結果が利用される評価と位置づけられるようになっ た (Black & Wiliam, 1998a,b; Brookhart, 1997a,b)(学習成果 (cognitive) から動機づ け (non-cognitive) へ)。これらの原典とこの流れを概説した (Brookhart, 2007) にも とづいて,形成的評価の基本的な概念とその拡張について,学習理論の変遷と関連づけて 講じる。 2.2.2 フィードバック 戻された評価結果を学習者が自身の能力向上にために使うという形成的評価概念の 拡張の契機となった (Black & Wiliam, 1998a) では,効果的な形成的評価を実現す るにはフィードバックの質が重要であることを指摘している。フィードバックとは, Ramaprasad (1983) が到達状況と到達目標の差を明らかにするとともに,その差を埋め るために用いられる情報を与えることと定義した。さらに Sadler (1989) は,単に正誤や 到達状況を示すのではなく,到達状況と到達目標との差を示すことで,到達目標に向かう ための学習活動における行き当たりばったりな行動や不必要な試行錯誤を回避させること ができると指摘した。 フィードバックの種類について実証的に検討した (Kulhavy & Stock, 1989) は,効果 的なフィードバックには正誤と正答に至る手がかりの 2 つの情報が含まれていることを 示した。また形成的評価やフィードバック研究のレビューとメタ分析を行った Hattie & Timperley (2007) は,フィードバックの種類や方法ごとの効果を検討したうえで,到達目 標と到達状況との間の差を縮小するために学習者が努力の増大やより効果的な方略の利用 ができるように,また教師が達成目標に到達するための次の段階をを提示することや学習 者が効果的な方略が使えるような支援をすることができるようにすることがフィードバッ クの目的であると指摘した。そして到達目標,到達方法,次に到達すべき段階をフィード バックすることが効果的であるとした。 2
  • 3. 2.2.3 「学習のための評価」 形成的評価の概念が,評価結果を教師が指導内容や方法の修正や改善のために用いるこ とと,学習者が自身の能力向上にために使うという拡張がなされたことにともない,特に 後者が重要視されるようになった。このような学習者が自身の能力向上にために使う評価 のことを「学習のための評価」(Assessment for Learning: AfL) という。形成的評価や フィードバックから「学習のための評価」に至る系譜とそれらが学力に与える影響につい ては Wiliam (2011) が詳しい。英国 ARG は特にどのように学習者が学ぶかに焦点化し, 授業実践の中核と位置づけ,学習者の能力向上のための認知的支援となるべきようにすべ きと指摘したうえで,「学習のための評価」を以下のように定義した。 学習のための評価とは証拠の探索と解釈の過程のことを指し,これらは学習者及び 教師が学習状況,到達すべき目標,その到達のための最適な方法を特定するために 用いられる (Assessment Reform Group, 2002)。 また,形成的評価と「学習のための評価」の違いは Table 1 のようにまとめることができ る (Swaffield, 2011)。 Table 1 「学習のための評価」と形成的評価の違い (Swaffield (2011) より作表) 特徴 「学習のための評価」 形成的評価 論点 教授学習過程  評価の目的・機能 期間 直後あるいは近接した未来  長期的 文脈 特定の教室内  教室の内外 機能 学習者が主体性と自律性を高める  学習者が教師の決めた指導を受ける 位置づけ 学習過程に内在  後続の学習に対する情報 関心 学習方法と学習内容  教育課程の目標に限定 「学習のための評価」が学習者の能力向上のための認知的支援であるという考え方を敷 衍すると,学習者に自己調整学習方略の利用を促す評価であるとも位置づけられる。自己 調整学習という視点を導入すると,「学習のための評価」に対する学習者の寄与の度合い 3
  • 4. が問題となる。Clark (2012) は「学習のための評価」の要素として,①到達目標と到達度 の基準を教師と学習者が理解し合うこと,②到達目標達成に向けた方法を教師と学習者が 話し合うこと,③学習計画の立案に学習者が参加すること,④学習者が必要なときに誰か ら援助が得られるかを知らせること,の 4 つを挙げ,これらが学習者の意欲,努力,こだ わりといった情意面に働きかけるとしている。さらに学習者自身による自己評価を「学習 のための評価」(Assessment as Learning: AaL) と呼び,⑤メタ認知能力の高まりと知識 の形成の機会を与えること,⑥他者との順位などを比較をしない自尊感情が保たれる環境 をつくること,⑦学習者自身が学習に責任を持つようにすること,⑧学習者と教師が平等 で双方向的に学習に参加できるようにすることの 4 要素を挙げた。これら 4 つは計画,モ ニタリング,内省といったメタ認知的活動に働きかけるとしている。そして自己制御学習 は情意面(あるいは自己効力感)とメタ認知的活動の両者からなり,さらにそれは形成的 評価の理論に内包されるとした。 2.3 形成的評価及びフィードバックの効果 2.3.1 形成的評価の効果 形成的評価が重視されるようになってきた背景には,形成的評価やフィードバックが学 習成果に及ぼす効果が比較的高いことが,メタ分析によって明らかにされてきたことが挙 げられる。代表的な研究例としては,以下のようなものがある。 Fuchs & Fuchs (1986) による,就学前∼12 年生の LD 児を対象とした研究 21 例に含 まれる効果の指標 96 件をメタ分析した結果では,統合後効果量は .70 程度であることが 示された。Kluger & DeNisi (1996) による 607 の指標をメタ分析した結果では,統合後 効果量は .41 であったが,メタ分析の対象となった指標のうち 1/3 以上は負の効果を示 していた。また,包括的なレビューを行った Black & Wiliam (1998a) は,形成的評価の 効果は .40 から .70 程度であると指摘するとともに,効果的な形成的評価を実現するには フィードバックの質が重要であることを主張した。 最近の実験的研究としては自己効力感に対する影響を検討した Chan & Lam (2010) や,RCT(ランダム化比較実験) による検討を行った Phelan, Choi, Vendlinski, Baker, & Herman (2011) などがある。 2.3.2 フィードバックの効果 具体的なフィードバックの内容について検討した研究には以下のようなものがある。 Butler (1988) では,小学校 5, 6 年生を対象に実験授業を行い,成果物に対して判定基 4
  • 5. 準に則ったコメントをフィードバックされる群,相対的な評語がフィードバックされる 群,両方がフィードバックされる群で内発的動機づけの変化を比較した結果,コメントを フィードバックされる群で向上が見られ,評語がフィードバックされる群で下降が見られ た。Schunk (1996) は小学校 4 年生に実験を行い,学習目標 (問題解決方法の習得) 強調 or 遂行目標 (問題解決の結果のみ) 強調,問題解決能力の自己評価の有無の 2 × 2 デザイ ンで動機づけと自己効力感の肯定を比較した結果,遂行目標強調・自己評価なし群の動機 づけと自己効力感が低かった。その結果,教師による目標の強調と学習者自身の目標に対 する達成状況の認知の両者が必要であることが示唆された。 日本では,答案返却の方法 (橋本, 1956),集団基準準拠と目標基準準拠 (鹿毛, 1993), 判定基準 (ルーブリック)(鈴木, 2011a,b) などの研究例がある。 フィードバックの形態等についてのメタ分析の例としては,Bangert-Drowns, Kulik, Kulik, & Morgen (1991) が挙げられる。小学生∼大学生を対象とした研究 40 例に含ま れる 58 件の指標をフィードバックの形態等で分類してメタ分析を行った結果では,正誤 の提示 (−.08) や正答の提示 (.22) よりも,説明を与えること (.53) の方が効果が高いこと や,遅延フィードバックも効果が比較的高い (.56) ことなどが示された。また Hattie & Timperley (2007) による 7000 件以上のフィードバックに関連する研究のメタ分析の結 果では,手がかりを与えること (d = 1.10),到達目標を示したフィードバック (d=.46), 正誤や正答を示す修正フィードバック (d = .37),褒めること (d=.14) などが示された。 この結果から,先に言及したような到達目標,到達方法,次に到達すべき段階をフィード バックすることが効果的であることを示すとともに,フィードバックのレベルを課題レ ベル (正誤),過程レベル (解決方法),自己制御レベル (モニタリングや振り返り),自己 レベル (努力など) の 4 つに分類し,自己レベルよりも課題レベル,そして過程レベルの フィードバックが重要であることを示した (Figure 1)。 学習活動最中でのフィードバックに関しては,学習活動において取り組んでいる課題の 難易度や,課題解決を通じて育成が目指されている能力の違いによって,効果的なタイミ ングが異なると考えられている。学習課題の難易度とフィードバックのタイミングとの 関連を検討した研究によれば,難しい課題に取り組んでいる際には評価結果を即時に戻 すよりも,遅らせた方が学習成果が高くなることが示されている (Clariana, Wagner, & Roher Murphy, 2000)。また学習内容との関連においては,知識習得を目標とした学習活 動では即時にフィードバックを与えた方が学習成果が高く,概念形成を目標とした場合に は遅らせた方が学習成果が高いことが示されている (Schroth, 1992)。 難しい課題や概念形成を目標とした学習活動に取り組んでいる際にフィードバックを遅 らせた方がよい理由は,課題解決後にしばらく振り返りの時間を持たせた方が,学習者が 5
  • 6. 達成目標に到達したか 正答か誤答か どうすれば回答を修正できるのか。 もっとよい成果物になるのか その回答の何 がよいのか どこでつまず いているのか どういった回 答が正答か 達成目標に到達するに は他にどんな情報(記 述等)が必要か どういった方略が 用いられたのか 何を間違っているの か。その理由は何か 修正された回答はどの ように説明されるのか 課題に対して他 にどのような質 問ができるか 課題について 関連する他の 事項は何か 他にどのような 情報を資料とし て示せばよいか 課題に関連してどの ような概念や知識を 持っているのか 課題解決の結果をどのよう にモニター(自己評価・メ タ認知)しているのか 示された情報 をどのように 評価するか 自分の学習を どのように振 り返るか 課 題 レ ベ ル 過 程 レ ベ ル 自 己 調 整 レ ベ ル 誤答 正答 Figure 1 フィードバックのレベル 課題に関連した認知的,メタ認知的な処理を行うことができ,概念形成にも寄与するため と考えられている。また,学習者自身が自由に考える時間を持たせることが自律性の欲求 を満たすことにつながり,ひいては動機づけを高めることにも寄与しうるとも考えられて いる。 しかし,動機づけの低い学習者にとっては,課題解決が終わった時点からフィードバッ クが与えられる間に自身で振り返ったりすることができる時間を与えられても,あまり振 り返りを十分には行わないため,フィードバックを遅らせることは動機づけの低い学習者 にとっては逆効果になり得るといった指摘もみられる (Shute, 2008)。このような指摘を 踏まえると,ある特定のフィードバックが全ての学習者に等しく効果的であるとはいえ ず,フィードバックについても適性処遇交互作用がみられると考えられる。 2.3.3 形成的評価と過去の学力 課題解決の手がかりや到達目標や到達状況を示すことは,過去の学力が低い学習者に対 して有効であることが示されている。White & Frederiksen (1998) は7年生の理科の授 業において,単元末に判定基準に基づいて生徒が教師と学習成果について討議を行う群 と,単元内容のおもしろさについて討議した群とをもうけ,7 単元実施後の事後テストの 結果を事前テストの得点による上位群と下位群とで比較する実験をお此方。その結果,図 2 のとおり,単元末に判定基準に基づいて生徒が教師と学習成果について討議を行う群の ほうが,事後テストにおいて上位群,下位群とも同程度の高い得点だったことが示され た。また,橋本 (1956) も,答案返却の際に講評をつけることが低学力の学習者に対して 有効であることが示されている。 6
  • 7. Figure 2 評価規準・判定基準の共有と学習成果 (White & Frederiksen, 1998) 2.4 学習評価の妥当性 妥当性とは「評価結果の解釈と利用の適切さの程度」のことである。従来,妥当性の議 論は評価情報のひとつとして位置づけられる測定値についてのみ対象としてきた。しかし 近年の「学習のための評価」論の高まりは,測定値の利用のされ方も視野に入れた妥当性 の議論を促し,学習評価そのものに対する妥当性概念も検討されつつある。このような議 論を踏まえ,Table 2 に示したような形成的評価および総括的評価といった,評価結果の 使われ方の違いを踏まえ,評価に用いる情報と評価結果の使われ方のそれぞれに対する妥 当性の種類を示すと,表 3 の通りとなる。 評価結果の使われ方が総括的,形成的のいずれであっても,評価に用いる情報は,評価 対象である能力等の構成概念を正しく反映していることが必要である。このように,評価 対象である構成概念が正確に捉えられている程度のことを概念的妥当性といい (Cronbach & Meehl, 1955; Messick, 1995; 並木, 2006),学習評価における妥当性の中核をなしてい る。総括的評価の場合には,進学時の申し送りや,入学試験における合否判定など,その 結果が学習の文脈の外で用いられることが多い。そのため,被評価者に対して別の文脈に おける処遇を適切に決定するといったように,別文脈において適切に利用できる程度が高 いほど,妥当性の高い評価であるといえる。一方,形成的評価の場合には,その結果が学 習の文脈の中で用いられることが多く,被評価者である学習者自身が学習の進め方を,あ るいは評価者である教師が指導を改善するために結果を用いるために実施されることを踏 まえると,達成目標と実現状況の差の把握や,後続の学習に役立つ情報が得やすいほど, 7
  • 8. Table 2 形成的評価と総括的評価 形成的評価 総括的評価 学習の文 脈の… 中で実施され結果が用いられる。 外で結果が用いられる。 被評価者 (学習者) にとって … 参照枠に対する自身の段階を把握 し,より高い段階に到達するよう に学習方法を改善,計画するため に結果を用いる。 長期的な学習活動の結果として の,参照枠に対する段階を把握す るために結果を用いる。 評 価 者 ( 教 師 ) に と っ て… 参照枠に対して学習者がどの段階 に相当するのかを把握し,指導の 改善や学習者に対する後続の処遇 を決定するために結果を用いる。 長期的な学習活動の結果,参照枠 に対して学習者がどの段階に至っ たのかを把握し,報告するために 結果を用いる。 評価者や 被評価者 以外の第 三者にと って… 学習の文脈(単元,教育課程)そ のものを評価したり,被評価者に 対する別文脈における処遇(進学 など)を決定するために結果を用 いる。 Table 3 学習評価の結果の利用のされ方と妥当性の種類(Messick (1995); Brookhart (2003) を参考に作表) 評価結果の利 用のされ方 学習の文脈にお ける位置づけ 評価に用いられる情 報としての妥当性 評価結果の使われ方 としての妥当性 総括的評価 評価結果は学習 の文脈の外で主 に用いられる。 評価対象である能力 等の構成概念を正し く反映している程度 (概念的妥当性) 評価対象である能力 等の構成概念を正し く反映している程度 (概念的妥当性) 被評価者に対する処 遇を決定するなど別 の文脈において利用 できる程度 形成的評価 評価結果は学習 の文脈の中で主 に用いられる。 評価対象である能力 等の構成概念を正し く反映している程度 (概念的妥当性) 達成目標と実現状況 の差を知ることがで きる程度 後続の学習に役立つ 情報が得られる程度 8
  • 9. 妥当性の高い評価であるといえる。 2.5 「学習のための評価」と学習者の参与 「学習のための評価」論では,評価に対する学習者の参与が重視される。学習者の参与 が認知的能力 (cognitive skills: 学力など),非認知的能力 (non=cognitive skills: 動機づ けなど) の育成につながるという考えの背景には様々な心理学的理論が想定できるが,そ の一側面として Hattie & Yates (2014) に紹介されている IKEA effect を検討する。 2.6 学力に対する影響を検討する統計的分析手法の動向 先に指摘したように,形成的評価が重要視されるようになった背景には,学習成果に及 ぼす効果が比較的高いことが,メタ分析によって明らかにされてきたことがある。メタ 分析では帰無仮説有意差検定 (NHST) ではなく効果量が用いられるが,メタ分析に限ら ず NHST ではなく効果の大きさや区間推定を用いることが推奨されるようになってきた。 NHST に代わる統計的指標について Cumming (2014) を購読しながら検討したい。 9
  • 10. 3 講義の進め方 2 節に挙げた引用文献のうち,以下の Table 4 に示す文献について担当を一名決めてア サインし,報告していただく。日本語のハンドアウトを人数分用意して報告すること。な お報告およびハンドアウトの内容は skimming によるまとめではなく,上記 2 節に示した 概略を補強し,各々の報告を統合することで形成的評価やフィードバックに関する研究の 全体像に迫れるような内容にすること。 Table 4 割り当て文献と分担 文献 学習評価一般 外国語教育 理論 メタ分析 実験・調査  担当  Li (2010) ○ ○ Lyster et al. (2013) ○ ○ Nakata (in press) ○ ○ Black & Wiliam (1998a) ○ ○ Wiliam (2011) ○ ○ Swaffield (2011) ○ ○ Chan & Lam (2010) ○ ○ Phelan et al. (2011) ○ ○ Clariana et al. (2000) ○ ○ White & Frederiksen (1998) ○ ○ Hattie & Yates (2014) ○ ○ Cumming (2014) ○ ○ 4 評価 この集中講義で扱った内容を中心として,形成的評価についての簡単なレビュー小論文 のようなものを持ち帰り試験として課す予定である。詳細は追って指示する。 10
  • 11. 引用文献 Assessment Reform Group (2002). Assessment for learning. Bangert-Drowns, R. L., Kulik, C. C., Kulik, J. A., & Morgen, M. (1991). The in- structional effect of feedback in test-like events. Review of Educational Research, 61, 213–238. Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education, 5, 7–74. Black, P., & Wiliam, D. (1998b). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 80, 139–144. Black, P. (2009). Formative assessment issues across the curriculum: The theory and the practice. TESOL Quarterly, 43, 519–524. Brookhart, S. M. (1997a). Effects of the classroom assessment environment on math- ematics and science achievement. Journal of Educational Research, 90, 323–330. Brookhart, S. M. (1997b). A theoretical framework for the role of classroom assess- ment in motivating pupil effort and achievement. Applied Measurement in Educa- tion, 10, 161–180. Brookhart, S. M. (2003). Developing measurement theory for classroom assessment purposes and uses. Educational Measurement: Issues and Practice, 22, 5–12. Brookhart, S. M. (2007). Expanding views about formative classroom assessment: A review of the literature. In J. H. McMillan (Ed.), Formative classroom assessment: theory into practice. New York: Teachers College Press. pp. 43–62. Butler, R. (1988). Enhancing and undermining intrinsic motivation: The effects of task-involving and ego-involving evaluation on interest and performance. British Journal of Educational Psychology, 58, 1–14. Chan, J. C. Y., & Lam, S. (2010). Effects of different evaluative feedback on students’ self-efficacy in learning. Instructional Science, 38, 37–58. Clariana, R. B., Wagner, D., & Roher Murphy, L. C. (2000). Applying a connectionist description of feedback timing. Educational Technology Research and Development, 48 (3), 5–21. Clark, I. (2012). Formative assessment: Assessment is for self-regulated learning. Educational Psychology Review, 24, 205–249. 11
  • 12. Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281–302. Cronbach, L. J. (1963). Course improvements through evaluation. Teachers College Record, 64, 672–672. Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25, 7–29. Fuchs, L. S., & Fuchs, D. (1986). Effects of systematic formative evaluation: A meta- analysis. Exceptional Children, 53, 199–208. 橋本重治 (1956).答案返却の方法が学習成果に及ぼす影響の研究 教育心理学研究, 3, 14–24. Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77, 81–112. Hattie, J., & Yates, G. C. R. (2014). Visible learning and the science of how we learn. London: Routledge. 鹿毛雅治 (1993).到達度評価が児童の内発的動機づけに及ぼす効果 教育心理学研究, 41,367–377. Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on perfor- mance: A historical review, a meta-analysis, and a preliminary feedback interven- tion theory. Psychological Bulletin, 119, 254–284. Kulhavy, R. W., & Stock, W. A. (1989). Feedback in written instruction: The place of response certitude. Educational Psychology Review, 1, 279–308. Li, S. (2010). The effectiveness of corrective feedback in sla: A meta-analysis. Lan- guage Learning, 60, 309–365. Lyster, R., Saito, K., & Sato, M. (2013). Oral corrective feedback in second language classrooms. Language Teaching, 46, 1–40. Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. Amer- ican Psychologist, 50, 741–749. Nakata, T. (in press). Effects of feedback timing on second language vocabulary learn- ing: Does delaying feedback increase learning? Language Teaching Research, –. 並木博 (2006).概念的妥当性の検証:心理測定学的構成概念と認知心理学的構成概念の 場合 教育心理学年報, 45,134–144. Phelan, J., Choi, K., Vendlinski, T., Baker, E., & Herman, J. (2011). Differential im- 12
  • 13. provement in student understanding of mathematical principles following formative assessment intervention. Journal of Educational Research, 104, 330–339. Ramaprasad, A. (1983). On the definition of feedback. Behavioural Science, 28, 4–13. Sadler, D. R. (1983). Evaluation and the improvement of academic learning. Journal of Higher Education, 54, 60–79. Sadler, R. (1989). Formative assessment and the design of instructional systems. In- structional Science, 18, 119–144. Schroth, M. L. (1992). The effects of delay of feedback on a delayed concept formation transfer task. Contemporary Educational Psychology, 17, 78–82. Schunk, D. H. (1996). Goal and self-evaluative influences during children’s cognitive skill learning. American Educational Research Journal, 33, 359–382. Scriven, M. (1967). The methodology of evaluation. In R. W. Tyler, R. M. Gagne, & M. Scriven (Eds.), Perspectives of curriculum evaluation. Chicago: Rand McNally. pp. 39–83. Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research, 78, 153–189. 鈴木雅之 (2011a).ルーブリックの提示による評価基準・評価目的の教示が学習者に及ぼ す影響:テスト観・動機づけ・学習方略に着目して 教育心理学研究, 59,131–143. 鈴木雅之 (2011b).ルーブリックの提示が学習者に及ぼす影響のメカニズムと具体的事例 の効果の検討 日本教育工学会論文誌, 35,279–287. Swaffield, S. (2011). Getting to the heart of authentic assessment for learning. As- sessment in Education: Principles, Policy & Practice, 18, 433–449. White, B. Y., & Frederiksen, J. R. (1998). Inquiry, modeling, and metacognition: Making science accessible to all students.. Cognition and Instruction, 16, 3–118. Wiliam, D. (2011). What is assessment for learning? Studies in Educational Evalua- tion, 37, 3–14. 13