2016年度第2回DCCフォーラム
早稲田大学におけるグローバルMOOCの展開
-edXコースの開発・運営と学習データ解析-
石井雄隆（早稲田大学大学総合研究センター）
2016年5月23日（月） 於：小野記念講堂

MOOC (Massive Open Online Courses:
大規模公開オンライン講座)
• MOOCとは、原則無料で大学が提供するオン
ラインの講義を受講し、課題をこなすことで最
終的には修了の認定を受けることができると
いう取り組み。
• 2012年にアメリカを中心に、CourseraやedXと
いったグローバルMOOCの取り組みが広がる。
• 2013年10月には、日本版MOOCとなるJMOOC
（日本オープンオンライン教育推進協議会）が
設立
2

MOOCプラットフォームの概要
Coursera edX JMOOC(gacco他)
登録者数 約1390万人 約725万人 約20万人
登録者国籍数 190か国以上 196か国以上 （非公表）
パートナー機関数 143 95 95（会員法人数）
コース数 1905 966 110
組織の形態 営利 非営利 営利/非営利
3
※藤本 (2015)を基に作成、2016年5月20日時点

オープンエデュケーションが
高等教育に与える影響（重田, 2016）
• 教育現場でのMOOC活用
→反転授業、学習ログ解析に基づく新たな教育手
法の開発
• デジタルラーニングの普及
• 大学間教育連携の促進
→本学のように複数のキャンパスが存在する場合
には、学内の教育リソースの最適な配分
4

早稲田大学におけるMOOCの取り組み
• JMOOC第一弾講座
– 国際安全保障論
• JMOOC第二弾講座
– しあわせに生きるための心理学
〜アドラー心理学入門〜
• edX第一弾講座
– Tsunamis and Storm Surges:
Introduction to Coastal Disasters
5

教務部
• 戦略策定 ※1
• 提供講座検討ならびに選定
国際部
・海外連携
情報企画部
・システム運用
WasedaX（プロジェクト）
リーダー：山名早人（理工学術院教授）
サブリーダー：森田裕介（人間科学学術院准教授）
大学総合研究センター
・コンテンツ製作支援
・学習履歴データの分析、効果検証
- MOOC担当専門教員（助教）
- 大総研助手
（株）早稲田大学アカデミックソリューション
・編成ディレクター
・映像ディレクター
・システム運用担当者（英語ネイティブ）
・コンテンツ制作担当
・著作権許諾担当
・ネイティブチェック担当（英語ネイティブ）
・講座担当教員
- 授業補助者（ＴＡ/大学院生）
共同
制作
講座制作・運営
橋本常任理事（CIO）、佐藤理事（教務）、大野理事（情報化推進）
プロジェクト実施体制
6

実施概要
• 講座名：Tsunamis and Storm Surges: Introduction
to Coastal Disasters
• 担当講師：柴山知也教授（創造理工学部）
• 開講期間：2016年1月18日-3月21日
• プラットフォーム：edX
• 登録者数：2675人（修了者251人）
7

受講者の分布
8

受講者の最終学歴
9

学外からの反応
• 早大、edXで公開オンライン講座を開講…2011東
北津波の教訓（リセマム）
• Jack Kent Cooke Foundation, edX Partner on
Scholarship Opportunities
→本講座を修了することが、奨学金応募への条件
となった。
• Kyodo JBN-AsiaNet (Indonesia)
10

修了条件
• クイズ: 40%
• ディスカッションへの参加: 30%
• 中間レポート（相互評価課題）: 5%
• 期末レポート（相互評価課題） : 15%
• サーベイ: 10%
→60％以上の得点で修了することができる。
11

12

13

Ask Me Anything (AMA)
Redditというサービスを活用して学習者の質問に対
してオンラインで解答。
先生のコメントを含めて57件のやり取りが行われた。
14

Pre-Course Survey
(有効回答593名)
• 現在の居住地
• 現在の年齢
• 性別
• 最終学歴
• 英語四技能の能力
• 学習に関する選好
• コンテンツに関する事
前知識
• コースを受講した理由
• コースに望むこと
• 居住地と沿岸災害の
関係
• 津波という語から連想
するもの
• コースを知ったきっか
け
• 早稲田大学との関係
15

コンテンツに関する事前知識
16
Answer Options
Response
Percent
Response
Count
I am mostly new to this
subject area.
31.4% 182
I am somewhat familiar with
this subject area.
48.1% 279
I am very familiar with this
subject area
17.8% 103
I am advanced in this subject
area.
2.8% 16

早稲田大学との関係
17
Answer Options
Response
Percent
Response
Count
Never heard about Waseda
University before taking this course
57.3% 333
I just know the name, but am not
familiar with Waseda university
29.6% 172
I am somewhat familiar with
Waseda University
8.1% 47
I am very familiar with Waseda
University
1.9% 11
I am staff/a researcher of Waseda
University
1.7% 10
I am a student/alumni of Waseda
University
2.4% 14
My university is a partner of
Waseda University
0.9% 5
I am a potential student of Waseda
University
1.5% 9
I have visited Waseda University as
a scholar/student
1.4% 8
※アンケートに答えた学習者の6割が、講座を受けるまで早稲田大学を知らなかっ
たと回答。「教育と学修内容の公開」をすることで、「国際展開戦略策定」や「留学生
の獲得」などWaseda Vision 150推進において大きな役割を果たす可能性。

“Never heard about Waseda University before
taking this course”と答えた国別の学習者数と割合
順位 国 学習者数
回答者全体
の割合
1 United States of America 107 76%
2 Spain 23 64%
3 United Kingdom 18 62%
4 Chile 13 59%
5 Canada 12 63%
5 India 12 63%
5 Netherlands 12 75%
8 Philippines 9 64%
9 Australia 7 58%
9 Italy 7 100.0%
9 Mexico 7 78%
9 Portugal 7 78% 18

Post-Course Survey (有効回答207人)
• 修了を目指していた
か
• 週辺りの学習時間
• コースの評価
• ユニットの評価
• AMAの評価
• 津波という語から連
想するもの
• 津波に対する考えの
変化
• コメント
• 早稲田で学びたいか
• WasedaXでどんな
コースを受けたいか
• コース受講者の集ま
りに参加したいか
19

コースの評価
Answer Options Rating Average
Overall satisfaction with the course
4.47
Overall difficulty of the course
(1: very easy to 5: very difficult)
3.05
Instructors’explanations of course content
in the videos
4.30
The effectiveness of the reading material
(text before and after the videos)
4.28
The effectiveness of exercises
(non-graded problem-sets)
4.14
The effectiveness of assessments
graded problem-sets)
4.22
The effectiveness of the Mid-term Report
(peer assessment)
3.84
The effectiveness of the Final Report
(peer assessment)
3.98
Student-to-student interaction
in the discussion forums
3.42
Interaction with Professor Shibayama, the TA’s
and university staff in the discussion forums
3.81
Textual presentation of information
in the videos and slides
4.35
Visual Presentation of information
in the videos and slides
4.41
The sound quality in the videos
4.48

コース受講者の集まりに参加したいか
Answer Options Response Percent
I’d like to attend if it was online such as Skype.
48.5%
I’d like to attend if it was held
at the Waseda University campus (Japan).
25.0%
No
32.5%
21
京都大学は、オンラインでプレゼンテーションコンテストを行い、優れた成績を収
めた学習者を実際に京都大学に招待した。これに限らず、学習者のコミュニティ
形成及びその維持に対して本学がどう取り組むかについて検討する必要性
（ 「国際展開戦略策定」や「留学生の獲得」など）。

グローバルMOOCにおける
相互評価の信頼性に関する検討
-早稲田大学における事例から-
石井雄隆*・アダムゴードン**・平賀純*
永間広宣*・大浦弘樹*・森田裕介*
早稲田大学大学総合研究センター*
早稲田大学アカデミックソリューション**
日本教育工学会研究会 於：鳴門教育大学

オンライン相互評価
22教師
学習者
edXのシステム1. 課題・評価基準の作成
2. 課題の指示
今回の講座では、5名の学習者の解答を
評価すると最低3名から解答を評価して
もらえるように設定。
3. レポート提出
4. 他の学習者の
レポートの評価

相互評価のメリット
（植野・ポクポン・岡本・永岡, 2008）
• 相互評価をすることにより、学習者をより自律的にさせ、学習動機
を高める
• 他者からの意見は、テスト得点以上に学習者の内省を促進する
• 他者を評価することにより、他者の成果から学んだり、自己の内省
を促すことができる
• 経歴が似た学習者同士からのフィードバックは、理解しやすい
• 教師の負担を軽減するとともに、教師不在でも有用な学習者への
フィードバックが促進される
• 教師が考えつきもしない有用なフィードバックを与えることや、
フィードバックのバラエティが広がる
• 成人学生の場合、教師一人で採点を行うよりも、多人数で評価を
行った方が信頼性が高くなる。
23

MOOCにおけるオンライン相互評価
• 相互評価への親和性が高い受講者ほど学習継
続意欲や講座評価が高い（渡邉・向後, 2015）。
• 相互評価への否定意見として、「負担の大きさ」
「評価の難しさ」「評価人数の多さ」に関するコメ
ントが多く挙げられる（渡邉・森・向後, 2015） 。
→学習者の評価の信頼性について統計的に検討
24

中間課題
• Study the history of coastal disasters in your
country or a country you have an interest.
Describe the nature of the disasters and
provide details of the historic events. Discuss
what, if any, changes there were toward
disaster mitigation. Provide details of the type
of disaster mitigation measures with detailed
examples. You should provide references to
support your arguments.
25

中間課題の評価観点
• ＜観点1＞Does this response describe the nature
of historical coastal disasters?（Not at all, Briefly, In
detailの3段階評価）
• ＜観点2＞Does this response explain how
approaches to coastal disaster mitigation changed?
（ Not at all, Very briefly, Briefly, In detailの4段階評
価）
• ＜観点3＞Does this response provide evidence to
support the arguments?（Not at all, Very briefly,
Brieflyの3段階評価）
26

期末課題
• Situation
– You are visiting a Japanese coastal city, popular with tourists for the
maritime sports and traditional picturesque Japanese scenery during
peak season. Typically 15,000 tourists alone visit per day and the city is
very crowded. During your visiting a large earthquake hits offshore
and generates a tsunami. You must decide a suitable place for
evacuation.
• Tsunami conditions
– Inundation height: 10m at the shoreline. Tsunami arrival time: the first
wave will reach the shoreline 22 minutes after the earthquake. Run-up
height: potentially 15m.
• Other Conditions
– You will be informed about the tsunami two minutes after the
earthquake via loudspeakers. You injure you ankle during the
earthquake. You can walk but not run.
27

期末課題
28※それぞれの建物の高さと収容人数の情報も掲載

期末課題
• Assignment
• Refer to the provided elevation map and data on the evacuation centers.
Choose two of the four starting locations (S1~S4). Decide where you
would evacuate to in the case of the above scenario. Write down two
separate answers for each of your chosen starting locations. In your
answers be sure to:
– Separate your answers for the two locations by clearly writing
""ANSWER A: Location (S1~S4)"" and ""ANSWER B: Location (S1~S4)"“
– Specify exactly where you would evacuate to so that it is easily
identifiable on the map.
– Explain why you choose the evacuation point. You should specify
details about each of the following: time, evacuation capacity, and
height
– Explain why other locations closer to the starting point are not suitable
evacuation points. You should use one or more of the following
categories: time, evacuation capacity and/or height as a justification.
29

期末課題の評価観点
• ＜観点1・2＞Does the response for ANSWER A/B adequately
describe the specific evacuation point （具体的な避難場所）
so that it is identifiable on the elevation map?（Not at all,
Briefly, In detailの3段階評価）
• ＜観点3・4＞Does the response for ANSWER A/B provide a
suitable reason（適切な理由） for the chosen evacuation
point? （ Not at all, Briefly, In detailの3段階評価）
• ＜観点5・6＞Does the response for ANSWER A/B explain why
another location closer to the chosen evacuation point or
starting point was not suitable（他の場所が適切でない理
由）? （Not at all, In detailの2段階評価）
30

データ・分析手法
• 3人・4人・5人から評価された中間・期末課題
の解答255名分を抽出
• 人数別・観点ごとの信頼性を級内相関係数
（二元変量効果モデル）を用いて検討。
• 級内相関係数とは、ある測定の検者間また
は検者内信頼性の指標（対馬, 2008）
31

級内相関係数の判定基準
（Landis & Koch, 1977; 対馬・石田, 2013）
ICCの値 判定
0.00-0.20 わずか / slight
0.21-0.40 まずまず / fair
0.41-0.60 適度 / moderate
0.61-0.80 十分 / substantial
0.81-1.00 ほとんど完全 / almost perfect
32
判定基準はさまざまであるが、0.7以上であれば信頼性が高いといえる
（対馬, 2008）

中間課題における観点別の
級内相関係数
評定者数 測定値 Disaster
Origin
Disaster Mitigation
Changes
Supported
Arguments
3名
（N=43）
単一測定値 .157 .363 .251
平均測定値 .359 .631 .501
4名
(N=45)
単一測定値 .422 .285 .257
平均測定値 .745 .614 .580
5名
(N=32)
単一測定値 .318 .431 .329
平均測定値 .700 .791 .710
いずれの項目においても5名の評価者によって評価を行うことで、評価の信頼性があった。
33

期末課題における観点別の級内相関係数
評定
者数
測定値
Specified
Location A
Specified
Location B
Suitable
Evacuation Point
Reasoning A
Suitable
Evacuation Point
Reasoning B
3名
(N=43)
単一
測定値
.578 .577 .573 .568
平均
測定値
.804 .804 .801 .798
4名
(N=52)
単一
測定値
.456 .505 .469 .503
平均
測定値
.770 .803 .779 .802
5名
(N=40)
単一
測定値
.567 .488 .588 .527
平均
測定値
.868 .827 .877 .848
34
期末課題は、中間課題と異なり、3名以上の評価で信頼性があった。

考察
• 中間課題においては、5名以上で評価することで、十分な
信頼性があった。一方で、期末課題においては、3名以上
の評価で十分な信頼性があった。これには二つの理由が
考えられる。
• 一緒に学んでいる学習者同士の相互採点やフィードバッ
クおよびコンテンツの学習を重ねることで、学習者間の評
価の信頼性は向上する可能性
→オンライン上での学習者同士の互恵的学び
• 中間課題は期末課題に比べて主観的な要因が入りやす
かった。
→学習者間の評定の揺らぎを抑えるためには、客観的な基
準に基づくルーブリックでパフォーマンスを評価する必要性
35

相互評価に対する学習者のコメント
• The most effective, inspirational and stimulating assignment I
have ever done so far (including all fields of study). I had to
put almost all of the knowledge I gained from the lectures of
this course in order to come up with an evacuation plan, one
for each answer. It seems that a major purpose of this course
was for us to know how to make an evacuation plan,
depending on the situation. And, at least for me, it was a
great success. I realize that without taking this course I
wouldn't be able to complete such a task and for that I am
grateful.
• Very nice assessment! It made me really think how I would or
should act when there is a storm surge in The Netherlands.
36

相互評価に対する学習者のコメント
• Some reviewer's don't have any background knowledge on
local contents.
• I did not like the grading system for this because everyone has
their own opinion and this might effect your grade on how
you write.
• The parameters of what earned each student a good grade
were very wide open. For example, I typed almost 10 pages,
believing that I needed to in order to truly complete the
assignment's requirements. I believe most students only
wrote a few pages, and focused on one city or area instead of
a country, as otherwise specified. Since the grading rubric was
very soft, it was extremely easy to do little work and get a
100% grade. 37

今後の課題
• 級内相関係数は、範囲制約性の問題がある
ので、測定の標準誤差なども踏まえ、学習者
データの個人差を踏まえる必要。
• また学歴や年齢など評定者の属性情報を考
慮した統計モデルを利用した更なる分析が必
要。
38

おわりに
• edXは、Waseda Vision 150における核心戦略3
「教育と学修内容の公開」及び核心戦略4「対話
型、問題発見・解決型教育への移行」推進に大
きな役割を果たす（核心戦略8「世界のWASEDA
としての国際展開」にも関連）。
• 反転授業、オンライン相互評価や学習履歴の解
析に基づくオンキャンパスへの新たな教育手法
の導入。
• 共通の指標を用いたMOOCの評価の必要性
39

edX第二弾講座「日本語の発音」の
お知らせ
• 講座名：Japanese Pronunciation for
Communication
• 担当講師：戸田貴子教授（日本語教育研究科）
• 受講登録開始：2016年7月
• 開講予定：2016年11月
40