Recommended
More Related Content
More from siramatu-lab
More from siramatu-lab (17)
2017ipsj全国大会発表スライド_宮脇
- 2. 研究の背景 • 2016 年度，新課程「創造工学教育課程」が設置 各々の学生の掲げる目標に応じ,工学13分野から 科目選択,カリキュラムを 分野横断的に設計. • 初学者に13分野の科目検索は困難 冊子で配布されているダイアグラムでは目的の科目を見つけられない. 受講する際に前もって修めておくべき科目（前提科目）の関係も冊子では見落とす可能性 2 WEB上で閲覧可能な科目ダイアグラム
- 3. 満たすべき要件 1. 科目ダイアグラムを所属する学科ごとに表示する機能 2. 科目区分ごとにキーワード検索を行う機能 3. シラバスと連携した閲覧機能 4. 学生の学習目標記述(Cプラン)に沿った科目推薦機能(未実装) 上記の要件を満たすためにはデータの整備が必要. 3
- 4. データの整備 • 科目ダイアグラムのデータにはRDFを用いる - シラバスや履修システムなどとの連携から相互運用性が求められる. - 特定の科目には前提科目が存在しそれらの関係を矢印で結ぶ. • 科目データの記述 - 科目の記述にはLinked Scienceプロジェクトの Teaching Core Vocabularyを用いる． - プロパティの例:hasTitle(講義名),academicTerm(開講時期) 4 Linked Data が適切
- 5. 実際のJSON-LDデータ { “@id”: “http://lod.cplan.nitech.ac.jp/ontology/41-41121”, データのURL “@context”: { プロパティのprefix "teach": "http://linkedscience.org/teach/ns/", "cplan": "http://lod.cplan.nitech.ac.jp/ontology/" }, “teach:hasTitle”: “プログラミングI”, 講義名 “teach:module”: “http://lod.cplan.nitech.ac.jp/ontology/41”, 科目の属する区分 “teach:academicTerm”: “http://lod.cplan.nitech.ac.jp/ontology/b1-2”, 科目の開講時期 “cplan:row”: “2”, 科目を描画する際に用いる行番号 “cplan:lineStyle”: “solid”, 科目ノードの枠線の種類 “cplan:prerequisite”: “http://lod.cplan.nitech.ac.jp/ontology/41-41111”, 前提科目のURL “cplan:department”: http://lod.cplan.nitech.ac.jp/ontology/4 科目の属する学科番号 } 5
- 6. システム構成 6 サーバ RDFストア - Stardog WEB API - StardogにSPARQLクエリ送信 - データをRDF/N3からJSON-LDに変 換 クライアント - Flat UIとJoint.JSにより記述. - 学科・区分表示機能 - キーワード検索機能 - 科目シラバス閲覧機能
- 10. キーワード検索実行時間の評価② シラバス ダイアグラム表示時間 含む 8290ms 含まない 316ms 10 シラバス ダイアグラム表示時間 含む 1170ms 含まない 730ms 「情報工学」の平均検索実行時間 「情報数学」の平均検索実行時間 「情報工学」のシラバスにおける出現頻度 高 「情報数学」のシラバスにおける出現頻度 低 検索範囲にシラバスを含む可否は文書頻度 (Document Frequency)によって場合分けを 行うことで検索機能の利便性の向上を図る
- 11. システムの運用ログ 2016年11月、創造工学教育課程の学生に1ヶ月間公開 ダイアグラム表示に対してシラバスの閲覧が多い 詳細な専門用語がわからない・ダイアグラム一覧から科目を探索 キーワードを使わずに学生の目標に沿った科目を 推薦する機能が必要 11 機能 延べ使用回数 学科表示機能 52件 区分表示機能 270件 検索機能 16件 シラバス閲覧機能 700件 ダイアグラム 表示延べ338件
- 13. 学習目標記述(Cプラン)を用いた科目推薦 •TF-IDFに基づくCos類似度 •sentence2vecに基づくCos類似度 (Paragraph Vector[1]の一実装) により,それぞれCプラン (42文書)とシラバス(1062文書) の類似度算出，Cプランに対して上位の科目シラバスを推薦 [1] Quoc V. Le, et al．Distributed Representations of Sentences and Documents, CoRR, abs/1405. 4053, pp.1-9, 2014. 13
- 14. TF-IDFによる類似度算出 𝑛𝑖,𝑗 : 文書𝑑𝑗中の名詞𝑡𝑖の出現回数 𝑘 𝑛 𝑘,𝑗 : 文書𝑑𝑗中のすべての名詞の出現回数の総和 N : 全文書数(シラバス全1062文書とCプラン全42文書の計1104文書) 𝑑𝑓𝑖 : 名詞𝑡𝑖の出現する文書数(文書頻度) 14 𝑡𝑓𝑖,𝑗= 𝑛 𝑖,𝑗 𝑘 𝑛 𝑘,𝑗 𝑖𝑑𝑓𝑖 = 𝑙𝑜𝑔 𝑁 𝑑𝑓 𝑖 + 1 𝑡𝑓𝑖𝑑𝑓𝑖,𝑗= 𝑡𝑓𝑖,𝑗 ∙ 𝑖𝑑𝑓𝑖
- 15. sentence2vecによる類似度算出 • Paragraph Vectorの一実装 word2vecを拡張して文章をベクトル化する手法 • 使用するコーパス Cプラン42文書,科目シラバス1062文書 • 次元数 100次元 • ベクトルの隠れ層の非線形ノード計算アルゴリズム C-BOW(Continuous Bag-of-Words) Cプランとシラバスをベクトル化,組み込み関数により類似度を算出 組み込み関数のアルゴリズムはコサイン類似度 15
- 16. 科目推薦の実験・評価 2つの手法からCプランとシラバスの類似度を求め, それぞれ ランダムに10 科目を選択 Cプランに対してシラバスの内容が適切であるか 1(不適切)〜7(適切) の 7 段階で評価実験を8人に実施 選択された数字と類似度の相関係数を求める 16
- 17. 17 TF-IDF 相関係数 :+0.55 (中程度の正の相関) sentence2vec 相関係数 :+0.01 (ほぼ相関なし) sentence2vecの相関について • Cプランとシラバスは文章量が少ない Cプラン42文書,科目シラバス1062文書 • コーパスの分量を増やす
- 20. 関連研究 • Teaching Core Vocabulary Specification(http://linkedscience.org/teach/ns/) 学習にまつわるクラスやプロパティがまとめられている • 教育支援システムNOBASU(NetwOrk-Based Assistant System for University education) [2] 学生は講義資料閲覧，成績照会，掲示板，レポート提出を， 教員は受講生登録，講義成績登録，受講生成績一覧表示，講義資料アップ ロード，ソースコードチェック等が行える [2]高橋紀行， 舩曳信生， and 中西透． ”講義・演習を対象としたWEB ベースの教育支援システムの検討(教育評価/ 一般)．” 電子情報通信学会技術研究報告． ET， 教育工学104．342 (2004): 45-50 20
- 21. まとめと今後の課題 • まとめ • 学科・区分ごとの閲覧機能，科目のキーワード検索， シラバスとの連携した閲覧システムの実装 • TF-IDF と sentence2vec による科目推薦の検討 • 今後の課題 • 適切なコーパスを作成し，より精度の高い推薦実験 • 科目区分ダイアグラム検索システムに推薦機能の実装 21
- 22. 質問 • 評価実験を行った8人はどのような人物か • 1年生3人、研究室5人 • 評価を行うのは初学者ではなく知識を持った人物でないといけないのではない か • 科目の有用性がわかる人物にも評価実験を行っていきたい • シラバスの質が影響しないか • シラバスの質は考慮していなかった • 学生には科目の有用性より進級の方が(必修科目)重要ではないか • 創造工学の学生は必修科目が設けられていない • 開講時期の方が重要ではないか • 開講時期の重要性は考慮していなかった • TF-IDFでの推薦失敗例はタグによって弾けたのではないか • 今後の推薦では行っていく予定である 32
Editor's Notes
- Windows+P 複製 表記の題目で白松研究室所属の宮脇が発表させていただきます
- 本研究の背景について説明いたします。名古屋工業大学では新課程、創造工学教育課程が設立されました これは各々の学生の掲げる目標に応じ、自らが科目を工学13分野から選択しカリキュラムを分野横断的に設計するという課程になります、 カリキュラムは入学初年度に設計し、必要時に適宜再設計と更新を行います。 右画像のようにダイアグラムは冊子で配布されていますが、目的の科目が見つけにくいことや、受講する際に修めておくべき科目、前提科目の関係を見落とす可能性があり、13分野からの科目検索は困難であることが予想されます。 したがって、web上でダイアグラムを閲覧し、科目を検索できるようなシステムを作成することで学生の支援をしようと考えました。
- 本研究で満たすべき要件は以下の4件になります。～～は未実装です。上記の要件を満たすためにデータの整備が必要となりました。 シラバスのところで図にポインター
- データの整備としまして、科目ダイアグラムの科目データにはRDFを用いています。これは、シラバスや履修システムなどとの連携を考慮すると 相互運用性が求められること、特定の科目には前提科目が存在し、ダイアグラムではそれらの関係を矢印で結ぶことを踏まえて、linked dataが適切であると判断しました。 科目の記述にはlinked scienceプロジェクトのteaching core vocabularyを用いています、プロパティには講義名を表すhastitle,開講時期を表すacademic termなどがあります。 ２分ちょい
- 下4つアニメーションでまとめる 「こちらが実際のJSON-LDデータになります。下4つのプロパティは本システムの為に自ら定義を行いました」
- こちらの右画像が実際のシステムの画面になります。学科・区分を選択するとダイアグラムが表示され、気になった科目をクリックすることでシラバスのリストが表れます。 シラバスを選択することで大学のシラバスが表示されます。キーワード検索 についても同様です。 検索窓を追加 (動画20s以内で) 科目ダイアグラム 検索 2パターン
- こちらがキーワード検索です。右上の検索窓から検索を行います。検索条件に引っかかった科目は赤で描画されます。
- システムを2016年11月に～に公開した運用ログがこの表になります。 (レーザーポインターでシラバスの件数を指して) ダイアグラム表示機能に対してシラバスの閲覧件数が多いことから、学生は・・・がわかります キーワードをつかわず、学生の目標に沿った科目を推薦することで学生の負担を減らせるのではないかと考えました。
- 科目推薦のアプローチを説明します。
- 学生はCプランという学習目標を作成します。これを用いて科目推薦を行います。
- 8分くらいが
- 4分
- TF-IDF は閾値を 0.20 に設定した場合に適合率が最 も高い 93.61%となり，sentence2vec は閾値を 0.34 に 設定した場合に最大の 35.18%となった．また，7 段 階評価と類似度の相関は TF-IDF が 0.55 となり中程 度の相関が見られた一方で，sentence2vec は相関が0.07 となり相関はほぼ見られなかった．これは, シラ バスでは教師名と開講日を，C プランでは学生名と引 用文献の著者名を取り除いておらず，ノイズが含まれ てしまったことが精度を悪化させてしまったことが原 因であると推察される． （sentence2vecで残り1分のベル）
- シラバスとの科目の対応でLinked Dataだと対応関係が取りやすい 1つに対してシラバス複数ある時はlinked dataで書いてて教員ごとのシラバスのリンクをRDFで書くのに役立つ 単位の制約を考慮したあるシステムとの連携を考慮すると卒業要件についてスキーマは難しいがLinked Dataで記述すると楽に記述可能
- 4分
- TF-IDF は閾値を 0.20 に設定した場合に適合率が最 も高い 93.61%となり，sentence2vec は閾値を 0.34 に 設定した場合に最大の 35.18%となった．また，7 段 階評価と類似度の相関は TF-IDF が 0.55 となり中程 度の相関が見られた一方で，sentence2vec は相関が0.07 となり相関はほぼ見られなかった．これは, シラ バスでは教師名と開講日を，C プランでは学生名と引 用文献の著者名を取り除いておらず，ノイズが含まれ てしまったことが精度を悪化させてしまったことが原 因であると推察される． （sentence2vecで残り1分のベル）
- TF-IDF は閾値を 0.20 に設定した場合に適合率が最 も高い 93.61%となり，sentence2vec は閾値を 0.34 に 設定した場合に最大の 35.18%となった．また，7 段 階評価と類似度の相関は TF-IDF が 0.55 となり中程 度の相関が見られた一方で，sentence2vec は相関が0.07 となり相関はほぼ見られなかった．これは, シラ バスでは教師名と開講日を，C プランでは学生名と引 用文献の著者名を取り除いておらず，ノイズが含まれ てしまったことが精度を悪化させてしまったことが原 因であると推察される． （sentence2vecで残り1分のベル）