校務研究系列講演精選（一）：校務研究與方案評估（20160118）
•Download as PPTX, PDF•
2 likes•1,369 views
主講者：王麗雲教授 國立臺灣師範大學教育學系教授 教育就與評鑑中心主任暨調查資料組組長 摘要： 1.說明目前校務研究的發展議題 2.界定校務研究的意義、重要性和限制，尤其高教管理者應注意在運作校務研究時應區別與市場管理法則的差異。 3.以實例說明如何在校務研究導入方案設計與評鑑 4.方案評鑑在校務研究的意義與重要性 注意事項： 簡報內生動的實務案例分析僅保留於現場參與者，不便之處，尚祈見諒
More Related Content
Similar to 校務研究系列講演精選（一）：校務研究與方案評估（20160118）
Similar to 校務研究系列講演精選（一）：校務研究與方案評估（20160118） (20)
Recently uploaded
Recently uploaded (20)
校務研究系列講演精選（一）：校務研究與方案評估（20160118）
- 2. 個人背景 • 公費留學教育評鑑學門 • 高等考試及格 • 國中英語教師 • 師大教育系學士碩士、哈佛大學教育碩士 博士 • 2006 Data Institute • 臺灣高等教育整合資料庫計畫主持人 – 畢業生流向調查 – 高教師生調查(大一、大三、大專教師) • 教師資料庫整合系統主持人 • 財團法人高教評鑑中心研究發展處處長 • 新北市國民中小學校務評鑑計畫主持人 – 問卷調查 – 知識管理平台 2
- 4. 一、議題背景 4
- 6. 基礎工程的建設之一 • 調查是校務資料重要之一環，補足歷程性 資料及意見性資料 • 彭森明老師之高等教育整合資料庫 – 畢業生流向調查 – 高教師生調查 6
- 8. 所以，校務研究非始自今日 • 但校務研究辦公室設立有很重要的功能 – 讓客觀資料和主觀資料適度的整合 – 讓學校各處室的資料有個家 – 讓學校各處室的資料正規化，清理整合 – 讓學校各處室的資料有專人進行整合分析 – 讓分析的結果可以變成資訊，啟動理解， 並導向行動策略 – 讓學校的人員習慣看數據，以據為策 8
- 9. 議題說明 • 校務研究的工作有多面向，但目標只 有一個：校務改進(運作面、辦學面) – 資料庫建置 – 分析研究 – 報告 – 評鑑 9
- 10. 二、校務研究 意義與限制 10
- 11. 校務研究的意義與重要性 校務研究（institutional research）包括 校務與研究兩部份 – 校務，乃是大專校院相關事務與 活動。 – 研究，乃是對某一議題提供系統 性的答案。 11
- 12. 校務研究的意義與重要性 • 蒐集資料或進行有用或必要之研究，以(1)瞭解或解釋機構， (2)對於目前運作或未來規劃作出敏智的決定，(3)改善機 構的效率與效能(Saupe & Montgemery, 1970，2)。 • 校務研究是描述大學或學院中發生的全部功能(教育、行 政、支持)的所有活動。包括資料蒐集分析策略，以支持 組織的決策(Coughlin, Hoey, & Hirano-Nakanishi, 2009)。 • 校務研究是透過資料蒐集、分析、報告，以及教職員探究 (staff work)，以促進高等教育機構的運作與決定(Saupe & Montgemery, 1970，3)。 資料 蒐集 分析 報告 12
- 13. 校務研究的意義與重要性 校務研究與社會科學研究有同有異 相異之處 校務研究的應用性較強，關 心個別學校，較關心問題的 解決，研究問題的發現也較 難推論到其他機構。 相同之處 研究取徑、資料蒐集方法、 倫理守則等頗為一致，個 別學校也可從高等教育研 究成果獲益，個別學校的 研究發現對於社會科學也 會有重要貢獻 跨機構的校務研究與高等 教育研究十分接近，自然 也是社會科學的一環。 13
- 14. 校務研究的意義與重要性 1. 準備營運報告（operational report） 內容包括註冊、學生補助、住宿、財務、 人事、以及其他資料。 是組織運作的核心資料，常見的問題是校 內各單位對資料的掌握情況不一致，校務 研究者的工作是整合資料以便得到一致的 數據，甚至要能設計學校的資訊系統。 14
- 15. 校務研究的意義與重要性 2. 準備分析與總結報告（analytic and summary report） 必須具備明顯的問題意識，對於資料的解 釋也必須小心。 碰到重大議題時，歷史性的資料通常不可 少，方能有助於瞭解該項議題的變化。 15
- 16. 校務研究的意義與重要性 3. 建立分析或模型研究資料（analytical or modeling studies） 有時必須回答一些因果性較強的問題 » 例如預測學生的註冊率，或是解釋影響教授升等 的因素，或是瞭解博士生畢業時間的影響因素 透過現有資料建立模型，可以解釋與預測， 以利組織規劃。 16
- 17. 校務研究的意義與重要性 4. 設計管理資訊系統（management information system） 學校本身應該有資訊管理系統，作為校務 分析的基礎，這些資料與資訊的蒐集、保 存、保管、應用都應該有一套詳細的規劃， 除了要求資訊正確，避免重覆蒐集之外， 更重要的是要為這些資料加值，作為校務 規劃與決策的基礎。 17
- 18. 校務研究的意義與重要性 5. 特定議題研究 例如是否修雙主修的同學在就業上的表現 會優於未修雙主修者？又如教師的教學與 研究時間究竟應該如何分配，方能使其生 產力最高（Toutkoushian, 2006） 舉凡學校中行政、教師、學生、課程、方 案等等的成果，都可以依據需要進行專題 研究，研究的成果可以作為校務規劃或革 新的參考。 18
- 21. 校務研究的意義與重要性 8. 研究支持教育發展 校內有些試辦方案或是新方案，這些方案 本身辦理成效如何？是否應該中止、修正 或繼續？都可以透過校務資料分析。 例如如果發現國際化作法推動後，學生外 語能力或自信心確有提升，便可以認定該 方案的確在提升國際化能力上有幫助。 21
- 23. 校務研究對大專校院的貢獻 總結來說校務研究者的角色如下 資訊規劃者 （information architect） 改變能動者 （change agent） 選擇的顧問 （consultant choice） Delaney, 1997 23
- 24. 校務研究日益重要的角色 • 環境掃描(environmental scanning)：瞭解外部經 濟社會政治環境變化 • 標竿比對(benchmarking)：與類似機構比較 (Delaney,2009) 24
- 28. 質性意見：各系均有 • 那位冷血助教，該換了吧！ • 系辦人員態度不佳。 • 我認為學校應該淘汰許多不適任的教師，例如開了課和 學生說好不上課的教授，或是在校外掛名兼職、開公司之 教師比比皆是。 • 另外校內許多系所教學空間不足，卻有許多年資較久或 退休的教授獨佔多間研討室或實驗室擺設實驗器具當作 參觀品或是私人圖書館的現象， 28
- 30. 學測爭議：清大v.s.台大 ◎反對延後學測 清大：甄選擬拉至7成 • 15年數據分析，繁星推薦、個 人申請學生成績反較優異 • 甄選入學的學生在高中時代多 元學習、參加社團、探索興趣， 時間管理與心性比其他學生優 異。反觀指考生，高三下學期 只是不斷重複小考、讀教科書， 反而欠缺培養其他能力的機會， 上大學後適應力反而弱。 • 那些說指考為了保障弱勢生的 人應該拿出科學數據證明。 ◎高三被撕裂 台大：個人申請9成不知志向 • 繁星跟申請先挑人，當然會收 到最好的學生 • 個人申請的學生仍有高達9成不 知道興趣所在，「才會有這麼 多學生一註冊就休學」 30
- 31. 學測爭議 ◎高中校長：只考高一、高 二，學測延後沒意義 • 高中確實出現「一間教室，兩 個世界」的情況 • 學測延後並非等同學習完整。 ◎網民： • 若台大相關的分析是事實，很簡單 : 減少 繁星和個人申請的名額，因為不適合該校。 若清大相關的分析是事實，很簡單 : 增加 繁星和個人申請的名額，因為較適合該校。 • 是喔 那先考指考 你清大要三成放在指考 七成放在後面的甄試 那請便，想搶學生 就明講 不要搞一堆假理由，到時看你會 不會搶著改指考七成 • 講了半天 就是想收成績好的學生 哪有以 學生為本? • 大學自主我們尊重啦，清大愛要有多少推 甄是他的自主權，但是請清大公開承諾， 不要搞假面試，不要搞和台大同一天面試 綁學生，不要要求學生面試一整天都要在 學生參觀校園。要求：面試至少要每人單 獨面試20-30分鐘，至少要有3-5位教授， 而且全程錄影。 31
- 32. 新聞分析 • 給媒體拍拍手 – 均衡報導、網民空間 • 給大學拍拍手 – 科學數據、長期追蹤觀察、關心教育、 自主管理 • 給高中校長拍拍手 – 問對問題 • 給網民拍拍手 – 關心教育、思辨力強 32
- 33. 新聞分析 • 數據不一樣怎麼辦？ • 那一塊數據被分析？ • 什麼問題被分析？什麼問題未被 分析？ • 為誰在分析數據？ • 光有數據夠不夠？(policy intervention、value、context、etc.) • 數據常是在某種條件假設下存在 33
- 41. 對於校務研究的啟示 • 延畢不全是壞事(雙主修延畢)。 • 特定族群(如休學者)提早辨識，處理其問題可 協助其學習。 • 相關方案規劃可參考研究發現，設定方案 目標，以為改進。 41
- 46. 四、方案評鑑 意義與內容 46
- 47. 校務資料運用類型 • 大學部與研究所學生數比 • 教師平均升等年數 • 僱主滿意度 描述類 • 三年內退休教師人數 • 影響教師升等因素 • 打工對畢業後表現的影響 解釋預測類 • 彈薪方案辦理成效 • 英語學程辦理成效 • 升學管道與學生表現 評鑑類 47
- 48. 校務研究為何需要方案評鑑？ 現況是… • 大學愛求新、嘗試 • 大學愛模仿(institutional Isomorphism) • 嚐試這麼多新方案或作法，那些該留下來？ 48
- 50. 校務研究為何需要方案評鑑？ • 效能與效率：大家都會進步，投入值得嗎？ 做不做沒太大差別，還要做嗎？ • 改進：那裏出問題？那裏辦理績效卓著？ • 決策：方案是否繼續？或是終止？那一種作 法，才是有效的作法。 • 績效責任：給的經費發揮什麼效用？值得 嗎？ • 學習：知道方案有效運作的邏輯。找到新的 著力點 50
- 51. 方案內涵 • 課程(領導學分學程) • 新的措施或制度(體適能提升方案、廢除 二一制度、教學評鑑制度、新升等制度、教學 優良教師獎勵辦法) • Program=Intervention 51
- 52. 評鑑的定義 • 針對方案或政策的運作或結果做系統性 的評估，將之與一組明顯或隱藏的標準 比較，以改進方案或政策。 • 系統性評估 • 方案運作 • 方案結果 • 比較標準 • 改進(讓方案更好或把資源放在更好的方案上) 52
- 53. 什麼方案需要被評鑑？ • 重大方案(花很多人力經費執行者) • 指標性方案(學校重大實驗或改革方案) • 學校主力作為(如學術課程) • 方案成功的機制不明顯，需要探究者(繁星學 生為何在校表現優異？特徵論、同儕論、環境機會論？或 是其他？) 53
- 54. 不適合評鑑的情況 • 方案太小，經費規模不大時(殺雞不必用牛刀) • 方案不穩定，沒有規律性(big problem) • 參與方案者對方案目標意見不一致 • 評鑑的贊助者或方案管理者對評鑑能夠研究的問 題設下嚴格規定 • 經費不足，或缺乏足夠合格人員進行評鑑(做不好 不如不做) 54
- 55. 決策取向的評鑑 • 期中修正 • 方案決定(持續、擴張、制度化、縮減、終止) • 測驗新的方案想法(操性成績對學生操行沒有影響) • 由多個方案中挑選最佳者 • 決定是否資助 55
- 56. 作為組織學習的評鑑 • 記錄方案歷史(執行者特徵、方案特徵、執行歷程與 工具) • 對實務人員回饋(實務工作者的任務是相信，評鑑工 作者的任務是懷疑) • 強調方案目標 • 績效責任 • 瞭解干預效果(什麼是好的incentive) 56
- 57. 評鑑類型 • 歷程性評鑑 • 結果性評鑑 • 形成性評鑑 • 總結性評鑑 57
- 58. 方案評鑑(program review) • 改進高教學習品質 • 新學術管理技術或策略 • 解決財務問題(招生不足、經濟危機) • 外部績效責任需求 • 資源有效能與效率的應用 (Conrad, Wilson, 1985) 58
- 59. 方案評鑑模式 • 目標本位模式：方案達成目標的程度 • 回應模式：利害關係人對方案活動與效能 的看法 • 決策模式：和其他選項比較，方案的成效 如何？ • 鑑賞模式：批評者如何解釋和評鑑方案？ 59
- 60. 如何測量方案的品質 • 聲望觀點(reputational view): 由領域中的專家判斷 • 資源觀點(resources view): 人力財務物理資產等(圖書 館藏、學生錄取率、教授資歷等) • 結果觀點(outcomes view)：如教授著作、學生成就 • 加值觀點(value-added view)：提升學生表現進展 60
- 62. 評鑑設計─自我評鑑 • 由方案參與者自己評鑑 • 較為方便 • 問題是方案執行者或受益者常是利害關係 人，其答案可靠度較有問題。 62
- 63. 評鑑設計：單一團體設計 • 結果可靠性略低，但在學校較容易 操作 • 方案事後設計 • 前後對照 • 劑量反應設計 • 時間序列設計(長期資料蒐集的必要性) • 其他─實驗設計、對照組設計(教育 界較不適合) 63
- 65. 方案評鑑結果的應用狀況 • 組織惰性 • 評鑑實施的狀況(不被信任的評鑑) • 對評鑑的不確定性 • 決策者收到訊息的複雜性 • 政治因素(大小老闆都不喜歡失敗)(為何評鑑單位要 中立，要超然) 65
- 66. 謝謝聆聽，敬請指教 66