Lý thuyết đo lường hiện đại IRT

TRƯỜNG ĐẠI HỌC NHA TRANG
KHOA CÔNG NGHỆ THÔNG TIN

BÁO CÁO
THỰC TẬP CHUYÊN NGÀNH
Đề tài:
TÌM HIỂU LÝ THUYẾT ĐO LƯỜNG HIỆN ĐẠI IRT VÀ CHƯƠNG TRÌNH
MINH HỌA
Giáo viên hướng dẫn: Bùi Đức Dương
Sinh viên thực hiện: Lê Thị Chuyền
MSSV: 50130136
Lớp :50th
2
Khoa : Công nghệ thông tin
Nha Trang tháng 12/2011

GVHD: Bùi Đức Dương
Mục lục
Mục lục..........................................................................................................................2
LỜI NÓI ĐẦU ............................................................................................................4
CHƯƠNG 1: MỞ ĐẦU................................................................................................5
1.1Cơ sở nghiên cứu và mục đích của đề tài...............................................................................5
1.2Cấu trúc bài báo cáo ..............................................................................................................5
CHƯƠNG 2: LÝ THUYẾT ĐO LƯỜNG TRONG GIÁO DỤC..............................6
2.1Khái niệm về đo lường về đánh giá trong giáo dục................................................................6
2.2Lý thuyết đo lường trong giáo dục ........................................................................................6
2.2.2Lý thuyết đo lường hiện đại IRT ................................................................................7
CHƯƠNG 3: HỆ THỐNG E-LEARNING CÁ NHÂN (PELS)..............................10
3.1 Kiến trúc hệ thống...............................................................................................................10
3.2Thành phần hệ thống............................................................................................................12
3.2.1Thành phần giao diện.................................................................................................12
3.2.2Thành phần cá nhân...................................................................................................12
3.3Đánh giá độ khó của câu hỏi trắc nghiệm khách quan ........................................................13
3.3.1Độ khó của CHTNKQ...............................................................................................13
3.3.2Hiệu chỉnh độ khó của câu hỏi...................................................................................15
3.4Đánh giá năng lực người học................................................................................................15
3.5Giới thiệu bài học.................................................................................................................16
CHƯƠNG 4: XÂY DỰNG NGÂN HÀNG CÂU HỎI VỚI GOOGLE DOCS.......17
4.1Giới thiệu về google docs.....................................................................................................17
4.2Cách tạo câu hỏi với google docs.........................................................................................17
CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM..............................................................24
2
SVTH: Lê Thị Chuyền 50th
2

5.1Môi trường cài đặt................................................................................................................24
5.2Tạo câu hỏi trắc nghiệm tin học văn phòng với google docs...............................................26
5.3Cài đặt một số thuật toán......................................................................................................28
5.3.1Thuật toán MLE.........................................................................................................28
5.3.2Thuật toán ước lượng năng lực thí sinh bằng phương pháp lặp ...............................31
............................................................................................................................................31
KẾT LUẬN.................................................................................................................34
3
2

LỜI NÓI ĐẦU
Một trong những mục tiêu của công cuộc giáo dục nước ta là đổi mới chất lượng giáo
dục nhằm nâng cao chất lượng giáo dục .Vai trò của việc kiểm tra đánh giá trong tiến
trình nâng cao đổi mới giáo dục nhằm nâng cao chất lượng đào tạo đã được khẳng định
như một chiến lược ,một chính sách giáo dục quốc gia.
Thực tiễn công tác kiểm tra ,đánh giá ở các trường học chi chú trọng kiến thức ghi nhớ
hơn là rèn kỹ năng và năng lực học sinh. Công tác kiểm tra ,đánh giá chịu sức ép của thi
cử ,bệnh thành tích .Các kết quả kiểm tra thường để xếp loại học sinh hơn là tìm ra điểm
yếu mạnh của học sinh để giúp học sinh tiến bộ và định hướng cho giáo viên trong việc
cải tiến phương pháp giảng dạy.
Đánh giá trong giáo dục là công cụ để xác định năng lực nhận thức người học ,điều
chỉnh quá trình dạy học.Đổi mới phương pháp dạy học được chú trọng để đáp ứng những
yêu cầu mới của mục tiêu giáo dục nên việc kiểm tra,đánh giá phải chuyển biến theo
hướng phát triển trí thông minh, sáng tạo của học sinh , khuyến khích vận dụng linh hoạt
các kiến thức , kỹ năng đã học vào những tình huống thực tế, làm bộc lộ khả năng của học
sinh. Đánh giá không chỉ thực hiện thời điểm cuối cùng của mỗi giai đoạn giáo dục mà
trong cả quá trình giáo dục .
Hướng tới yêu cầu kiểm tra đánh giá công bằng ,khách quan kết quả học tập của học
sinh , ngoài phương pháp đánh giá bằng quan sát và vấn đáp , trong phương pháp viết
người ta bổ sung các hình thức đánh giá khác như đưa thêm các dạng câu hỏi trắc nghiệm
khách quan, chú ý hơn tới việc đánh giá cả quá trình lĩnh hội tri thức của học sinh , quan
tâm tới việc tích cực hóa hoạt động học tập .Trên cơ sở nắm chắc kiến thức đo lường và
đánh giá trong giáo dục ,cần tiến hành xây dựng ngân hàng câu hỏi trăc nghiệm (gồm cả
câu hỏi TNKQ và TL ) chuẩn hóa cho từng môn học của mỗi cấp học hay bậc học . Sử
dụng ngân hàng này , học sinh có thể tự ôn tập kiểm tra kiến thức ,giáo viên có thể sử
dụng để kiểm tra đánh giá .
4
2

Xuất phát từ thực tế cấp thiết như vậy nên em đã chọn đề tài “Tìm hiểu lý thuyết đo
lường hiện đại IRT và cài đặt minh họa”. Mặc dù đã có nhiều cố gắng nhưng do những
lý do khách quan cũng như chủ quan nên trong quá trình thực hiện đồ án sẽ không tránh
khỏi những thiếu sót. Rất mong được sự đóng góp ý kiến của quý thầy cô và các bạn.
Cuối cùng em xin chân thành cảm ơn thầy Bùi Đức Dương đã giúp đỡ em trong thời
gian qua để em hoàn thành đồ án này. Cũng như các thầy cô trong khoa Công nghệ Thông
tin trường Đại học Nha Trang đã tạo điều kiện thuận lợi cho em trong thời gian làm đồ án.
CHƯƠNG 1: MỞ ĐẦU
1.1 Cơ sở nghiên cứu và mục đích của đề tài
Lý thuyết đo lường hiện đại ra đời vào thập niên 1970 đã tỏ rõ nhiều ưu điểm nổi trội
so với các lý thuyết đo lường cổ điển trong việc áp dụng vào khoa học đo lường trong
giáo dục. Tuy nhiên, số lượng các nghiên cứu về IRT tại Việt Nam còn ít, chủ yếu là dừng
lại ở mức độ lý thuyết.
Việc ứng dụng lý thuyết đo lường hiện đại IRT vào khoa học đo lường trong giáo dục,
cụ thể là việc đánh giá bộ đề thi và xác định chính xác năng lực người học là việc làm cần
thiết và có nhiều ý nghĩa thực tiễn.
Đề tài này nghiên cứu tổng hợp lý thuyết đo lường hiện đại IRT và đề xuất hệ thống E-
Learning ước lượng năng lực người học và hỗ trợ việc học tập sử dụng thông tin phản hồi
từ người học và các câu hỏi trắc nghiệm thì được soạn google docs .
1.2 Cấu trúc bài báo cáo
Bài báo cáo được chia thành 4 chương:
Chương 1: Tóm tắt cơ sở nghiên cứu mục đích của đề tài và cấu trúc của bài báo cáo
Chương 2: Tổng quan về lý thuyết đo lường trong giáo dục.
Chương 3: Hệ thống E-learning cá nhân (PELS)
Chương 4: Xây dựng ngân hàng câu hỏi với google docs.
Chương 5: Kết quả thực nghiệm
Kết luận
5
2

CHƯƠNG 2: LÝ THUYẾT ĐO LƯỜNG TRONG GIÁO
DỤC
2.1Khái niệm về đo lường về đánh giá trong giáo dục
Đánh giá là một khâu quan trọng trong quá trong quá trình giáo dục .Quá trình giáo dục
nào mà một con người tham gia cũng nhằm tạo ra những biến đổi nhất định trong con
người đó . Muốn biết những biến đổi đó xảy ra ở mức độ nào phải đánh giá hành vi của
người đó trong một tính huống nhất định . Sự đánh giá cho phép chúng ta xác định mục
tiêu giáo dục được đặt ra có phù hợp hay không và có đạt được hay không ,việc giảng dạy
có thành công hay không , người học có tiến bộ hay không .
Đo lường ((Measurement) là quá trình thu nhập thông tin một cách định lượng (số đo)
về các đại lượng đặc trưng của đào tạo năng lực (nhận thức, tư duy ,kỹ năng và phẩm chất
nhân văn ) trong quá trình giáo dục .
2.2Lý thuyết đo lường trong giáo dục .
Khoa học đo lường trong giáo dục thật sự có thể xem như bắt đầu cách đây chỉ khoảng
một thế kỷ (Thorndike,1904). Ở châu Âu và đặc biệt là ở Mỹ, lĩnh vực khoa học này phát
triển mạnh vào thời kỳ từ trước và sau thế chiến thứ hai với vài dấu mốc quan trọng như
trắc nghiệm trí tuệ Stanford-Binet (xuất bản năm 1916), chấm trắc nghiệm bằng máy của
IBM năm 1935…
Tại Việt Nam trước năm 1975, ở miền Bắc, chỉ có một số nghiên cứu về đo lường
trong tâm lý, trong khi ở miền Nam có một vài chuyên gia được đào tạo ở Mỹ về lĩnh vực
này và kỳ thi tú tài năm 1974 đã triển khai bằng phương pháp trắc nghiệm khách quan.
Cho đến thập niên 1990, sự phát triển khoa học về đo lường trong giáo dục ở Việt Nam
vẫn rất yếu. Để khắc phục tình hình trên, Bộ GD-ĐT đã mời một số chuyên gia từ nước
ngoài sang tổ chức hội thảo, xuất bản sách, mặt khác cử một số giáo chức đại học đi học ở
nước ngoài về khoa học này, và cho đến nay đã có hàng chục đề tài thạc sỹ, tiến sỹ về lĩnh
vực liên quan.
2.2.1 Lý thuyết đo lường cổ điển CTT (Classical Test Theory)
6
2

Lý thuyết này dựa trên công thức cơ bản: X = T + E
Trong đó T (true score) là số đo năng lực thực sự của thí sinh trong kỹ năng đang được đo lường, X (observed score) là điểm
thực tế và E (error) là sai số.
Vì T không thể đo trực tiếp được nên T được giả định là trung bình của X. Chính giả
định này là một trong các điểm yếu của CTT vì X phụ thuộc vào câu hỏi nên trị trung
bình cũng thế trong khi T là số đo năng lực thật sự của thí sinh và phải độc lập với câu
hỏi.
2.2.2 Lý thuyết đo lường hiện đại IRT
Chỉ đến thập niên 1970 thì các mô hình đo lường dựa trên IRT mới ra đời .Nhờ các
phương pháp tính toán có tốc độ rất cao dựa vào máy tính ,IRT phát triển nhanh và thu
được nhiều thành tựu trong ba thập niên cuối thế kỷ 20 bước sang thế kỷ 21.
IRT xây dựng mô hình tính toán để xử lý dữ liệu dựa trên việc nghiên cứu mọi cặp
tương tác nguyên tố “Thí sinh- câu hỏi” (TS-CH) khi triển khai một TNKQ . Mỗi TS
đứng trước một CH sẽ đáp ứng như thế nào ,điều đó phụ thuộc vào năng lực tiềm ẩn của
TS và các đặc trưng của CH .
Hiện nay các 3 mô hình tính toán phổ biến trong IRT : mô hình 1 tham số (mô hình
Rasch) chỉ xét đến độ khó của CH, mô hình 2 tham số có xét đến độ phân biệt của CH, và
mô hình xét thêm mức độ đoán mò của TS khi trả lời CH.So với lý thuyết trắc nghiệm cổ
điển ,Lý thuyết trắc nghiệm hiện đại với IRT có những ưu quan trọng hơn.
Trong lý thuyết cổ điển độ khó ,độ phân biệt của CH tính được sẽ phụ thuộc vào mẫu
thí sinh được chọn để thử nghiệm , và năng lực xác định được của TS phụ thuộc vào đề
trắc nghiệm mà TS làm.
Công thức 1 diễn tả đường cong IRT với 3 tham sô:
)(1
1
1
)1()( b
e
ccP −−
+
−+= θ
θ
Trong đó :
a, b, c tương ứng là độ phân biệt, độ khó và độ đoán mò của câu hỏi.
7
2

θ, P(θ) tương ứng là năng lực và xác suất trả lời đúng câu hỏi của thí sinh
Hình 1. Một số đường cong IRT
Căn cứ đường cong IRT, nếu biết được năng lực của thí sinh, chúng ta có thể suy ra các
tham số đặc trưng của câu hỏi (a, b, c) và ngược lại, nếu có a, b, c ta dễ dàng xác định
được θ.
Đây là vòng luẩn quẩn “con gà - cái trứng” trong khi xác định năng lực của thí sinh và
tham số câu hỏi. Phương pháp phổ biến hiện nay là giả thiết năng lực của thí sinh là
θ0(thường cho ở mức trung bình), dùng phương pháp lặp để tìm ra θn sau n bước. Bước
xác định sẽ dừng nếu kết quả của 2 bước liên tiếp (θi và θi+1) sai khác không đáng kể.
Với IRT ,thành tựu kỳ diệu nhất mà mô hình toán mang lại là các tham số đặc trưng
của CH (liên quan đến độ khó, độ phân biệt ,mức độ đoán mò) không phụ thuộc mẫu thử
để định cỡ CH (same-free), và năng lực đo được của TS không phụ thuộc vào bài thi trắc
nghiệm cụ thể (item- free) được lấy từ ngân hàng câu hỏi (NHCH) đã được định cỡ.
8
2

Như vậy,theo IRT, mỗi câu hỏi có các thuộc tính đặc trưng cho nó , và mỗi TS ở một
trình độ nào đó có một năng lực tiềm ẩn xác định , các thuộc tính và đặc trưng này không
phụ thuộc vào phép đo , hoặc nói cách khác chúng là bất biến (invariance).
Cũng tương tự như phép đo độ dài : mỗi cái thước dùng để đo kích thước và kiểu khắc
độ xác định ,mỗi vật thể đo có chiều dài xác định ,phép đo là sự so sánh cái thước với vật
được đo để biết được chiều dài vốn có của vật được đo ,các phép đo khác nhau không
được làm thay đổi các thuộc tính vốn có của cái thước cũng như độ dài của vật đo.
Thành tựu căn bản nói trên của IRT cũng đem lại số ưu điểm quan trọng cho trắc
nghiệm hiện đại .IRT cho phép tính các hàm thông tin của từng CH và của cả ĐTN và sai
số chuẩn của phép đo theo các mức năng lực tiềm ẩn chứ không phải là sai số chuẩn trung
bình chung cho cả phép đo trắc nghiệm cổ điển, Từ đó có thể thiết kế một ĐTN cho phép
đo chính xác khoảng năng lực nào mà ta mong muốn.Hơn nữa ,IRT cho phép thiết kế các
ĐTN với mức độ tương đương rất cao để đảm bảo các ĐTN khác nhau có thể cho cùng
một kết quả như nhau khi đánh giá năng lực của một TS nào đó.
Các thành tựu quan trọng đó của IRT đã nâng cao độ chính xác của phép đo lường
trong tâm lý giáo dục lên một tầm cao mới về chất so với các lý thuyết đo lường cổ
điển .Từ thành tựu tổng quát đó của IRT , người ta có thể đưa ra các quy trình để xây
dựng NHCH (item banking) ,phân tích các kết quả TNKQ để tu chỉnh NHCH, chủ động
thiết kế các đề trắc nghiệm (ĐTN) theo các mục tiêu mong muốn.
Với việc ứng dụng các kết quả của khoa học đo lường hiện đại không chỉ giới hạn
trong giáo dục .IRT áp dụng tốt cho các loại trắc nghiệm tâm lý , trắc nghiệm bệnh lý
trong y tế , cho việc thiết kế các bảng hỏi và xử lý kết quả của các cuộc điều tra tâm lý xã
hội ,điều tra thị trường khác nhau . Tóm lại ,nó là công cụ quan trọng cho việc nghiên cứu
các phản ứng của con người trong các khoa học hành vi.
9
2

CHƯƠNG 3: HỆ THỐNG E-LEARNING CÁ NHÂN (PELS)
3.1 Kiến trúc hệ thống
Mô hình này bao gồm 3 thành phần hệ thống. Thành phần giao diện (Interface Agent)
giúp hệ thống tương tác với người sử dụng, thành phần phản hồi (Feedback Agent) nhận
thông tin phản hồi từ người học và thành phần giới thiệu khóa học (Courses
recommendation Agent) giúp hệ thống đưa ra danh sách các bài học phù hợp với người sử
dụng.
.
Hình 1. Kiến trúc hệ thống PELS
.
Trong 3 CSDL của hệ thống, CSDL các bài học (Courses Database) sẽ lưu trữ các bài
học với độ khó khác nhau. CSDL tài khoản người học (User Account Database) dùng để
chứa tài khoản đăng nhập còn CSDL thông tin người học (User Profile Database) là nơi
lưu trữ các thông tin liên quan năng lực, hành vi người sử dụng.
10
2

Thủ tục học trên hệ thống PELS được mô tả thông qua 15 bước cụ thể dựa theo kiến
trúc như sau:
Bước 1. Thu thập thông tin người học và xác nhận bài học yêu cầu để tìm các bài học
thông qua thành phần giao diện.
Bước 2. Nhận biết tình trạng người học dựa trên các thông tin cá nhân thông qua
CSDL người dùng.
Bước 3. Nạp khả năng học dựa trên việc chọn bài từ CSDL thông tin. (Nếu là người
mới truy cập, hệ thống sẽ gán một mức độ vừa phải)
Bước 4. Chọn các bài học giới thiệu từ CSDL bài học cho học viên thông qua khả năng
người học.
Bước 5. Hiển thị các bài học cho người học và đợi các phản hồi (Sau khi người học lựa
chọn thành phần bài học, họ được hỏi để trả lời hai câu hỏi được gán)
Bước 6. Lựa chọn các đáp ứng phản hồi sử dụng thành phần phản hồi
Bước 7. Đánh giá lại các khả năng người học dựa trên các phản hồi đáp ứng trên các
bài học.
Bước 8. Hiệu chỉnh các tham số khó của các thành phần bài học trong CSDL bài học.
Bước 9. Lưu trữ các khả năng mới của người học vào CSDL thông tin người dùng.
Bước 10. Lưu trữ các tham số khó của thành phần bài học đã được hiệu chỉnh
Bước 11. Gửi năng lực người học mới đánh giá lại cho thành phần giới thiệu bài học.
Bước 12. Lựa chọn các phần cho người học dựa trên việc sắp xếp các thông tin.
Bước 13. Ghi lại mã của bài học vừa giới thiệu, tránh việc trùng lắp.
Bước 14. Liệt kê các thành phần bài học giới thiệu đưa ra giao diện.
Bước 15. Người học lựa chọn bài học dựa trên kết quả mà hệ thống giới thiệu.
11
2

Lặp lại bước 5 đến 15 cho đến khi người dùng hoặc chọn bài học khác hay đưa ra điều
kiện truy vấn mới để tìm bài học. Tiến trình có thể dừng nếu người học đăng xuất khỏi hệ
thống.
3.2Thành phần hệ thống
3.2.1 Thành phần giao diện
Thành phần giao diện trong hệ thống dùng để cung cấp giao diện thân thiện tương tác
với người dùng và cũng là kênh thông tin giao tiếp với thành phần cá nhân. Thành phần
này cung cấp các chức năng quản lý đăng nhập, tìm kiếm người học và truy vấn yêu cầu.
Khi đăng nhập hệ thống lần đầu tiên, người dùng sẽ được yêu cầu tạo một tài khoản
mới. Căn cứ vào truy vấn người học, giao diện sẽ đưa ra danh sách bài học đồng thời nhận
thông tin phản hồi sau khi làm bài của người học. Thông tin này sẽ được chuyển đến
thành phần cá nhân cho các bước tiếp theo là xác định năng lực người học và hiệu chỉnh
độ khó của câu hỏi.
Bảng câu hỏi chứa 2 câu hỏi “”Bạn nghĩ gì về độ khó của bài học này ?” và “bạn có
hiểu nội dung của bài học này hay không? ” Câu hỏi dầu tiên đòi hỏi người trả lời chọn 1
mức độ “rất khó”,”khó”,”vùa phải”,”dễ”,”rất dễ”.Trả lời câu hỏi thứ 2 có 2 lực chọn “có”
hoặc “không”.Phản hồi của người học được gửi đến thành phần cá nhân để đánh giá lại
khả năng của người học và hiệu chỉnh lại độ khó của câu hỏi.
3.2.2 Thành phần cá nhân
Thông tin phản hồi của người học được thành phần giao diện chuyển đến thành phần cá
nhân. Thành phần cá nhân bao gồm thành phần phản hồi và thành phần giới thiệu khóa
học được mô tả trong Hình 3.
Sau khi nhận thông tin phản hồi từ thành phần hệ thống, thành phần cá nhân sử dụng
giải thuật đánh giá MLE để xác định năng lực người học. Đồng thời, hệ thống hiệu chỉnh
độ khó của bài học. Thành phần cá nhân cũng sẽ đưa ra danh sách các bài học cho thành
phần giới thiệu các khóa học.
12
2

3.3Đánh giá độ khó của câu hỏi trắc nghiệm khách quan
3.3.1 Độ khó của CHTNKQ
Để giới thiệu độ khó phù hợp của câu hỏi trắc nghiệm khách quan cho người học .Tác
giả đã đề xuất hàm đặc trưng câu hỏi trắc nghiệm bởi mô hình Rash với 1 tham số là độ
khó .Hệ thống này xem xét cả độ khó của câu hỏi và khả năng của người học.Một câu hỏi
quá khó sẽ làm khó khăn cho người học .Ngược lại câu hỏi quá dễ dàng sẽ làm cho người
học không có cảm giác thử thách và do đó gây lãng phí thời gian. Vì vậy cần cung cấp
những câu hỏi với độ khó phù hợp cho người học là quan trọng đối với hệ thống học tập .
Các tác giả đã sử dụng đề xuất mức độ khó gồm 5 mức của Likert vào năm 1932
(Likert, 1932) để định nghĩa độ khó của câu hỏi. Việc hiệu chỉnh độ khó dựa vào 3 định
nghĩa sau đây.
Định nghĩa 2.3.1. Độ khó của câu hỏi được định nghĩa trên cơ sở 5 mức như sau:
D = {D1, D2, D3, D4, D5} tương ứng với các mức {Rất dễ, Dễ, Trung bình, Khó, Rất khó}
13
2

Hình 3 . Thành phần cá nhân PELS
Định nghĩa 2.3.2. Độ khó trung bình của câu hỏi thứ j dựa trên tổng hợp các đánh
giá của người học:
Trong đó:
bj(voting) là độ khó trung bình của câu hỏi thứ j
nij số người chọn mức khó là i cho câu hỏi j
Nj là tổng số người bình chọn cho câu hỏi j
14
2

3.3.2 Hiệu chỉnh độ khó của câu hỏi
Định nghĩa 2.3.3. Độ khó được hiệu chỉnh của câu hỏi thứ j dựa trên công thức:
Trong đó:
bj(tuned) là độ khó được hiệu chỉnh sau một thời gian bầu chọn
w là trọng số hiệu chỉnh
bj(voiting) là độ khó bầu chọn tính theo Định nghĩa 2.3.2
3.4Đánh giá năng lực người học
Để đánh giá năng lực, người học sẽ được kiểm tra qua n bài thi, từ bài 1 đến n bài. Mỗi
bài thi có một tham số đi kèm tương ứng là u1, u2, …, un. Khi làm một bài thi, người học
sẽ được hỏi có hiểu được hay không. Nếu làm được câu thứ i thì ui=1, ngược lại thì ui=0.
Nếu là câu hỏi trắc nghiệm thì ui=1 khi câu trả lời là đúng, nếu trả lời sai thì ui=0.
Tiếp đó, các tác giả đã sử dụng kết quả giả thuật MLE được Horward đưa ra năm 1990
để xác định năng lực người học. Công thức cụ thể như sau:
Trong đó
và
Qj(θ) = 1- Pj(θ)
15
2
bj(tuned)= w* bj(initial) + (1-w) * bj(voiting)
là năng lực người học được đánh giá sau n bài học

Pj(θ) là xác suất người học có thể làm đúng câu thứ j với năng lực là hiện tại là θ.
Ngược lại, Qj(θ) là xác suất người học làm sai câu j. uj là tham số có giá trị 0 hoặc 1 đã
giới thiệu trên đây.
3.5Giới thiệu bài học
Sau khi thành phần phản hồi đánh giá lại khả năng người học, thành phần giới thiệu bài
học sẽ giới thiệu các bài học phù hợp với người học. Hàm thông tin IF (Hambleton,
Swaminathan, Rogers, 1991) sẽ được sử dụng để tính toán độ phù hợp của các bài học đối
với học viên có năng lực θ.
Trong đó Ij(θ) là giá trị trả về của hàm thông tin dựa trên năng lực người học (θ) và độ
khó của bài thứ j (bj(tuned)). Từ đây, thành phần giao diện sẽ giới thiệu các bài học theo
chiều giảm dần của giá trị hàm thông tin, tương ứng với độ phù hợp giảm dần của bài học.
Sơ đồ của quá trình giới thiệu bài học được miêu tả trong Hình 4.
Hình 2 . Quy trình giới thiệu bài học
16
2

CHƯƠNG 4: XÂY DỰNG NGÂN HÀNG CÂU HỎI VỚI
GOOGLE DOCS.
4.1Giới thiệu về google docs
Từ tháng 6 năm 2008, Google Docs đã bổ sung thêm tính năng tạo bảng hỏi và thu
nhận kết quả trả lời bảng hỏi trực tuyến. Đây là một chức năng khá tốt đối với những
người làm nghiên cứu khi cần thu thập, xử lý dữ liệu trực tuyến. Bảng hướng dẫn được
viết ra này nhằm giúp cho người mới bắt đầu với Google Docs có thể tạo và sử dụng bảng
hỏi cho riêng mình.
Bảng hỏi được tạo bởi Google Docs (GDS) đảm bảo các yêu cầu cơ bản của một bảng
hỏi. Các loại câu hỏi có thể sử dụng gồm: câu lựa chọn (chỉ chọn 1 phương án trả lời), câu
kiểm (chọn nhiều phương án trả lời), câu trả lời tự do (một câu, một đoạn văn, một cụm từ
từ một danh sách cho sẵn), câu đánh giá (theo thang chia). Bảng hỏi được thiết kế trên
nền web, truy cập từ một trình duyệt web bất kỳ. Người câu hỏi (tác giả bảng hỏi) có thể
gửi yêu cầu câu hỏi đến người nhận bất kỳ qua e-mail hoặc gửi liên kết đến bảng hỏi lên
một trang web.Kết quả trả lời bảng hỏi sẽ được GDS thu thập tự động và lưu vào một
bảng tính trong tài khoản Docs của tác giả bảng hỏi. Từ bảng tính này, có thể xuất ra tập
tin đĩa dưới nhiều dạng khác nhau (cvs, html, ods, xls, pdf, txt) tùy theo yêu cầu. Tác giả
của bảng hỏi hoặc người trả lời bảng hỏi có thể xem kết quả điều tra dưới dạng tóm tắt
bằng các biểu đồ hoặc một bảng tính đầy đủ (chỉ dùng cho tác giả).
4.2Cách tạo câu hỏi với google docs
Việc tạo một bảng câu hỏi trực tuyến trong Google Docs là tương đối dễ dàng và không
đòi hỏi nhiều kiến thức chuyên ngành về tin học. Các bước thực hiện như sau:
Bước 1. Chuẩn bị:
- Tạo một tài khoản Google.
- Chuẩn bị danh sách câu hỏi và các lựa chọn cho bảng câu hỏi.
17
2

- Truy cập Google Docs tại địa chỉ http://docs.google.com/ bằng một chương trình
duyệt web (Chrome, Mozilla Firefox,…).
Bước 2. Tạo bảng câu hỏi thông qua chức năng tạo mới một Form:
Tại trang Google Docs, chọn Create New > Form.
Hình 5. Tạo mới một Form.
để chuyển tới màn hình bảng câu hỏi (Hình 6):
18
2

Hình 6. Màn hình soạn thảo Bảng câu hỏi.
Bước 3. Soạn thảo Bảng câu hỏi:
Tại màn hình này, ta sẽ soạn thảo nội dung cho bảng câu hỏi (tạo các câu hỏi). Nhưng
trước hết, ta sẽ điểm qua một số các chức năng hỗ trợ có trên màn hình (Hình 6):
Theme: Plain -> Lựa chọn các chủ đề (themes) hoặc nền (background) cho bảng câu hỏi.
[FIELD: Untitled Form] -> Điền tiêu đề cho bảng câu hỏi.
+Add Item -> Thêm câu hỏi . Cho phép lựa chọn các dạng câu hỏi khác nhau: Text,
Paragraph text, Multiple choice, Checkboxes, Choose from the list, Scale, Grid.
Question Title -> Nội dung câu hỏi.
Help text -> Giải thích thêm cho câu hỏi.
Question Type -> Lựa chọn loại câu hỏi trong các dạng sau:
- Text: Trả lời bằng một dòng.
- Paragraph text: Trả lời bằng một đoạn văn bảng.
- Multiple choice: Trả lời bằng cách chọn một trong nhiều phương án cho trước.
19
2

- Checkboxes: Trả lời bằng cách chọn nhiều phương án.
- Choose from the list: Chọn trả lời từ danh sách.
- Scale: Đánh giá trên thang chia điểm.
[checkbox] Make this as a required question -> Lựa chọn bắt buộc trả lời câu hỏi.
Pencil icon -> Nút lệnh cho phép chỉnh sửa câu hỏi.
Box icon -> Nút lệnh cho phép sao chép câu hỏi.
Trash box icon -> Nút lệnh cho phép xóa câu hỏi.
Done -> Nút lệnh cho phép thêm câu hỏi vào bảng câu hỏi (Sau khi câu hỏi đã được soạn
thảo xong).
Save -> Nút lệnh cho phép lưu bảng câu hỏi.
Ví dụ:
+ Tạo câu hỏi câu hỏi dạng Multiple choice như sau (Hình 7):
Câu hỏi: chọn phương án ghéo đúng nói về thuật ngữ tin học: Tin học là:
a. Ngành khoa học về xử lý thông tin tự động dựa trên máy tính điện tử.
b. áp dụng máy tính trong các hoạt động xử lý thông tin.
c. máy tính và các công việc liên quan đến máy tính điện tử.
d. lập chương trình cho máy tính .
20
2

Hình 7. Tạo câu hỏi dạng Multiple choice.
+ Tạo câu hỏi dạng Text (Hình 4):
MSSV:
Hình 8. Tạo câu hỏi dạng Text.
Bước 4. Xuất bản bảng câu hỏi: Đưa bảng câu hỏi đến người học.
Có nhiều cách để thực hiện bước này như:
Cách 1: Xuất bản bảng câu hỏi dạng bảng tính trong Google Docs bằng cách:
- Nhấn vào liên kết phía dưới trình duyệt (Hình 5):
Hình 1. Liên kết tới bảng câu hỏi (xuất bản).
21
2

Bảng câu hỏi sẽ xuất hiện như hình (Hình 6):
Hình 9. Màn hình Bảng câu hỏi (xuất bản).
- Gửi đường link trên thanh địa chỉ cho người học.
Cách 2: Nhúng bảng câu hỏi vào trang web và công bố trang web để người học phản hồi.
Cách thực hiện như sau:
- Nhấn vào nút More actions > chọn Embed.
Hình 10. Nút lệnh thực hiên các hình thức xuất bản khác của Bảng câu hỏi.
- Sao chép đoạn mã cho bởi Google Docs và chèn nó vào trang web lấy ý kiến người
học.
Cách 3: Gửi email kèm bảng câu hỏi:
- Nhấn vào nút Email this form, đến hộp thoại:
22
2

Hình 11. Gửi Bảng câu hỏi qua Email tới người học.
- Điền địa chỉ người học cần gửi vào ô to: rồi nhấn nút Send.
Bước 5. Thu thập và xử lý thông tin phản hồi từ người học.
Việc thu thập thông tin phản hồi từ bảng câu hỏi được Google Docs thực hiện một cách tự
động và đưa vào một bảng tính (spreadsheet) (Hình 9). Giảng viên có thể lấy thông tin
từ bảng tính này để phân tích và có những điều chỉnh phù hợp.
Hình 12. Bảng tính (Spreadsheet) lưu trữ thông tin phản hồi từ người học.
Ngoài ra, ta cũng có thể xem bảng tổng hợp tự động (Hình 13) các phản hồi của Google
Docs bằng cách:
- Tại trang soạn thảo bảng câu hỏi, nhấn nút See responses > Sumary
23
2

để tới trang tổng hợp như hình:
Hình 13. Bảng tổng hợp các phản hồi.
CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
5.1Môi trường cài đặt
Ngôn ngữ C# khá đơn giản, chỉ khoảng 80 từ khóa và hơn mười mấy kiểu dữ liệu được
xây dựng sẵn. Tuy nhiên, ngôn ngữ C# có ý nghĩa cao khi nó thực thi những khái niệm
lập trình hiện đại. C# bao gồm tất cả những hỗ trợ cho cấu trúc, thành phần component,
lập trình hướng đối tượng. Những tính chất đó hiện diện trong một ngôn ngữ lập trình
hiện đại. Và ngôn ngữ C# hội đủ những điều kiện như vậy, hơn nữa nó được xây dựng
trên nền tảng của hai ngôn ngữ mạnh nhất là C++ và Java.
24
2

Ngôn ngữ C# được phát triển bởi đội ngũ kỹ sư của Microsoft, trong đó người dẫn đầu
là Anders Hejlsberg và Scott Wiltamuth. Cả hai người này điều là những người nổi tiếng,
trong đó Anders Hejlsberg được biết đến là tác giả của Turbo Pascal, một ngôn ngữ lập
trình PC phổ biến. Và ông đứng đầu nhóm thiết kế Borland Delphi, một trong những
thành công đầu tiên của việc xây dựng môi trường phát triển tích hợp (IDE) cho lập trình
client/server.
Phần cốt lõi hay còn gọi là trái tim của bất cứ ngôn ngữ lập trình hướng đối tượng là sự
hỗ trợ của nó cho việc định nghĩa và làm việc với những lớp. Những lớp thì định nghĩa
những kiểu dữ liệu mới, cho phép người phát triển mở rộng ngôn ngữ để tạo mô hình tốt
hơn để giải quyết vấn đề. Ngôn ngữ C# chứa những từ khóa cho việc khai báo những kiểu
lớp đối tượng mới và những phương thức hay thuộc tính của lớp, và cho việc thực thi
đóng gói, kế thừa, và đa hình, ba thuộc tính cơ bản của bất cứ ngôn ngữ lập trình hướng
đối tượng.
Trong ngôn ngữ C# mọi thứ liên quan đến khai báo lớp điều được tìm thấy trong phần
khai báo của nó. Định nghĩa một lớp trong ngôn ngữ C# không đòi hỏi phải chia ra tập tin
header và tập tin nguồn giống như trong ngôn ngữ C++. Hơn thế nữa, ngôn ngữ C# hỗ trợ
kiểu XML, cho phép chèn các tag XML để phát sinh tự động các document cho lớp. C#
cũng hỗ trợ giao diện interface, nó được xem như một cam kết với một lớp cho những
dịch vụ mà giao diện quy định. Trong ngôn ngữ C#, một lớp chỉ có thể kế thừa từ duy
nhất một lớp cha, tức là không cho đa kế thừa như trong ngôn ngữ C++, tuy nhiên một lớp
có thể thực thi nhiều giao diện. Khi một lớp thực thi một giao diện thì nó sẽ hứa là nó sẽ
cung cấp chức năng thực thi giao diện.
Trong ngôn ngữ C#, những cấu trúc cũng được hỗ trợ, nhưng khái niệm về ngữ nghĩa
của nó thay đổi khác với C++. Trong C#, một cấu trúc được giới hạn, là kiểu dữ liệu nhỏ
gọn, và khi tạo thể hiện thì nó yêu cầu ít hơn về hệ điều hành và bộ nhớ so với một lớp.
Một cấu trúc thì không thể kế thừa từ một lớp hay được kế thừa nhưng một cấu trúc có thể
thực thi một giao diện.
25
2

Ngôn ngữ C# cung cấp những đặc tính hướng thành phần (component-oriented), như là
những thuộc tính, những sự kiện. Lập trình hướng thành phần được hỗ trợ bởi CLR cho
phép lưu trữ metadata với mã nguồn cho một lớp. Metadata mô tả cho một lớp, bao gồm
những. phương thức và những thuộc tính của nó, cũng như những sự bảo mật cần thiết
và những thuộc tính khác. Mã nguồn chứa đựng những logic cần thiết để thực hiện những
chức năng của nó.. Do vậy, một lớp được biên dịch như là một khối self-contained,
nên môi trường hosting biết được cách đọc metadata của một lớp và mã nguồn cần thiết
mà không cần những thông tin khác để sử dụng nó.
Một lưu ý cuối cùng về ngôn ngữ C# là ngôn ngữ này cũng hỗ trợ việc truy cập bộ nhớ
trực tiếp sử dụng kiểu con trỏ của C++ và từ khóa cho dấu ngoặc [] trong toán tử. Các mã
nguồn này là không an toàn (unsafe). Và bộ giải phóng bộ nhớ tự động của CLR sẽ không
thực hiện việc giải phóng những đối tượng được tham chiếu bằng sử dụng con trỏ cho đến
khi chúng được giải phóng.
5.2Tạo câu hỏi trắc nghiệm tin học văn phòng với google docs
Sau khi thiết kế thử nghiệm với google docs và tìm hiểu về môn tin học cơ sở thì kết
quả đã tạo ra được 100 câu hỏi trắc nghiệm trong đó có 50 câu hỏi về windows,25 câu
hỏi về Microsoft Word, 25 câu hỏi về Microsoft Exel ,đề thi trắc nghiệm này được gửi
qua mail cho các thí sinh hoặc ta có thể gửi cho thí sinh đường link :
https://docs.google.com/spreadsheet/ccc?
key=0ArEETRZilvOedDM0UUFiRlktR2xvTkpZeWxRaUpaRHc#gid=0 để thí sinh gửi
phản hồi.
26
2

Hình 14:Đề thi hiển thị trên Web
27
2

Đề thi sau khi được kiểm bởi một số sinh viên và kết quả được 20 thí sinh phản hồi
lại kết quả được đưa bảng tính :
Hình 15: Kết quả phản hồi
Dựa trên kết quả thu nhập được ta thấy rằng với google docs quá trình tạo câu hỏi trắc
nghiệm ,việc tổ chức thi,kiểm tra nhanh hơn và đặc biệt là việc tồng hợp kết quả phản hồi
sẽ tiện lợi trong việc đánh giá cho điểm thí sinh.
5.3 Cài đặt một số thuật toán
5.3.1 Thuật toán MLE
Sau khi thí sinh phản hồi thì kết quả được cập nhập vào bảng tính của google docs. Từ
bảng tính thu được ta có thể đánh giá năng lực của các thí sinh .
Dữ liệu đầu vào ở đâu là file Exel thống kê kết quả mà thí sinh trả lời các câu hỏi:
28
2

Hình 16: Dữ liệu đầu vào
Trong đó : Hàng 2 : độ khó câu hỏi
Cột B thể hiện năng lực hiện tại của thí sinh đó.
Giao diện : Sau khi đọc dữ liệu từ file exel vào datagridview thì kết quả hiển thị :
Hình 17: Giao diện cài đặt
Đoạn mã sau tính toán năng lực của thí sinh qua việc trả lời n câu hỏi :
29
2

double P, Q, L = 1, b, x, u;
for (int j = 1; j < dataGridView1.RowCount-1;
j++)
{
for (int i = 2; i <
dataGridView1.ColumnCount - 1; i++)
{
b =
double.Parse(dataGridView1.Rows[0].Cells[i].Value.ToString()
);
x
=double.Parse( dataGridView1.Rows[j].Cells[1].Value.ToString
()) - b;
P = Math.Pow(Math.E, x) / (1 +
Math.Pow(Math.E, x));
Q = 1 - P;
u =
double.Parse(dataGridView1.Rows[j].Cells[i].Value.ToString()
);
L *= Math.Pow(P, u) * Math.Pow(Q, 1 -
u);
P = 0;
}
dataGridView1.Rows[j].Cells[dataGridView1.ColumnCount-
1].Value = L.ToString();
L = 1;
}
Sau khi tính toán thì kết quả được hiển thị:
30
2

Hình 18: Kết quả sau khi tính
5.3.2 Thuật toán ước lượng năng lực thí sinh bằng phương pháp
lặp
Sử dụng mô hình 2 tham số với độ khó và độ phân biệt của câu hỏi
Trong đó : sθ là năng lực của thí sinh ở bước lặp thứ s
ai độ phân biệt ở câu hỏi thứ i
ui phản hổi câu hỏi thứ i bằng 1 nếu là trả lời đúng ngược lại bằng 0
)( siP θ
: xác xuất trả lời đúng câu hỏi thứ i .
)( siQ θ : xác xuất trả lời sai câu hỏi thứ i .
Xét bài toán : ước lượng năng lực của thí sinh khi trả lời 3 câu hỏi với những thông số
sau:
31
2

b a
Câu 1 -1 1.0
Câu 2 0 1.2
Câu 3 1 0.8
Phản hồi của thí sinh đó qua 3 câu hỏi là :
Câu 1 1
Câu 2 0
Câu 3 1
Bây h ta ước lượng thí sinh đó qua n bước saocho độ lệch giữa 2 lần tính khác nhau
không đáng kể 0.001
Đoạn mã sau thể hiện ước lượng năng lực của thí sinh qua các bước lặp:
double[] b = { -1, 0, 1 };
double[] a = { 1, 1.2, 0.8 };
double[] u = { 1, 0, 1 };
double P = 0, Q, T1 = 0, T2 = 0;
double theta_start = 1, theta_end = 0;
Queue Qu = new Queue();
Qu.Enqueue(theta_start);
double copy;
do
{
T1 = 0; T2 = 0;
for (int i = 0; i < b.Length; i++)
{
32
2

P = 1 / (1 + Math.Pow(Math.E, -a[i] *
(theta_start - b[i])));
Q = 1 - P;
T1 = T1 + a[i] * (u[i] - P);
T2 = T2 + a[0] * a[0] * (P * Q);
P = 0;
}
copy = theta_start;
theta_end = theta_start + T1 / T2;
Qu.Enqueue(theta_end);
theta_start = theta_end;
} while (Math.Abs(theta_end - copy) > 0.001);
while (Qu.Count != 0)
{
Console.WriteLine("{0}",
((double)Qu.Peek()).ToString());
Qu.Dequeue();
}
Sau khi thực thi chương trình thì kết quả thu được như sau :
33
2

Hình 19: Kết quả lặp
Như ta thấy thì sau 4 lần lặp thì độ lệch lúc này là 0.0001 đủ nhỏ để ta có thể dừng .
Như vậy năng lực của thí sinh đó là 0.3248.
KẾT LUẬN
1. Nhận xét
Trong đề tài này trình bày tác giả đã dùng lý thuyết đo lường hiện đại (IRT) để ước
lượng năng lực của người học, đồng thời hiệu chỉnh tham số khó các câu hỏi từ đó đề xuất
các bài học phù hợp. Ở bài báo cáo này đề xuất mô hình hệ thống PELS sử dụng thuật
toán ước lượng MLE và hàm thông tin IF để tính toán năng lực từng người học và độ khó
từng câu hỏi. Đề tài này còn trình bày về tính năng mới của google docs trong việc hỗ trợ
soạn thảo câu hỏi trắc nghiệm và thu nhận phản hồi trực tuyến từ người học .
Về thực nghiệm đề tài đã cài đặt thuật toán MLEvà phương pháp lặp để ước lượng
năng lực người học và thử nghiệm phản hồi trực tuyến từ một số sinh viên Đại học Nha
Trang qua việc trả lời câu hỏi trắc nghiệm được tạo bởi google docs.
34
2

2. Hướng phát triển đề tài
Đề tài mới chỉ dừng lại ở tìm hiểu lý thuyết và cài đặt một số thuật toán nhỏ .Qua việc
nghiên cứu lý thuyết này thì gợi mở hướng phát triển của đề tài. Ta có thể xây dựng một
Web site thi trắc nghiệm khi người học đăng nhập để thi tùy theo năng lực của người học
đã có sẵn trong CSDL có bài thi phù hợp sau đó ta có thể đánh giá lại năng lực người học
và lưu xuống CSDL để cung cấp bài học phù hợp cho lần học sau
TÀI LIỆU THAM KHẢO
1. Bùi Đức Dương – Ứng dụng lý thuyết đo lường hiện đại IRT(Item Response
Theory) vào khoa học đo lường trong giáo dục.
2. Wikipedia
3. GS.TSKH Lâm Quang Thiệp, VN cần áp dụng khoa học về đo lường trong giáo dụ
http://www.edtech.com.vn/index.php/ly-lun-nghien-cu/ppdayvahoc/67-lythuyet
4. The basic of tem response theory _ Frank B.Baker
5. Personalized e-learning system using Item Response Theory_ Chih-Ming Chen a,*,
Hahn-Ming Le b, Ya-Hui Chen b
6. Trần Mạnh Khang_ Lấy thông tin người học bằng phiếu khảo sát trực tuyến
35
2

Lý thuyết đo lường hiện đại IRT

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Lý thuyết đo lường hiện đại IRT

Similar to Lý thuyết đo lường hiện đại IRT (20)

Recently uploaded

Recently uploaded (19)

Lý thuyết đo lường hiện đại IRT