Tính giá trị và độ tin cậy của đề thi mcq sản khoa cho sinh viên y năm thứ tư năm học 2014 2015

  • 63 trang
  • file .pdf
.
BỘ Y TẾ
ĐẠI HỌC Y DƯỢC THÀNH PHỐ HỒ CHÍ MINH
CHƯƠNG TRÌNH KHOA HỌC VÀ CÔNG NGHỆ CẤP CƠ SỞ
BÁO CÁO TỔNG HỢP
KẾT QUẢ ĐỀ TÀI NGHIÊN CỨU KHOA HỌC
TÍNH GIÁ TRỊ VÀ ĐỘ TIN CẬY CỦA ĐỀ THI MCQ SẢN KHOA
CHO SINH VIÊN Y NĂM THỨ TƯ NĂM HỌC 2014-2015
Cơ quan chủ trì nhiệm vụ: Khoa Y
Chủ trì nhiệm vụ: ThS. Đoàn Thị Thu Hoa – BS. Âu Nhựt Luân
Thành phố Hồ Chí Minh - 2020
Thành phố Hồ Chí Minh - 2020
.
.
ĐẠI HỌC Y DƯỢC THÀNH PHỐ HỒ CHÍ MINH
CHƯƠNG TRÌNH KHOA HỌC VÀ CÔNG NGHỆ CẤP CƠ SỞ
BÁO CÁO TỔNG HỢP
KẾT QUẢ NHIỆM VỤ NGHIÊN CỨU KHOA HỌC VÀ CÔNG NGHỆ
TÍNH GIÁ TRỊ VÀ ĐỘ TIN CẬY CỦA ĐỀ THI MCQ SẢN KHOA
CHO SINH VIÊN Y NĂM THỨ TƯ NĂM HỌC 2014-2015
Cơ quan chủ quản Chủ trì nhiệm vụ
(ký tên và đóng dấu) (ký tên)
Cơ quan chủ trì nhiệm vụ
(ký tên và đóng dấu)
Thành phố Hồ Chí Minh - 2020
.
.
CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
Thành phố Hồ Chí Minh, ngày 10 tháng 9 năm 2020
BÁO CÁO THỐNG KÊ
KẾT QUẢ THỰC HIỆN ĐỀ TÀI NGHIÊN CỨU KHOA HỌC
I. THÔNG TIN CHUNG
1. Tên đề tài:
Thuộc lĩnh vực (tên lĩnh vực): Giáo dục y khoa
2. Chủ nhiệm nhiệm vụ:
Họ và tên: Đoàn Thị Thu Hoa
Ngày, tháng, năm sinh: 15/03/1976 Nam/ Nữ: Nữ
Học hàm, học vị: Thạc sĩ
Điện thoại: 0918992334
E-mail:[email protected]
Tên tổ chức đang công tác: Khoa Y Đại học Y dược Thành phố Hồ Chí Minh.
Địa chỉ tổ chức: 217 Hồng Bàng, Quận 5, TPHCM
Địa chỉ nhà riêng: 40 Phan Sào Nam Phường 11 Quân Tân Bình TPHCM
Họ và tên: Âu Nhựt Luân
Ngày, tháng, năm sinh: 15/03/1976 Nam/ Nữ: Nam
Học hàm, học vị:
Điện thoại: 0988006677
E-mail:[email protected]
Tên tổ chức đang công tác: Khoa Y Đại học Y dược Thành phố Hồ Chí Minh.
Địa chỉ tổ chức: 217 Hồng Bàng, Quận 5, TPHCM
Địa chỉ nhà riêng:
3. Tổ chức chủ trì nhiệm vụ(1):
Tên tổ chức chủ trì nhiệm vụ: Khoa Y Đại học Y dược Thành phố Hồ Chí Minh
Địa chỉ: 217 Hồng Bàng, Quận 5, TPHCM
4. Tên cơ quan chủ quản đề tài: Đại học Y Dược thành phố Hồ Chí Minh
1
Tên Khoa hoặc Trung tâm, đơn vị - nơi quản lý trực tiếp cá nhân làm chủ nhiệm đề tài.
.
.
II. TÌNH HÌNH THỰC HIỆN
1. Thời gian thực hiện nhiệm vụ:
- Theo Hợp đồng đã ký kết: từ tháng 6 năm 2014 đến tháng 10 năm 2015
- Thực tế thực hiện: từ tháng 6 năm 2014 đến tháng 10 năm 2020
- Được gia hạn (nếu có):
Từ tháng…. năm…. đến tháng…. năm….
2. Kinh phí và sử dụng kinh phí:
a) Tổng số kinh phí thực hiện: 5 triệu đồng, trong đó:
+ Kính phí hỗ trợ từ ngân sách khoa học của nhà trường: 5 triệu đồng.
+ Kinh phí từ các nguồn khác: ……………….tr.đ.
b) Tình hình cấp và sử dụng kinh phí từ nguồn ngân sách khoa học:
Theo kế hoạch Thực tế đạt được Ghi chú
Số
Thời gian Kinh phí Thời gian Kinh phí (Số đề nghị
TT
(Tháng, năm) (Tr.đ) (Tháng, năm) (Tr.đ) quyết toán)
1
2

c) Kết quả sử dụng kinh phí theo các khoản chi:
Đơn vị tính: Triệu đồng
Theo kế hoạch Thực tế đạt được
Số Nội dung
TT các khoản chi Tổng NSKH Nguồn Tổng NSKH Nguồn
khác khác
1 Trả công lao động 5.000. 5.000.
(khoa học, phổ 000đ 000đ
thông)
2 Nguyên, vật liệu,
năng lượng
3 Thiết bị, máy móc
4 Xây dựng, sửa chữa
nhỏ
5 Chi khác
Tổng cộng
- Lý do thay đổi (nếu có):
3. Tổ chức phối hợp thực hiện nhiệm vụ:
Tên tổ chức Tên tổ chức đã Nội dung Sản phẩm
Số Ghi
đăng ký theo tham gia thực tham gia chủ chủ yếu đạt
TT chú*
Thuyết minh hiện yếu được
1
2
...
.
.
- Lý do thay đổi (nếu có):
4. Cá nhân tham gia thực hiện nhiệm vụ:
(Người tham gia thực hiện đề tài thuộc tổ chức chủ trì và cơ quan phối hợp, không quá 10
người kể cả chủ nhiệm)
Tên cá nhân Nội dung
Tên cá nhân Sản phẩm
Số Ghi
đăng ký theo đã tham gia
tham gia chủ yếu đạt
TT chú*
Thuyết minh thực hiện chính được
1 Đoàn Thị Thu Đoàn Thị Thu
Viết đề cương Đề cương
Hoa Hoa nghiên cứu, nghiên cứu,
bàn luận kết bài báo khoa
quả. học
Thu thập số
liệu, phân tích
số liệu
2 Âu Nhựt Luân Âu Nhựt Luân Viết đề cương Đề cương
nghiên cứu, nghiên cứu,
bàn luận, kết bài báo khoa
luận học
- Lý do thay đổi ( nếu có):
5. Tình hình hợp tác quốc tế:
Theo kế hoạch Thực tế đạt được
(Nội dung, thời gian, kinh phí, (Nội dung, thời gian, kinh phí,
Số Ghi
địa điểm, tên tổ chức hợp tác, địa điểm, tên tổ chức hợp tác,
TT chú*
số đoàn, số lượng người tham số đoàn, số lượng người tham
gia...) gia...)
1
2
...
- Lý do thay đổi (nếu có):
6. Tình hình tổ chức hội thảo, hội nghị:
Theo kế hoạch Thực tế đạt được
Số
(Nội dung, thời gian, kinh phí, (Nội dung, thời gian, Ghi chú*
TT
địa điểm ) kinh phí, địa điểm )
1
2
...
- Lý do thay đổi (nếu có):
7. Tóm tắt các nội dung, công việc chủ yếu:
(Nêu tại mục .....của đề cương, không bao gồm: Hội thảo khoa học, điều tra khảo sát
trong nước và nước ngoài)
.
.
Thời gian
Các nội dung, công việc (Bắt đầu, kết thúc Người,
Số
chủ yếu - tháng … năm) cơ quan
TT
(Các mốc đánh giá chủ yếu) Theo kế Thực tế đạt thực hiện
hoạch được
1 Hoàn chỉnh bảng thăm dò ý kiến 6/2014- Bảng thăm Đoàn Thị
giảng viên 10/2014 dò ý kiến Thu Hoa
giảng viên Âu Nhựt
Luân
2 Thu thập số liệu (4 đợt) 10/2014- Phỏng vấn Đoàn Thị
07/2015 người ra đề Thu Hoa
thi về test Âu Nhựt
blueprint.
Luân
Giảng viên
xem xét tính
phù hợp của
các trạm thi
Hướng dẫn
CTV lấy dữ
liệu kết quả
thi
3 Nhập số liệu 10/2014- Kết quả dữ Đoàn Thị
07/2015 liệu được Thu Hoa
nhập
4 Xử lý số liệu 6-9/2020 Kết quả dữ Đoàn Thị
liệu được Thu Hoa
xử lý
5 Viết bài báo khoa học 10/2020 Bài báo tạp Đoàn Thị
chí y học Thu Hoa
TP Hồ Chí Âu Nhựt
Minh Luân
- Lý do thay đổi (nếu có):
III. SẢN PHẨM KH&CN CỦA ĐỀ TÀI
1. Sản phẩm KH&CN đã tạo ra:
a) Sản phẩm Dạng I:
Tên sản phẩm và
Số Đơn Theo kế Thực tế
chỉ tiêu chất lượng Số lượng
TT vị đo hoạch đạt được
chủ yếu
1 Bài báo tạp chí Y 1 1 10/2020
học trong nước
...
- Lý do thay đổi (nếu có):
.
.
b) Sản phẩm Dạng II:
Yêu cầu khoa học
Số cần đạt
Tên sản phẩm Ghi chú
TT Theo kế hoạch Thực tế
đạt được
1
2
...
- Lý do thay đổi (nếu có):
c) Sản phẩm Dạng III:
Yêu cầu khoa học Số lượng, nơi
Số cần đạt công bố
Tên sản phẩm
TT Theo Thực tế (Tạp chí, nhà
kế hoạch đạt được xuất bản)
1
2
...
- Lý do thay đổi (nếu có):
d) Kết quả đào tạo:
Số lượng Ghi chú
Số Cấp đào tạo, Chuyên
Theo kế hoạch Thực tế đạt (Thời gian kết
TT ngành đào tạo
được thúc)
1
2
- Lý do thay đổi (nếu có):
đ) Tình hình đăng ký bảo hộ quyền sở hữu công nghiệp:
Kết quả Ghi chú
Số Tên sản phẩm
Theo Thực tế (Thời gian kết
TT đăng ký
kế hoạch đạt được thúc)
1
2
...
- Lý do thay đổi (nếu có):
e) Thống kê danh mục sản phẩm KHCN đã được ứng dụng vào thực tế
Địa điểm
Số Tên kết quả (Ghi rõ tên, địa Kết quả
Thời gian
TT đã được ứng dụng chỉ nơi ứng sơ bộ
dụng)
1
2
.
.
2. Đánh giá về hiệu quả do đề tài mang lại:
a) Hiệu quả về khoa học và công nghệ:
Kết quả từ nghiên cứu này sẽ giúp bộ môn có thông tin về chất lượng kỳ thi OSCE của mình,
từ đó có những biện pháp phù hợp để nâng cao chất lượng lượng giá tại bộ môn Sản.
b) Hiệu quả về kinh tế xã hội:
(Nêu rõ hiệu quả làm lợi tính bằng tiền dự kiến do nhiệm vụ tạo ra so với các sản
phẩm cùng loại trên thị trường…)
3. Tình hình thực hiện chế độ báo cáo, kiểm tra của đề tài:
Ghi chú
Số Thời gian
Nội dung (Tóm tắt kết quả, kết luận
TT thực hiện
chính, người chủ trì…)
I Báo cáo tiến độ
Lần 1 12/2015 Thu thập dữ liệu

II Báo cáo giám định giữa kỳ
Lần 1
….
Chủ nhiệm đề tài Thủ trưởng tổ chức chủ trì
(Họ tên, chữ ký) (Họ tên, chữ ký và đóng dấu)
.
.
MỤC LỤC
1. ĐẶT VẤN ĐỀ ...............................................................................................1
1.1. Tính giá trị (Validity)..............................................................................2
1.2. Độ tin cậy (Reliability) ...........................................................................3
1.3. Phân tích câu hỏi .....................................................................................3
1.4. Một số yếu tố bên ngoài có ảnh hưởng đến tính giá trị ..........................4
2. ĐỐI TƯỢNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU ...................................5
3. KẾT QUẢ ......................................................................................................7
3.1. Ý kiến sinh viên ......................................................................................7
3.1.1. Về các yếu tố bên ngoài ................................................................... 10
3.1.2. Về nội dung đề thi............................................................................. 11
3.2. Độ tin cậy của đề thi, chất lượng câu hỏi về chỉ số khó, chỉ số phân
cách và mồi nhử .......................................................................................... 11
3.2.1. Kết quả đánh giá độ tin cậy, thống kê mô tả số câu hỏi có các độ
khó khác nhau và độ phân cách khác nhau................................................. 11
3.2.2. Chỉ số khó, chỉ số phân cách và hiệu quả của các mồi nhử ............. 12
3.2.3 Hiệu quả mồi nhử của các câu hỏi ..................................................... 18
3.3 Phỏng vấn người chịu trách nhiệm chính trong việc ra đề thi về quá
trình hình thành đề thi ................................................................................. 19
3.4 Ý kiến của 4 giảng viên đánh giá về nội dung ..................................... 21
3.4.1. Kết quả đề thi lý thuyết sản được đánh giá theo chủ đề và bài học . 21
i
.
.
3.4.2. Mức độ quan trọng của kiến thức được lượng giá ........................... 27
3.4.3. Ý kiến của giảng viên về mức độ đại diện được nội dung cần lượng
giá và cân đối của đề thi ............................................................................. 27
3.4.4. Về mức độ kiến thức sinh viên cần vận dụng để trả lời câu hỏi ...... 28
4. BÀN LUẬN - KIẾN NGHỊ ........................................................................... 29
4.1. Yếu tố bên ngoài .................................................................................. 29
4.2. Về nội dung đề thi................................................................................ 29
4.3. Quá trình xây dựng đề thi .................................................................... 30
4.4. Độ tin cậy và phân tích câu hỏi ........................................................... 31
4.5. Một số đề nghị để cải thiện đề thi ........................................................ 31
TÀI LIỆU THAM KHẢO .............................................................................. 33
PHỤ LỤC 1. Phiếu thăm dò ý kiến sinh viên
PHỤ LỤC 2. Bản phân tích đề thi dành cho giáo viên
PHỤ LỤC 3. Đề thi lý thuyết Sản Y4 học kỳ 1 và học kỳ 2 năm học 2014-2015
ii
.
.
1. ĐẶT VẤN ĐỀ
Lượng giá sinh viên đóng vai trò quan trọng trong chương trình
giảng dạy. Việc lượng giá trong giáo dục y khoa có xu hướng dùng các
phương pháp lượng giá khách quan, cụ thể là thi trắc nghiệm câu hỏi nhiều
lựa chọn MCQ. Tại trường ta, việc thi trắc nghiệm MCQ được sử dụng
rộng rãi trong các bộ môn của khoa Y để lượng giá kiến thức sinh viên
trong các kỳ thi kết thúc học phần. Chất lượng của các kỳ thi trắc nghiệm
này vẫn còn chưa có câu trả lời thỏa đáng, những nghiên cứu chính thức về
chất lượng của kỳ thi MCQ vẫn còn ít ỏi. Năm 1993-1994, trong nghiên
cứu về đề thi MCQ môn học giải phẫu trường Đại học Y dược thành phố
Hồ Chí Minh của tác giả Ngô Trí Hùng phân tích về độ khó và độ phân
cách của câu hỏi trắc nghiệm cho thấy khoảng 25-30% câu có độ khó trung
bình từ 0.3-0.7. Trong một nghiên cứu về tính giá trị và độ tin cậy của đề
thi trắc nghiệm nhi cho sinh viên y năm thứ tư năm học 2002-2003 (Hoa,
2005) cho thấy bộ môn chưa xây dựng test blueprint, độ tin cậy của đề thi
là 0.79, các câu hỏi phân bố không cân đối giữa các bài học, hệ số tương
quan giữa 2 đề thi khi xem xét số câu hỏi phân bố giữa các bài học là 0.6.
Tính giá trị và độ tin cậy là 2 đặc tính quan trọng đối với bất kỳ một kỳ
thi nào, do đó tính giá trị và độ tin cậy phản ánh chất lượng của đề thi.
Qua tham khảo tài liệu, để xây dựng một đề thi có tính giá trị cao đòi
hỏi một qui trình chặt chẽ nhất định. Quá trình xây dựng đề thi bao gồm
những bước sau:
- Xác định mục đích bài thi
- Xây dựng test blueprint bao gồm liệt kê các mục tiêu và nội dung, tỉ lệ
các câu hỏi phân bố cho mỗi mục tiêu và nội dung đó
- Xây dựng câu hỏi hoặc rút câu hỏi theo test blueprint. Cần rút câu hỏi
nhiều hơn số câu hỏi đã dự định để đảm bảo rằng các câu hỏi dự bị có sẵn
trong trường hợp có những câu hỏi bị loại bỏ. Mục tiêu của bước này là có
được đề thi có tính đại diện.
1
.
.
- Xem lại câu hỏi đã được lấy ra. Kiểm tra câu hỏi có dùng được không
và đáp án có đúng không
- Bản thảo đề thi được kiểm tra một lần nữa và sửa chữa những lỗi đánh
máy và câu hỏi trùng lắp
- Sau khi thi xong, các câu hỏi được xem xét một lần nữa dựa trên phân
tích thống kê và ý kiến sinh viên
1.1. Tính giá trị (Validity):
Tính giá trị đề cập đến mức độ mà công cụ lượng giá hay kỳ thi đo
lường được đúng cái muốn đo. Khái niệm tính giá trị được mở rộng thành
tính giá trị nội dung, tính giá trị cấu trúc, tính giá trị liên quan đến tiêu
chuẩn.
Tính giá trị nội dung (content validity): Tính giá trị nội dung là ưu
tiên hàng đầu trong mọi lượng giá. Giá trị nội dung là mức độ “bao trùm”
được nội dung-mục tiêu môn học. Đó là sự đo lường mức độ mà nó bao
hàm một mẫu đại diện các kiến thức và kỹ năng cần được kiểm tra. Một
phương pháp để lấy mẫu đại diện các kiến thức và kỹ năng cần được kiểm
tra là xây dựng test blueprint. Test blueprint là một đề cương của những nội
dung quan trọng được dạy trong lớp học, đồng thời test blueprint cũng liệt
kê ra số lượng câu hỏi cho mỗi nội dung. Test blueprint xác định những
mục tiêu và nội dung được kiểm tra, trọng số cho những mục tiêu và nội
dung đó.
Nhìn chung cơ bản là có một nhóm chuyên gia về nội dung (panel of
content experts) quyết định những nội dung nào test phải bao phủ và mỗi
lĩnh vực nội dung đo lường cái gì. Phương pháp truyền thống để đánh giá
tính giá trị nội dung tập trung vào sự tương hợp giữa câu hỏi-mục tiêu dựa
trên phán xét của chuyên gia nội dung (Angoff, 1988). Các chuyên gia đưa
ra những phán xét về kiến thức mà mỗi câu hỏi đo lường và so sánh với test
blueprint. Chọn nhóm chuyên gia nội dung, số lượng chuyên gia cần có để
xem xét tính giá trị nội dung thì thay đổi theo các tài liệu khác nhau. Lynn
2
.
.
(1986) đề nghị tối thiểu phải có 3 người. Tuy nhiên những nghiên cứu khác
khuyến cáo con số từ 2-20 người (Gable &Wolf, 1993).
1.2. Độ tin cậy (Reliability):
Độ tin cậy đề cập đến tính hằng định (tính lặp lại) và chính xác của
kết quả lượng giá. Có nhiều nghiên cứu về độ tin cậy của MCQ, phương
pháp thường được dùng nhất là xem xét tính hằng định bên trong (internal
consistency) bằng hệ số Cronbach’s alpha hoặc hệ số Kuder Richardson 20.
Các test có 80-120 câu MCQ có hệ số tin cậy 0.64-0.99 (Fenderson et al,
1997).
Đối với những kỳ thi có mức độ cực kỳ quan trọng như thi cấp bằng
chẳng hạn thì độ tin cậy đòi hỏi ít nhất là 0.9. Đối với các kỳ thi có mức độ
quan trọng vừa phải như thi cuối năm chẳng hạn thì đòi hỏi độ tin cậy ít
nhất là 0.8. (Downing)
1.3. Phân tích câu hỏi
Chất lượng của các câu hỏi trong bài thi cũng phản ánh chất lượng
của toàn bài thi. Phân tích câu để đánh giá chất lượng từng câu hỏi, thường
dùng chỉ số khó (độ khó difficulty index) và chỉ số phân cách (độ phân
cách discrimination index) và hiệu quả của các mồi nhử (distractor
efficiency).
Chỉ số khó: là tỉ lệ phần trăm số người trả lời đúng câu hỏi đó. Chỉ số
khó càng cao nghĩa là càng nhiều người trả lời đúng câu hỏi đó hay nói
cách khác câu hỏi đó càng dễ.
Chỉ số phân cách: là khả năng câu hỏi đó phân biệt được sinh viên
giỏi với sinh viên kém. Chỉ số phân cách được tính như sau: = (tần số trả
lời đúng trong nhóm cao - tần số trả lời đúng trong nhóm thấp)/(1/2 tổng số
người trong nhóm cao và nhóm thấp). Để có được nhóm cao và nhóm thấp
người ta lấy 27% bài thi có điểm số cao nhất và 27% bài thi có điểm số
thấp nhất (có thể lấy 25%-35%).
3
.
.
Chỉ số phân cách <0.2 nghĩa là câu có độ phân cách kém, 0.2-<0.3
độ phân cách trung bình, 0.3-<0,4 độ phân cách khá, từ 0.4 trở lên độ phân
cách rất tốt.
Công thức ở trên đây đề cập cách tính chỉ số phân cách thông thường
dùng trong lớp học. Ngoài ra một phương pháp thống kê tinh vi hơn thiết
lập mối tương quan giữa điểm của câu hỏi với điểm toàn bộ bài trắc
nghiệm, còn gọi là hệ số tương quan câu hỏi – tổng điểm. Hệ số tương quan
câu hỏi – tổng điểm (iem-total correlation) hay còn được gọi là tương quan
điểm-nhị phân (point-biserial correlation rpbis). Hệ số tương quan điểm-nhị
phân là hệ số tương quan cặp Pearson giữa tổng điểm (nghĩa là điểm của
toàn bài trắc nghiệm) với điểm của mỗi câu trắc nghiệm của các sinh viên
trong nhóm.
Mồi nhử: một câu hỏi MCQ có 1 đáp án đúng và các lựa chọn còn lại
là mồi nhử. Một mồi nhử được lựa chọn dưới 5% được coi như mồi nhử
không hiệu quả. Câu hỏi MCQ của Sản có 4 lựa chọn gồm 1 đáp án và 3
mồi nhử, nếu 1 câu có chứa 3 hoặc 2 hoặc 1 hoặc 0 mồi nhử không hiệu
quả thì hiệu quả mồi nhử tương ứng sẽ là 0; 33,3; 66,6; 100%.
1.4. Một số yếu tố bên ngoài có ảnh hưởng đến tính giá trị
Có một số yếu tố bên ngoài có ảnh hưởng đến tính giá trị. Đó là
những yếu tố trong bài test chẳng hạn như từ ngữ - cấu trúc câu quá phức
tạp (làm sai lệch ý nghĩa kết quả lượng giá vì đánh giá khả năng thấu hiểu
ngôn ngữ hơn là đánh giá điều chúng ta mong muốn); câu hỏi mơ hồ (dẫn
đến việc hiểu nhầm); thời gian thi không đủ; câu hỏi có gợi ý đoán mò
được câu trả lời đúng (clues); sắp xếp câu hỏi không phù hợp (cho những
câu hỏi khó trong những câu đầu tiên sẽ làm sinh viên mất nhiều thời gian
và sinh viên còn ít thời gian để có thể trả lời những câu hỏi dễ hơn đồng
thời tác động ức chế sinh viên; và những yếu tố trong quản lý kỳ thi (hướng
dẫn cách trả lời không rõ ràng, sinh viên copy bài).
4
.
.
Nếu bài thi sử dụng ngôn ngữ chuyên môn phức tạp làm sinh viên
khó hiểu thì bài thi có thể thiếu tính giá trị vì nó đo lường khả năng ngôn
ngữ của sinh viên hơn là hiểu biết về các khái niệm cần được lượng
giá.(Paxton & Moragh, 2000)
Nghiên cứu này thực hiện trên đề thi trắc nghiệm của bộ môn Sản. Mục
tiêu của nghiên cứu này là xem xét tính giá trị và độ tin cậy của đề thi trắc
nghiệm sản khoa sinh viên y năm thứ tư năm học 2014-2015. Nghiên cứu
sẽ tập trung vào quá trình hình thành đề thi, tính giá trị nội dung, các yếu tố
bên ngoài, độ tin cậy, phân tích các chỉ số của câu hỏi thi.
Trong năm học 2014-2015, lý thuyết sản được giảng dạy trên giảng
đường dưới hình thức bài giảng thuyết trình lecture với 44 tiết giảng cho 34
bài học. Các nội dung này được tái củng cố bằng 7 chủ đề dưới hình thức
team-based learning khi sinh viên đi thực hành. Học phần Sản khoa được
giảng cho năm thứ tư, bao gồm các nội dung từ sinh lí sinh dục nữ, cho đến
thai kì và quản lí thai, rồi chuyển dạ và các vấn đề liên quan và kết thúc
bằng quản lí các vấn đề thường gặp trong thời kì hậu sản, bao gồm cả nuôi
con bằng sữa mẹ.
Như vậy trong năm 2014-2015 sinh viên học lý thuyết sản qua 7 chủ đề và
34 bài học, do đó để xem xét tính giá trị nội dung nghiên cứu sẽ xem xét
các câu hỏi được phân bố như thế nào theo 7 chủ đề và 34 bài học lý
thuyết.
2. ĐỐI TƯỢNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU:
a. 311 sinh viên Y4 thi Sản học kỳ 1 và 280 sinh viên Y4 thi Sản học kỳ 2
đã trả lời bảng thăm dò ý kiến về đề thi mới vừa thi xong bằng bảng
questionaire gồm 14 câu hỏi về những yếu tố bên ngoài có ảnh hưởng đến
tính giá trị của đề thi (thời gian thi, giám sát thi, từ ngữ trong câu hỏi thi)
và về nội dung đề thi. Đối với mỗi câu hỏi, sinh viên trả lời theo mức độ rất
không đồng ý, không đồng ý, trung lập, đồng ý, rất đồng ý. Thống kê mô tả
để trình bày kết quả.
5
.
.
b. Dữ liệu kết quả thi của sinh viên 315 sinh viên Y4 học kỳ 1 và 285 sinh
viên học kỳ 2 năm thứ tư tham gia kỳ thi MCQ trong năm học 2014-2015
được thu thập để tính độ tin cậy của đề thi và các chỉ số của câu hỏi.
- Độ tin cậy của 2 kỳ thi MCQ được đo lường bằng internal consistency
bởi hệ số Kuder Richardson 20
- Chỉ số khó, chỉ số phân cách và hiệu quả của các mồi nhử được tính
cho mỗi câu hỏi trong đề thi MCQ.
c. Phỏng vấn người chịu trách nhiệm chính trong việc ra đề thi về quá
trình hình thành đề thi, về test blueprint, về xây dựng/rút câu hỏi, chỉnh sửa
câu hỏi, thống kê sau khi thi.
d. Một nhóm 4 giảng viên của bộ môn Sản đánh giá đề thi về nội dung
cũng như các yếu tố ảnh hưởng bên ngoài. Nhóm này đánh giá đề thi của
học kỳ 1 và học kỳ 2 để xem xét liệu 2 đề thi có tương đồng với nhau về
mặt nội dung không. Đối với mỗi câu hỏi trong đề thi, mỗi giảng viên sẽ
đánh giá như sau:
o Xác định câu hỏi thuộc chủ đề nào (trong 7 chủ đề), thuộc nội dung nào
(thuộc bài học nào trong 34 bài học)
o Xác định mức độ tư duy sinh viên cần vận dụng để trả lời câu hỏi: mức
độ nhớ lại, mức độ hiểu giải thích, mức độ ứng dụng giải quyết vấn đề.
o Đánh giá mức độ quan trọng của kiến thức được hỏi theo thang điểm từ
1-4 (từ mức độ “không cần lượng giá” đến mức độ ‘phải lượng giá”)
o Nhận xét chung về đề thi có cân đối theo chủ đề và bài học hay không
- Thống kê mô tả phần đánh giá của giảng viên về đề thi theo 7 chủ đề và
34 nội dung bài học. Hệ số tương quan về số câu hỏi được phân bố theo
chủ đề và theo các nội dung bài học giữa 2 đề thi học kỳ 1 và học kỳ 2 sẽ
được tính, một hệ số tương quan cao giữa 2 đề thi sẽ là một chỉ số cho thấy
cả 2 được xây dựng từ một test blueprint.
- Thống kê mô tả số câu hỏi đề thi theo 3 mức độ tư duy nhớ, hiểu, ứng
dụng.
6
.
.
- Điểm trung bình về mức độ quan trọng của kiến thức được lượng giá
trong mỗi câu hỏi sẽ được tính, nếu >2,5 nghĩa là kiến thức được lượng giá
là quan trọng.
3. KẾT QUẢ
3.1. Ý kiến sinh viên
Ý kiến sinh viên về mỗi phát biểu liên quan đến các yếu tố bên ngoài
và các yếu tố liên quan nội dung đề thi được trình bày trong bảng 3.1 và 3.2
theo tỷ lệ phần trăm. Điểm trung bình của mỗi phát biểu cũng được tính.
Bảng 3.1. Ý kiến sinh viên ở học kỳ 1
Rất Không Trung Đồng Rất Trung
không đồng lập ý đồng bình
đồng ý (%) (%) (%) ý
ý (%) (%)
1. Nhìn chung đề thi là Rất Khó Vừa Dễ Rất
khó 49,0 sức 0,3 dễ
42,5 7,8 0,3 1,67
2. Thời gian làm bài thi Thiếu Đủ Dư
là giờ giờ giờ
59,5 37,9 2,6 1,43
3. Đề thi có hướng dẫn cụ 3,9 1,0 6,1 54,7 34,3
thể cách làm bài 4,15
4. Tổ chức thi nghiêm túc 2,3 2,6 53,1 42,1 4,33
5. Các câu hỏi trong đề 1,3 15,9 20,1 57,5 5,2
thi nói chung là dễ hiểu 3,49
6. Đề thi có những câu 3,6 29,7 32,4 30,1 4,2
hỏi gây hiểu nhầm ý 3,02
7. Đề thi có những câu 4,6 38,9 32,0 18,6 5,9
hỏi dùng từ ngữ khó hiểu 2,82
7
.
.
phức tạp làm bạn mất
thời gian để hiểu ý câu
hỏi
8. Đề thi có những câu 11,0 39,2 27,2 21,7 1,0
hỏi có manh mối gợi ý
cho câu trả lời đúng 2,62
9. Đề thi đánh giá đúng 2,9 21,4 25,2 43,4 7,1
khả năng của bạn 3,30
10. Nội dung bài thi phù 3,9 17,6 14,7 55,0 8,8
hợp với mục tiêu 3,47
11. Nội dung bài thi phù 6,5 29,2 14,6 45,1 4,5
hợp với nội dung đã được
dạy 3,12
12. Nhìn chung tỷ lệ câu 2,3 22,8 16,0 55,0 3,9
hỏi cho các chương/các
phần cân đối với số giờ
học các chương/các phần
đó 3,36
13. Có các phần quan 6,8 38,8 34,0 19,7 ,6
trọng của chương trình
môn học không được hỏi
trong đề thi này 2,69
14. Đề thi có những câu 3,6 30,8 26,9 32,1 6,6
hỏi mà nôi dung của nó
không có trong chương
trình giảng dạy 3,07
Bảng 3.2. Ý kiến sinh viên ở học kỳ 2
8
.
.
Rất Không Trung Đồng Rất Trung
không đồng ý lập ý (%) đồng bình
đồng (%) (%) ý
ý (%) (%)
1. Nhìn chung đề thi là Rất Khó Vừa Dễ Rất
khó 53,9 sức dễ
35,4 10,4 0,4 1,76
2. Thời gian làm bài thi Thiếu Đủ Dư
là giờ giờ giờ
23,9 70,0 6,1 1,82
3. Đề thi có hướng dẫn 5,8 2,5 10,1 49,8 31,8
cụ thể cách làm bài 3,99
4. Tổ chức thi nghiêm 3,6 ,7 7,5 46,1 42,1
túc 4,23
5. Các câu hỏi trong đề 3,6 14,0 24,0 52,3 6,1
thi nói chung là dễ hiểu 3,43
6. Đề thi có những câu 4,6 27,1 38,9 24,3 5,0
hỏi gây hiểu nhầm ý 2,98
7. Đề thi có những câu 4,3 38,7 32,6 21,1 3,2
hỏi dùng từ ngữ khó hiểu
phức tạp làm bạn mất
thời gian để hiểu ý câu
hỏi 2,80
8. Đề thi có những câu 7,9 40,5 31,9 18,3 1,4
hỏi có manh mối gợi ý
cho câu trả lời đúng 2,65
9. Đề thi đánh giá đúng 4,3 16,1 31,1 40,7 7,9
khả năng của bạn 3,32
9
.
.
10. Nội dung bài thi phù 7,5 13,3 22,9 49,8 6,5
hợp với mục tiêu 3,34
11. Nội dung bài thi phù 5,4 28,3 26,2 35,1 5,0
hợp với nội dung đã
được dạy 3,06
12. Nhìn chung tỷ lệ câu 3,9 12,2 39,1 40,1 4,7
hỏi cho các chương/các
phần cân đối với số giờ
học các chương/các phần
đó 3,29
13. Có các phần quan 3,6 36,3 35,6 23,0 1,4
trọng của chương trình
môn học không được hỏi
trong đề thi này 2,82
14. Đề thi có những câu 5,4 24,5 34,3 28,9 6,9
hỏi mà nôi dung của nó
không có trong chương
trình giảng dạy 3,07
3.1.1. Về các yếu tố bên ngoài:
Hầu hết các phát biểu (hướng dẫn cụ thể cách làm bài, tổ chức thi
nghiêm túc, câu hỏi nói chung dễ hiểu) đều có trung bình cao hơn 3 (thang
điểm giữa của thang 5). Đối với các phát biểu (câu hỏi dùng từ ngữ phức
tạp khó hiểu, câu hỏi có manh mối gợi ý câu trả lời đúng) có điểm trung
bình <3, nghĩa là tỷ lệ không đồng ý nhiều hơn tức đa số cho rằng câu hỏi
không có từ ngữ phức tạp khó hiểu, không có manh mối đoán mò được câu
trả lời đúng. Tuy nhiên “đề thi có những câu hỏi gây hiểu nhầm ý” có trung
bình 3,02 và 2,98 ở học kỳ 1 và học kỳ 2 cho thấy tỷ lệ sinh viên đồng ý và
10
.