Nghiên cứu một số yếu tố gây ra lỗi thiên lệch ( BIAS) trong câu hỏi thi PISA 2012 - Lĩnh vực toán học

ĐẠI HỌC QUỐC GIA HÀ NỘI

VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC

Phạm Thị Thùy Linh

NGHIÊN CỨU MỘT SỐ YẾU TỐ GÂY RA LỖI THIÊN LỆCH (BIAS)

TRONG CÂU HỎI THI PISA 2012 – LĨNH VỰC TOÁN HỌC

LUẬN VĂN THẠC SĨ

Hà Nội – Năm 2015

ĐẠI HỌC QUỐC GIA HÀ NỘI

VIỆN ĐẢM BẢO CHẤT LƯỢNG GIÁO DỤC

Phạm Thị Thùy Linh

NGHIÊN CỨU MỘT SỐ YẾU TỐ GÂY RA LỖI THIÊN LỆCH (BIAS)

TRONG CÂU HỎI THI PISA 2012 – LĨNH VỰC TOÁN HỌC

Chuyên ngành: Đo lường và đánh giá trong giáo dục

Mã số: 60140120

LUẬN VĂN THẠC SĨ

Người hướng dẫn khoa học: TS. Sái Công Hồng

Hà Nội – Năm 2015

LỜI CẢM ƠN

Trước tiên, tôi muốn gửi lời cảm ơn sâu sắc đến TS. Sái Công Hồng.

Thầy đã tận tình hướng dẫn, giúp đỡ, cùng với lời động viên của Thầy đã

giúp tôi vượt qua nhiều khó khăn trong quá trình thực hiện luận văn tốt

nghiệp này.

Xin chân thành cảm ơn Giám đốc Trung tâm đánh giá chất lượng giáo

dục và các đồng nghiệp ở Trung tâm đã tạo điều kiện thuận lợi, giúp đỡ cho

tôi hoàn thành khóa học và luận văn này.

Xin trân trọng cảm ơn quý thầy cô và đồng nghiệp đã giúp đỡ tôi trong

quá trình thu thập dữ liệu, cung cấp tài liệu tham khảo và những ý kiến đóng

góp quý báu trong quá trình nghiên cứu.

Do bản thân cũng có những hạn chế và chưa có nhiều kinh nghiệm

trong nghiên cứu nên luận văn này không tránh khỏi những thiếu sót. Tôi kính

mong nhận được góp ý, bổ sung ý kiến của quý thầy giáo, cô giáo và các bạn

học viên.

Tôi xin chân thành cảm ơn!

LỜI CAM ĐOAN

Tôi xin cam đoan danh dự luận văn với tiêu đề “Nghiên cứu một số yếu

tố gây ra lỗi thiên lệch (bias) trong câu hỏi thi PISA 2012 – lĩnh vực Toán

học” hoàn toàn là kết quả nghiên cứu của chính bản thân tôi và chưa được

công bố trong bất cứ một công trình nghiên cứu nào của người khác. Trong

quá trình thực hiện luận văn, tôi đã thực hiện nghiêm túc các quy tắc đạo đức

nghiên cứu; các kết quả trình bày trong luận văn là sản phẩm nghiên cứu,

khảo sát của riêng cá nhân tôi; tất cả các tài liệu tham khảo sử dụng trong luận

văn đều được trích dẫn tường minh, theo đúng quy định.

Tôi xin hoàn toàn chịu trách nhiệm về tính trung thực của số liệu và các

nội dung khác trong luận văn của mình.

Hà Nội, ngày ……… tháng ……. năm 20…..

Tác giả luận văn

1

MỤC LỤC

LỜI CẢM ƠN............................................................................................................2

MỤC LỤC.................................................................................................................1

DANH MỤC CÁC TỪ VIẾT TẮT ..........................................................................3

DANH MỤC CÁC BẢNG ........................................................................................4

MỞ ĐẦU ....................................................................................................................8

1. Lý do chọn đề tài....................................................................................................8

2. Ý nghĩa khoa học và thực tiễn của đề tài .............................................................10

2.1. Ý nghĩa khoa học ..............................................................................................10

2.2. Ý nghĩa thực tiễn...............................................................................................10

3. Mục đích nghiên cứu của đề tài ...........................................................................10

4. Giới hạn nghiên cứu của đề tài.............................................................................10

5. Câu hỏi và giả thuyết nghiên cứu:........................................................................11

5.1. Câu hỏi nghiên cứu ............................................................................................11

5.2. Giả thuyết nghiên cứu ........................................................................................11

6. Khách thể, đối tượng nghiên cứu .........................................................................11

6.1. Đối tượng nghiên cứu ........................................................................................11

6.2. Khách thể nghiên cứu.........................................................................................11

7. Phương pháp nghiên cứu......................................................................................11

8. Cấu trúc luận văn .................................................................................................12

CHƯƠNG 1.CƠ SỞ LÝ LUẬN VÀ TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU..13

1. Các khái niệm và quan niệm................................................................................13

1.1. Đánh giá giáo dục..............................................................................................13

1.2. Thiết kế câu hỏi đánh giá năng lực học sinh....................................................16

1.3. Câu hỏi “Bias”.................................................................................................20

1.3.1. Khái niệm .................................................................................................20

1.3.2. Phương pháp phát hiện câu hỏi thiên lệch .............................................22

1.3.2.1. Chỉ số DIF................................................................................................22

1.3.2.2. Các loại câu hỏi DIF................................................................................25

2

1.4. Lý thuyết Ứng đáp câu hỏi ...............................................................................26

2. Tổng quan các tài liệu nghiên cứu ...................................................................28

CHƯƠNG 2.PHƯƠNG PHÁP LUẬN NGHIÊN CỨU........................................35

1. Giới thiệu về Chương trình đánh giá học sinh quốc tế PISA...........................35

1.1. Giới thiệu chung ...............................................................................................35

1.2. Mục tiêu của PISA............................................................................................36

1.3. Chọn mẫu PISA 2012 .......................................................................................38

1.4. Quy trình xây dựng đề thi PISA........................................................................41

1.5. Khung đánh giá năng lực Toán học của PISA 2012 ........................................44

1.6. Mã hóa (chấm điểm).........................................................................................48

2. Phần mềm phân tích câu hỏi DIF ....................................................................49

3. Bộ dữ liệu phân tích .........................................................................................50

CHƯƠNG 3.KẾT QUẢ NGHIÊN CỨU VÀ KẾT LUẬN...................................53

1. Giới tính học sinh và lỗi thiên lệch trong câu hỏi thi PISA .............................53

2. Vị trí địa lý và lỗi thiên lệch trong câu hỏi thi PISA........................................57

3. Yếu tố vùng miền và lỗi thiên lệch trong câu hỏi thi PISA...............................64

4. Loại hình trường và lỗi thiên lệch trong câu hỏi thi PISA...............................71

5. Đánh giá chung ................................................................................................74

KẾT LUẬN ..............................................................................................................76

1. Kết quả đạt được của đề tài..........................................................................76

2. Hạn chế và hướng nghiên cứu tiếp theo ......................................................77

3

DANH MỤC CÁC TỪ VIẾT TẮT

1. GD&ĐT : Giáo dục và Đào tạo

2. HS : Học sinh

3. OECD : Tổ chức Hợp tác và Phát triển Kinh tế

4. PISA : Chương trình đánh giá học sinh quốc tế

6. KQHT : Kết quả học tập

7. TNKQ : Trắc nghiệm khách quan

8. DIF :

Differential item functioning - câu hỏi thực

hiện chức năng khác biệt

4

DANH MỤC CÁC BẢNG

Số

hiệu

Tên bảng Trang

1.1 Các tiêu chí đánh giá 22

1.2 Các mức độ nhận thức 24

2.1 Số luợng quốc gia/vùng lãnh thổ tham gia các kỳ khảo sát PISA 38

2.2 Lĩnh vực khảo sát chính tại các kỳ PISA 39

2.3 3 cấp độ năng lực Toán học phổ thông 48

2.4 Bảng mô tả 6 mức độ đánh giá năng lực Toán học trong PISA 50

3.1 Điểm trung bình của học sinh nam và học sinh nữ 59

3.2 Tương quan điểm trung bình giữa học sinh nam và học sinh nữ 59

3.3 Kiểm định Independent Samples T-test về kết quả trung bình giữa

nhóm học sinh nam và nhóm học sinh nữ

61

3.4 Số lượng học sinh theo vị trí địa lý 62

3.5 Điểm trung bình của học sinh ở ba vị trí địa lý 63

3.6 Tương quan điểm trung bình giữa học sinh ở ba vị trí địa lý 63

3.7 Kiểm định Independent Samples T-test về kết quả trung bình giữa

nhóm học sinh thành thị và nhóm học sinh nông thôn

65

3.8

Kiểm định Independent Samples T-test về kết quả trung bình giữa

nhóm học sinh thành thị và nhóm học sinh vùng sâu vùng xa ở một

số câu hỏi

67

3.9

Kiểm định Independent Samples T-test về kết quả trung bình giữa

nhóm học sinh nông thôn và nhóm học sinh vùng sâu vùng xa ở

một số câu hỏi

69

5

3.10 Điểm trung bình của học sinh ba miền Bắc, Trung, Nam 69

3.11

Tương quan điểm trung bình giữa học sinh ba miền Bắc, Trung,

Nam

70

3.12

Kiểm định Independent Samples T-test về kết quả trung bình giữa

nhóm học sinh miền Bắc, miền Trung và miền Nam ở một số câu

hỏi

72

3.13 Điểm trung bình của học sinh theo loại hình trường 76

3.14 Tương quan điểm trung bình của học sinh theo loại hình trường 76

3.15

Kiểm định Independent Samples T-test về kết quả trung bình giữa

nhóm học sinh công lập và nhóm học sinh ngoài công lập

78

6

DANH MỤC CÁC HÌNH

Số

hiệu

Tên hình Trang

1.1 Đường cong đặc tính câu hỏi (ICC) 29

1.2 Mô hình một thông số (b: độ khó câu hỏi) 30

1.3 Mô hình hai thông số (a: độ phân biệt của câu hỏi) 30

1.4 Mô hình ba thông số(c: yếu tố gợi ý/đoán mò) 31

2.1 Quy trình dịch thuật của PISA 45

2.2

DIF đồng nhất: Nhóm tham chiếu (bi = 0,8, ai=1) và nhóm đối

chứng (bi = 1,3, ai = 1).

55

2.3

DIF không đồng nhất: Nhóm tham chiếu (bi = 0, ai = 1) và nhóm

đối chứng (bi = 0, ai = 0,6).

55

3.1 Kết quả phân tích DIF theo yếu tố giới tính 60

3.2 Kết quả phân tích DIF theo yếu tố giới tính của câu hỏi số 2 và số 3

60

3.3 DIF ở câu hỏi 2, giữa nhóm học sinh nam và nhóm học sinh nữ

61

3.4 DIF ở câu hỏi 3 giữa nhóm học sinh nam và nhóm học sinh nữ

61

3.5

Kết quả phân tích DIF theo yếu tố vị trí địa lý, giữa thành thị - nông

thôn

64

3.6 DIF ở câu hỏi 81,giữa nhóm học sinh thành thị và nông thôn 64

3.7

Kết quả phân tích DIF theo yếu tố vị trí địa lý, giữa thành thị - vùng

sâu xa

66

3.8

Kết quả phân tích DIF theo yếu tố vị trí địa lý, giữa nông thôn￾vùng sâu xa

68

7

3.9 Kết quả phân tích DIF theo yếu tố vùng miền, miền Bắc – miền

Nam

71

3.10 Kết quả phân tích DIF theo yếu tố vùng miền, miền Bắc – miền

Trung

72

3.11 Kết quả phân tích DIF theo yếu tố vùng miền, miền Trung – miền

Nam

73

3.12 Kết quả phân tích DIF theo yếu tố loại hình trường

77

8

MỞ ĐẦU

1. Lý do chọn đề tài

Hiện nay, nền giáo dục Việt Nam đang thực hiện công cuộc đổi mới căn bản,

toàn diện nhằm đáp ứng yêu cầu của sự nghiệp công nghiệp hoá, hiện đại hóa đất

nước. Chúng ta đang tiến hành đổi mới từ mục tiêu, nội dung, phương pháp tới hình

thức tổ chức, phương tiện giáo dục... Để đảm bảo công cuộc đổi mới giáo dục thành

công, chúng ta cần đẩy mạnh đổi mới kiểm tra, đánh giá. Chính vì nhu cầu như vậy,

ngày 03/11/2011, Bộ GD&ĐT đã ban hành Thông tư số 51/2011/TT-BGDĐT Quy

định về Đánh giá định kỳ quốc gia kết quả học tập của học sinh trong các cơ sở giáo

dục phổ thông. Thông tư đã tạo điều kiện thuận lợi cho các kỳ đánh giá học sinh ở

cả 3 cấp học: Tiểu học, Trung học cơ sở và Trung học phổ thông, tương ứng với các

lớp 5, lớp 9 và lớp 11. Bên cạnh các kỳ đánh giá quốc gia, Việt Nam cũng tích cực

tham gia hội nhập quốc tế thông qua các kỳ đánh giá quốc tế như PISA, PASEC...

Trong đó, đáng chú ý nhất là chương trình đánh giá học sinh quốc tế PISA.

Năm 2010, lãnh đạo Bộ Giáo dục và Đào tạo Việt Nam đã quyết định ký hợp

đồng với OECD (Tổ chức hợp tác và phát triển kinh tế) để Việt Nam tham gia

Chương trình đánh giá học sinh quốc tế (Programme for international student

assessment – gọi tắt là PISA) từ chu kỳ năm 2012. Đây là chương trình đánh giá

mang quy mô toàn cầu với sự tham gia của hơn 70 quốc gia/vùng lãnh thổ, được

tiến hành theo chu kỳ 3 năm 1 lần, mỗi chu kỳ sẽ tập trung đánh giá chuyên sâu một

trong ba lĩnh vực Toán học, Khoa học và Đọc hiểu. Năm 2012, PISA tập trung vào

đánh giá năng lực của học sinh ở lĩnh vực Toán học. Chương trình này xây dựng

các bài kiểm tra để đánh giá năng lực của học sinh ở độ tuổi 15 (Theo OECD, đây là

độ tuổi học năm cuối giáo dục bắt buộc). Các đề thi cũng như các tài liệu liên quan

sẽ được dịch sang các ngôn ngữ khác nhau tùy theo từng quốc gia để sử dụng cho

đánh giá. Các quốc gia/vùng lãnh thổ tham gia chương trình đánh giá này có thể có

được những so sánh có tính chất tham khảo về chất lượng giáo dục của nước mình

với những nước khác cùng tham gia, so sánh năng lực của học sinh theo thời gian

và đánh giá tác động của các quyết định chính sách giáo dục từ đó đưa ra những đề