Nghiên cứu ứng dụng Machine Learning trong dự đoán chỉ số giá xây dựng công trình dân dụng tại Thành phố Hồ Chí Minh

1

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

--------∞0∞--------

TRẦN VŨ NGHIÊM

NGHIÊN CỨU ỨNG DỤNG

MACHINE LEARNING TRONG DỰ ĐOÁN CHỈ SỐ

GIÁ XÂY DỰNG CÔNG TRÌNH DÂN DỤNG

TẠI THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ

XÂY DỰNG CÔNG TRÌNH DÂN DỤNG VÀ CÔNG NGHIỆP

TP. HỒ CHÍ MINH, NĂM 2020

2

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

--------∞0∞--------

TRẦN VŨ NGHIÊM

NGHIÊN CỨU ỨNG DỤNG

MACHINE LEARNING TRONG DỰ ĐOÁN CHỈ SỐ

GIÁ XÂY DỰNG CÔNG TRÌNH DÂN DỤNG

TẠI THÀNH PHỐ HỒ CHÍ MINH

Chuyên ngành: Xây dựng công trình dân dụng và công nghiệp

Mã số chuyên ngành: 60 58 02 08

LUẬN VĂN THẠC SĨ

XÂY DỰNG CÔNG TRÌNH DÂN DỤNG VÀ CÔNG NGHIỆP

Giảng viên hướng dẫn: TS. NGUYỄN THANH PHONG

TP. HỒ CHÍ MINH, NĂM 2020

TRƯỜNG ĐẠI HỌC MỞ

THÀNH PHỐ HỒ CHÍ MINH

KHOA ĐÀO TẠO SAU ĐẠI HỌC

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc

GIẤY XÁC NHẬN

Tôi tên là: TRẦN VŨ NGHIÊM

Ngày sinh: 27/07/1991 Nơi sinh: Bình Định

Chuyên ngành: Xây dựng dân dụng và công nghiệp Mã học viên: 1685802080003

Tôi đồng ý cung cấp toàn văn thông tin luận văn tốt nghiệp hợp lệ về bản quyền cho

Thư viện trường đại học Mở Thành phố Hồ Chí Minh. Thư viện trường đại học Mở

Thành phố Hồ Chí Minh sẽ kết nối toàn văn thông tin luận văn tốt nghiệp vào hệ thống

thông tin khoa học của Sở Khoa học và Công nghệ Thành phố Hồ Chí Minh.

Ký tên

(Ghi rõ họ và tên)

d2 ceNG ndn xA ngr cu0 Ncnia. vrET NAM

D6c lf,p - Tu do - Hanh phlic

''f Xrnx CHO PHEP nAo VE LUAN vAN THAC si

CUA GIANG VINN rrrTdNC DAN

r\u

'f Uen ctu gi6o vi6n hu6ng adn vC vi6c cho ph6p hec vi6n.. .IR/N.. yQ.. Mg*fEU...

duoc bAo vQ luQn vdn tru6c H6i d6ng:

b.dr, .G. ......1.t+[.+.......q44-"+.

Thdnh phii ruA Cnt Urnh, ngdy..4{.thdng ..?... ndm 20tO

Ngudi nh0nx6t

7\7r-

=----

.Nguyril {.K*nk..Pk^'f

ran cr6 tai: ...hhli& qi^i d ,tq 4rg....Pi...nt*.fr1 ....No..chi*- ..t*ot*rg-,,,...

frrry { f*6 *N aJ ?{ N dw ry fffi de *a

\ J .-\

Hsc vi6n thuc hiQn: . TP.IN...{!1...Nft11.8N...

Nedy sinh: . AU.oX l.lgg n. Noi sinh: ...&til.. e'd..

1

LỜI CAM ĐOAN

Tôi xin cam đoan Luận văn “ NGHIÊN CỨU ỨNG DỤNG MACHINE

LEARNING TRONG DỰ ĐOÁN CHỈ SỐ GIÁ XÂY DỰNG CÔNG TRÌNH

DÂN DỤNG TẠI THÀNH PHỐ HỒ CHÍ MINH” là đề tài nghiên cứu thật sự của

cá nhân tôi, được thực hiện dựa trên cơ sở nghiên cứu lý thuyết tính toán và số liệu

dưới sự hướng dẫn của: TS. NGUYỄN THANH PHONG.

Ngoại trừ những tài liệu tham khảo được trích dẫn trong luận văn này, tôi cam đoan

rằng toàn phần hay những phần nhỏ của luận văn này chưa từng được công bố hoặc

được sử dụng để nhận bằng cấp ở những nơi khác.

Không có sản phẩm/nghiên cứu nào của người khác được sử dụng trong luận văn này

mà không được trích dẫn theo đúng quy định.

Luận văn này chưa bao giờ được nộp để nhận bất kỳ bằng cấp nào tại các trường đại

học hoặc cơ sở đào tạo khác.

TP. HCM, ngày……tháng……năm 2020.

HỌC VIÊN

TRẦN VŨ NGHIÊM

2

LỜI CẢM ƠN

Để hoàn thành Luận văn này, ngoài sự cố gắng và nỗ lực của bản thân, tôi đã

nhận được sự giúp đỡ từ nhiều từ tập thể và các cá nhân. Tôi xin ghi nhận và tỏ lòng

biết ơn đến tập thể và các cá nhân đã giúp đỡ tôi một cách chân thành.

Tôi xin bày tỏ sự biết ơn sâu sắc đến Thầy TS. NGUYỄN THANH PHONG,

Trưởng Bộ Môn Quản lý Dự Án XD, Trường Đại học Mở Thành Phố Hồ Chí Minh.

Thầy đã góp ý cho tôi rất nhiều về cách nhận định đúng đắn trong những vấn đề

nghiên cứu, cũng như cách tiếp cận giải quyết vấn đề nghiên cứu sao cho hiệu quả.

Tôi cũng xin bày tỏ lòng biết ơn đối với các thầy cô trong Khoa Xây dựng và Khoa

Sau Đại Học, Trường Đại học Mở Thành Phố Hồ Chí Minh đã tạo điều kiện thuận

lợi nhất cho tôi trong quá trình học tập, nghiên cứu.

Luận văn tốt nghiệp đã hoàn thành trong thời gian quy định với sự nỗ lực của

bản thân, tuy nhiên không thể không có những thiếu sót. Kính mong Quý Thầy/Cô

chỉ dẫn thêm để tôi bổ sung những kiến thức và hoàn thiện hơn.

Xin trân trọng cảm ơn.

TP.HCM, ngày ….. tháng ….. năm 2020.

HỌC VIÊN

TRẦN VŨ NGHIÊM

3

TÓM TẮT LUẬN VĂN THẠC SĨ

NGHIÊN CỨU ỨNG DỤNG MACHINE LEARNING TRONG DỰ

ĐOÁN CHỈ SỐ GIÁ XÂY DỰNG CÔNG TRÌNH DÂN DỤNG TẠI

THÀNH PHỐ HỒ CHÍ MINH

TÓM TẮT:

Đề tài nghiên cứu ứng dụng Machine Learning trong dự đoán chỉ số giá xây

dựng công trình dân dụng là công trình nghiên cứu về các yếu tố gây ảnh hưởng đến

chỉ số giá xây dựng, bằng các phương pháp lập bảng câu hỏi khảo sát ý kiến của

chuyên gia, từ đó rút ra những yếu tố quan trọng nhất và thu thập số liệu của những

yếu tố này để làm dữ liệu đầu vào cho mô hình dự đoán, xây dựng mô hình ứng dụng

Machine Learning, cụ thể là Phương pháp KNN (K-Nearest Neighbor), từ cơ sở dữ

liệu về chỉ số giá xây dựng, các chỉ số kinh tế, tài chính, xã hội… thu thập được từ

Sở Xây dựng và Cục Thống kê TP, dựa vào kết quả dự đoán dữ liệu mới sau khi chạy

mô hình, tiến hành so sánh chỉ số giá xây dựng đã dự đoán với chỉ số giá xây dựng

thực tế đã được Sở Xây dựng công bố và tính toán sai số. Kết luận và kiến nghị về độ

chính xác và tính ứng dụng của mô hình dự đoán. Từ đó đề xuất cách tính toán chi

phí dự phòng.

4

RESEARCH ON THE APPLICATION OF MACHINE LEARNING IN

THE PROJECT OF CONSTRUCTION PRICE INDICATOR FOR CIVIL

WORKS IN HO CHI MINH CITY

ABSTRACT: The research topic of Machine Learning in predicting the price

index of civil works is the study of the factors affecting the construction price index,

by the methods of preparing questionnaires. expert's opinion, from which to draw the

most important factors and collect data of these factors to make input data for

prediction model, build machine learning application model, namely KNN method

(K-Nearest Neighbor), from the database of construction price indexes, economic,

financial, social indicators ... collected from the Department of Construction and the

Municipal Statistics Office, based on the results. Predict new data after running the

model, compare the predicted construction price index with the actual construction

price index announced by the Department of Construction and calculate the error.

Conclusions and recommendations on the accuracy and applicability of the prediction

model. From there propose a way to calculate contingency costs.

4

MỤC LỤC

CHƯƠNG 1 : MỞ ĐẦU ..................................................................................8

1.1 ĐẶT VẤN ĐỀ:...........................................................................................8

1.2 MỤC TIÊU NGHIÊN CỨU CỦA ĐỀ TÀI:..............................................9

1.3 CÂU HỎI NGHIÊN CỨU: ........................................................................9

1.4 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU:........................................10

1.5 Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN..............................................10

Ý nghĩa khoa học ......................................................................10

Ý nghĩa thực tiễn.......................................................................10

CHƯƠNG 2 : TỔNG QUAN.........................................................................12

2.1 CƠ SỞ LÝ THUYẾT VỀ MACHINE LEARNING ...............................12

2.2 CHỈ SỐ GIÁ XÂY DỰNG .................................................................15

2.2.1 Khái niệm................................................................................15

2.2.2 Phân loại..................................................................................15

2.2.3 Giải thích một số thuật ngữ.................................................16

2.3 PHƯƠNG PHÁP XÁC ĐỊNH CHỈ SỐ GIÁ XÂY DỰNG............17

2.3.1 Xác định chỉ số giá xây dựng công trình .........................17

2.3.2 Xác định các chỉ số theo yếu tố chi phí ..........................18

2.3.3 Xác định các chỉ số theo cơ cấu chi phí..........................21

2.4 THU THẬP DỮ LIỆU BẰNG PHƯƠNG PHÁP PHỎNG VẤN...........24

2.5 TÌNH HÌNH NGHIÊN CỨU TRONG NƯỚC VÀ THẾ GIỚI...............26

2.5.1 Các nghiên cứu trong nước .......................................................26

2.5.2 Các nghiên cứu trên thế giới .....................................................27

CHƯƠNG 3: PHƯƠNG PHÁP NGHIÊN CỨU ...........................................29

5

3.1 QUY TRÌNH NGHIÊN CỨU..................................................................29

3.2 PHƯƠNG PHÁP KHẢO SÁT BẢNG CÂU HỎI...................................31

3.2.1 Giới thiệu chung........................................................................31

3.2.2 Các bước thực hiện ...................................................................31

3.2.3 Xử lý dữ liệu .............................................................................33

3.3 THUẬT TOÁN KNN (K-NEAREST NEIGHBOR)...........................34

3.3.1 Định nghĩa................................................................................34

3.3.2 Ý tưởng của KNN .................................................................35

3.3.3 KNN cho Regression ..............................................................38

3.3.4 Sai số toàn phương trung bình ..................................................39

3.3.5 Ví dụ minh họa..........................................................................39

CHƯƠNG 4: XÂY DỰNG MÔ HÌNH .........................................................44

4.1 XÁC ĐỊNH DỮ LIỆU ĐẦU VÀO..........................................................44

4.1.1 Tổng quan các yếu tố ảnh hưởng CCI ......................................44

4.1.2 Khảo sát ý kiến chuyên gia và chọn ra các yếu tố chính ..........44

4.1.3 Chọn các yếu tố chính...............................................................45

4.1.4 Sự tương quan giữa biến đầu vào và CCI.................................50

4.2 THỰC THI BÀI TOÁN BẰNG PYTHON ............................................52

4.3 ĐỀ XUẤT CÁCH TÍNH TOÁN CHI PHÍ DỰ PHÒNG ........................70

CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ.................................................77

5.1 KẾT LUẬN..............................................................................................77

5.2 HẠN CHẾ ................................................................................................78

5.3 KIẾN NGHỊ .............................................................................................79

TÀI LIỆU THAM KHẢO..............................................................................80

6

DANH MỤC HÌNH ẢNH

Hình 2.1: MNIST: bộ cơ sở dữ liệu của chữ số viết tay.

Hình 3.1: Hình ảnh mô phỏng thuật toán KNN

Hình 3.2: Công thức tính khoảng cách giữa các điểm dữ liệu

Hình 3.3: Quy ntrình nthực nhiện ncủa nthuật ntoán nKNN

Hình 3.4: Đồ thị so sánh giữa kết quả dự đoán và dữ liệu đầu vào

Hình 3.5: Biểu đồ ví dụ minh họa

Hình 3.6: Biểu đồ ví dụ minh họa

Hình 3.7: Biểu đồ ví dụ minh họa

Hình 4.1: Màn hình code

Hình 4.2: Màn hình code

Hình 4.3: Dữ liệu đầu vào

Hình 4.4: Màn hình code

Hình 4.5: Màn hình code

Hình 4.6: Màn hình code

Hình 4.7: Màn hình code

Hình 4.8: Biểu đồ tương quan giữa K và MSE

DANH MỤC BẢNG

Bảng 3.1: Sơ đồ nghiên cứu

Bảng 3.2: Sơ đồ xác định các yếu tố ảnh hưởng đến chỉ số giá xây dựng

Bảng 3.3: Thang đo mức độ quan trọng

Bảng 3.4: Bảng dữ liệu ví dụ minh họa

Bảng 4.1. Các yếu tố ảnh hưởng đến chỉ số giá xây dựng

Bảng 4.2. Kết quả khảo sát

Bảng 4.3. Các yếu tố đầu vào cho mô hình

Bảng 4.4. Bảng dữ liệu các yếu tố đầu vào cho mô hình

Bảng 4.5: Thống kê hệ số tương quan Pearson giữa các biến đầu vào với CCI

Bảng 4.6. Bộ dữ liệu huấn luyện cho mô hình

7

Bảng 4.7. Bộ dữ liệu kiểm tra và đánh giá mô hình

Bảng 4.8: Kết quả MSE với K tương ứng

Bảng 4.9: Kết quả của mô hình dự đoán chỉ số giá xây dựng

Bảng 4.10: Phân bổ vốn đầu tư theo tiến độ thực hiện

Bảng 4.11: Tính mức độ trượt giá bình quân

Bảng 4.12: Tính chi phí dự phòng theo yếu tố trượt giá

Bảng 4.13: Dữ liệu đầu vào cho mô hình dự đoán chỉ số giá xây dựng theo từng

năm

Bảng 4.14: Tính mức độ trượt giá bình quân từ kết quả của mô hình

Bảng 4.15: Chi phí dự phòng cho yếu tố trượt giá (theo kết quả từ mô hình)

Bảng 4.16: Kết quả chi phí dự phòng tính theo các cách khác nhau

MỘT SỐ KÝ HIỆU VÀ VIẾT TẮT

CCI : Chỉ số giá xây dựng

KNN : K-Nearest Neighbor

TP.HCM : Thành phố Hồ Chí Minh