Ứng dụng xử lý ảnh trong nhận diện phiếu kiểm nghiệm mẫu :Luận văn thạc sĩ - Chuyên ngành: Kỹ thuật điện tử

BỘ CÔNG THƢƠNG

TRƢỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH

PHẠM HOÀNG THÁI

ỨNG DỤNG XỬ LÝ ẢNH TRONG NHẬN DIỆN

PHIẾU KIỂM NGHIỆM MẪU

Chuyên ngành: KỸ THUẬT ĐIỆN TỬ

Mã chuyên ngành: 8520203

LUẬN VĂN THẠC SĨ

THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021

Công trình đƣợc hoàn thành tại Trƣờng Đại học Công nghiệp TP. Hồ Chí Minh.

Ngƣời hƣớng dẫn khoa học: TS. Phạm Trần Bích Thuận

Luận v n thạc s đƣợc ảo vệ tại Hội đồng ch m ảo vệ Luận v n thạc s Trƣờng

Đại học Công nghiệp thành phố Hồ Chí Minh ngày 29 tháng 01 n m 2021

Thành phần Hội đồng đánh giá luận v n thạc s gồm:

1. .........................................................................- Chủ tịch Hội đồng

2. .........................................................................- Phản iện 1

3. .........................................................................- Phản iện 2

4. .........................................................................- Ủy viên

5. .........................................................................- Thƣ ký

(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)

CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA CÔNG NGHỆ ĐIỆN TỬ

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên học viên:PHẠM HOÀNG THÁI........................ MSHV:18104941 ................

Ngày, tháng, n m sinh:15/04/1982 ................................ Nơi sinh:TP.HCM

Chuyên ngành:Kỹ thuật Điện tử .................................... Mã chuyên ngành: 8520203

I. TÊN ĐỀ TÀI:

Ứng dụng xử lý ảnh trong nhận diện phiếu kiểm nghiệm mẫu

NHIỆM VỤ VÀ NỘI DUNG:

Mục tiêu của đề tài là tìm kiếm phƣơng pháp hỗ trợ cho việc phân loại các mẫu cần

kiểm nghiệm qua chỉ tiêu và nền mẫu từ phiếu kiểm nghiệm mẫu một cách nhanh

và chính xác nh t;

Xây dựng ứng dụng xử lý và nhận diện ảnh từ phiếu kiểm nghiệm, từ đó làm phiếu

điện tử đi kèm với các mẫu đến để các phòng an tƣơng ứng.

II. NGÀY GIAO NHIỆM VỤ:

Quyết định giao đề tài: Số 841/QĐ-ĐHCN ngày 10 / 07 /2020

III. NGÀY HOÀN THÀNH NHIỆM VỤ: 29/01/2021

IV. NGƢỜI HƢỚNG DẪN KHOA HỌC: (Ghi rõ học hàm, học vị, họ, tên)

Hƣớng dẫn khoa học: TS. PHẠM TRẦN BÍCH THUẬN

Tp. Hồ Chí Minh, ngày … tháng … năm 2021

NGƢỜI HƢỚNG DẪN

(Họ tên và chữ ký)

CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

(Họ tên và chữ ký)

TRƢỞNG KHOA CÔNG NGHỆ ĐIỆN TỬ

(Họ tên và chữ ký)

BỘ CÔNG THƢƠNG

TRƢỜNG ĐẠI HỌC CÔNG NGHIỆP

THÀNH PHỐ HỒ CHÍ MINH

CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

i

LỜI CẢM ƠN

Lời đầu tiên, tôi xin gửi lời cảm ơn đến Ban Giám hiệu trƣờng Đại học Công nghiệp

Thành phố Hồ Chí Minh đã tạo một môi trƣờng học tập tốt cũng nhƣ điều kiện

thuận lợi nh t để thực hiện đề tài. Trong suốt quá trình học tập và hoàn thành đề tài,

tôi đã nhận đƣợc nhiều sự giúp đỡ, đóng góp ý kiến và chỉ bảo nhiệt tình của Thầy,

Cô, gia đình và ạn è. Với lòng kính trọng và iết ơn sâu sắc, tôi xin gửi lời cảm

ơn chân thành đến TS. Phạm Trần Bích Thuận, giảng viên Khoa Công nghệ Điện

tử của trƣờng Đại học Công nghiệp Thành phố Hồ Chí Minh, và ngƣời đã truyền

cảm hứng cho tôi là thầy PGS.TS Nguyễn Tấn Luỹ - Phó trƣởng khoa Công nghệ

Điện tử. Thầy và cô đã tận tình, tận tâm trực tiếp hƣớng dẫn, truyền cảm hứng cũng

nhƣ chỉ bảo, động viên tôi trong suốt quá trình thực hiện luận v n.

Tôi cũng xin chân thành cảm ơn các Thầy, Cô trong Trƣờng Đại học Công nghiệp

Thành phố Hồ Chí Minh nói chung và các Thầy, Cô trong Khoa Công nghệ Điện tử

nói riêng đã tận tình dạy dỗ, truyền đạt những kiến thức cơ sở cũng nhƣ chuyên

ngành, để có đƣợc nền tảng kiến thức hoàn thành đề tài. Tôi cũng xin chân thành

cảm ơn gia đình và ạn è, đã luôn tạo điều kiện, quan tâm, giúp đỡ, động viên

trong suốt quá trình học tập và hoàn thành luận v n thạc s .

Luận v n đã hoàn thành một cách tốt nh t mà tôi đã dành ra hết t t cả tâm huyết,

nhƣng chắc chắn sẽ có những thiếu sót không thể tránh khỏi. Tôi r t mong nhận

đƣợc sự thông cảm và những ý kiến đóng góp chân thành từ phía Quý Thầy Cô.

Tôi xin chân thành cảm ơn!

Tp. Hồ Chí Minh, ngày … tháng … năm 2021

Học viên thực hiện

Phạm Hoàng Thái

ii

TÓM TẮT LUẬN VĂN THẠC SĨ

Ngày nay, nhờ vào sự phát triển và ứng dụng mạnh mẽ của các hệ thống máy tính

và các giải thuật trong l nh vực xử lý ảnh và thị giác máy tính mà ngày càng đƣợc

nghiên cứu ứng dụng trong nhiều l nh vực giúp cho cuộc sống ngày càng thuận tiện

hơn. Từ thực tiễn đó việc xây dựng các chƣơng trình hoạt động cho các hệ thống

phân loại là thiết yếu, đặc iệt là các hệ thống phân loại sản phẩm theo hình dạng.

Nhận dạng đối tƣợng đƣợc xem là một trong những ài toán thu hút sự quan tâm từ

các nhà nghiên cứu và phát triển... L nh vực thị giác máy tính mang lại nhiều ứng

dụng hữu ích từ nhiều l nh vực nhƣ nhận diện ảnh, theo dõi đối tƣợng, tìm kiếm,...

Có r t nhiều cách tiếp cận để giải quyết trong l nh vực thị giác máy tính, với mỗi

loại đối tƣợng cụ thể sẽ có có một phƣơng pháp cụ thể để thực hiện.

Bố cục của ài luận đƣợc trình ày nhƣ sau : trƣớc hết tác giả đi vào nghiên cứu về

mạng Neural và mạng Convolution (tích chập) cũng nhƣ ý tƣởng của mô hình

CNNs trong phân lớp ảnh (Image Classification), và áp dụng trong việc xây dựng

ứng dụng nhận diện phiếu kiếm nghiệm mẫu.

iii

LỜI CAM ĐOAN

Tôi xin cam đoan đề tài luận vặn này là của riêng tôi và đƣợc sự hƣớng dẫn của TS.

Phạm Trần Bích Thuận. Nội dung nghiên cứu cũng nhƣ kết quả trong đề tài này là

trung thực và chƣa công ố dƣới t kỳ hình thức nào trƣớc đây. Những số liệu

trong các ảng iểu phục vụ cho việc phân tích, nhận xét, đánh giá đƣợc chính tác

giả thu thập từ các nguồn khác nhau có ghi rõ trong phần tài liệu tham khảo.

Học viên thực hiện

Phạm Hoàng Thái

iv

MỤC LỤC

LỜI CẢM ƠN ............................................................................................................. i

TÓM TẮT LUẬN VĂN THẠC SĨ............................................................................ ii

LỜI CAM ĐOAN ..................................................................................................... iii

DANH MỤC HÌNH ẢNH ...................................................................................... viii

DANH MỤC BẢNG BIỂU ........................................................................................x

DANH MỤC THUẬT NGỮ..................................................................................... xi

MỞ ĐẦU.....................................................................................................................1

1. Đặt v n đề ...............................................................................................................1

2. Mục tiêu nghiên cứu................................................................................................2

3. Đối tƣợng và phạm vi nghiên cứu...........................................................................2

3.1. Đối tƣợng nghiên cứu ..........................................................................................2

3.2. Phạm vi nghiên cứu..............................................................................................3

4. Cách tiếp cận và phƣơng pháp nghiên cứu .............................................................3

4.1 Cách tiếp cận.........................................................................................................3

4.2 Phƣơng pháp nghiên cứu ......................................................................................3

5. C u trúc áo cáo luận v n thạc s ............................................................................3

6. Ý ngh a thực tiễn của đề tài.....................................................................................4

CHƢƠNG 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU .............................5

1.1 Tổng quan..............................................................................................................5

1.2 Các nghiên cứu trƣớc đây .....................................................................................5

1.3 Nội dung nghiên cứu.............................................................................................9

CHƢƠNG 2 CƠ SỞ LÝ THUYẾT.....................................................................12

2.1 Tổng quan về xử lý ảnh.......................................................................................12

2.1.1 Thu nhận hình ảnh (Image Acquisition)..........................................................13

2.1.2 Phân đoạn (Segmentation) hay phân vùng ảnh ...............................................14

2.1.3 Nhận dạng đối tƣợng (Object recognition)......................................................14

2.1.4 Biểu diễn và mô tả ảnh (Representation & description) .................................15

2.2 Trích xu t đặc trƣng ảnh .....................................................................................15

2.2.1 Đặc trƣng màu sắc............................................................................................16

v

2.2.2 Độ đo tƣơng đồng về màu sắc.........................................................................17

2.2.3 Đặc trƣng kết c u.............................................................................................17

2.2.4 Đặc trƣng hình dạng ........................................................................................18

2.2.4.1 Đặc trƣng hình dạng.......................................................................................18

2.2.4.2 Độ đo tƣơng đồng cho hình dạng...............................................................19

2.2.5 Đặc trƣng cục bộ b t biến................................................................................19

2.2.5.1 Đặc trƣng cục bộ b t biến.............................................................................19

2.2.5.2 Độ đo tƣơng đồng cho đặc trƣng cục bộ b t biến..................................20

2.2.6 Lựa chọn đặc trƣng ..........................................................................................20

2.3 Mạng thần kinh nhân tạo.....................................................................................22

2.3.1 Giới thiệu về mạng Neural nhân tạo................................................................23

2.3.2 C u trúc mạng neural nhân tạo ........................................................................23

2.3.3 Một số kiểu mạng Neural ................................................................................25

2.3.3.1 Tự kết hợp (autoassociative)........................................................................25

2.3.3.2 Kết hợp khác kiểu (heteroassociative) ......................................................26

2.3.3.3 Kiến trúc truyền thẳng (feedforward architechture)..............................26

2.3.3.4 Kiến trúc phản hồi (Feedback architecture).............................................27

2.3.4 Mạng Neural lan truyền ngƣợc MLP...............................................................27

2.3.4.1 Kiến trúc mạng MLP......................................................................................27

2.3.4.2 Hu n luyện mạng MLP .................................................................................29

2.3.4.3 Học có giám sát trong các mạng nơron.....................................................30

2.3.5 Mạng neural tích chập (CNN) .........................................................................31

2.3.5.1 Mô hình mạng neural tích chập...................................................................34

2.3.5.2 Xây dựng mạng neural tích chập ................................................................35

CHƢƠNG 3 PHÂN LOẠI PHIẾU KIỂM NGHIỆM MẪU DÙNG MẠNG

NƠRON CNN ......................................................................................................... 47

3.1 Xác định đặc trƣng ảnh phiếu kiểm nghiệm .......................................................47

3.1.1Thu thập ảnh phiếu kiểm nghiệm .....................................................................48

3.1.2 Tiền xử lý ảnh ..................................................................................................49

3.1.3 Trích xu t đặc trƣng.........................................................................................49

3.1.4 Kết quả thực nghiệm........................................................................................49

3.2 Phân loại ảnh dùng mạng nơron CNN ................................................................50

vi

3.2.1 C u trúc mạng nơron CNN..............................................................................50

3.2.1.1 Sơ đồ c u trúc mạng nơron đề xu t............................................................50

3.2.1.2 Phân tích sơ đồ c u trúc mạng nơron đề xu t..........................................51

3.2.2 Tập dữ liệu hu n luyện ....................................................................................52

3.2.2.1 Mẫu phiếu hu n luyện ...................................................................................52

3.2.2.2 Mẫu phiếu Validation ....................................................................................53

3.2.2.3 Mẫu phiếu Test................................................................................................54

3.2.3 Thuật toán hu n luyện mạng............................................................................55

3.2.4 Kết quả phân loại ảnh phiếu kiểm nghiệm......................................................57

3.2.4.1 Kết quả thực nghiệm trong quá trình hu n luyện..................................57

3.2.4.2 Kết quả phân loại phiếu kiểm nghiệm.......................................................58

3.3 Kết luận ...............................................................................................................59

CHƢƠNG 4 NHẬN DIỆN PHIẾU KIỂM NGHIỆM MẪU ..............................60

4.1 Kiến trúc hệ thống...............................................................................................60

4.1.1 Kiến trúc hệ thống tổng quát............................................................................60

4.1.2 Kiến trúc hệ thống nhận dạng ảnh từ phiếu kiểm nghiệm ..............................60

4.2 Lƣu đồ giải thuật .................................................................................................62

4.3 Kết quả nhận điện phiếu kiểm nghiệm mẫu thực tế............................................64

4.3.1 Xử lý ảnh đầu vào ............................................................................................64

4.3.2 Kết quả nhận diện phiếu kiểm nghiệm mẫu....................................................65

4.3.2.1 Kết quả lựa chọn nền mẫu và lựa loại chỉ tiêu cần kiểm nghiệm theo

phiếu yêu cầu kiểm nghiệm từ phần mềm nhận mẫu..............................................65

4.3.2.2 Kết quả phần mềm kiểm thử trên máy tính..............................................67

4.3.2.3 Kết quả phần mềm kiểm thử trên điện thoại............................................69

4.4 Kết luận ...............................................................................................................70

KẾT LUẬN VÀ KIẾN NGHỊ...................................................................................71

1.Kết quả đạt đƣợc ....................................................................................................71

1.1. Về mặt khoa học.......................................................................................71

1.2. Về mặt ứng dụng ......................................................................................71

1.3. Về mặt con ngƣời .....................................................................................71

2.Tồn tại ....................................................................................................................72

3.Hƣớng phát triển ....................................................................................................72

vii

TÀI LIỆU THAM KHẢO.........................................................................................73

PHỤ LỤC..................................................................................................................78

1. TỔNG QUAN VỀ NGÔN NGỮ PYTHON.........................................................78

1.1 Giới thiệu.............................................................................................................78

1.2 Đặc trƣng.............................................................................................................78

1.3 Ứng dụng của Python..........................................................................................79

2. TỔNG QUAN VỀ GOOGLE COLAB.................................................................80

2.1 Giới thiệu.............................................................................................................80

2.2 Tổng quan về các thƣ viện sử dụng trong Python..............................................81

2.2.1 OpenCV....................................................................................................................81

2.2.2 NumPy ......................................................................................................................82

2.2.3 Keras..........................................................................................................................83

2.2.4 TensorFlow..............................................................................................................83

2.2.5 Tkinter.......................................................................................................................84

2.3 Code hu n luyện mô hình CNN..........................................................................84

LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN .........................................................87