Nhận dạng bảng số xe bằng phương pháp LB-CNN :Luận văn thạc sĩ - Chuyên ngành: Khoa học máy tính

BỘ CÔNG THƯƠNG

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH

PHAN NHƯ PHƯƠNG

NHẬN DẠNG BẢNG SỐ XE

BẰNG PHƯƠNG PHÁP LB-CNN

Chuyên ngành: KHOA HỌC MÁY TÍNH

Mã chuyên ngành: 60480101

LUẬN VĂN THẠC SĨ

THÀNH PHỐ HỒ CHÍ MINH, NĂM 2019

Công trình được hoàn thành tại Trường Đại học Công nghiệp TP. Hồ Chí Minh.

Người hướng dẫn khoa học: PGS.TS. Phạm Thế Bảo

Người phản biện 1: TS. Lê Thành Sách

Người phản biện 2: TS. Trịnh Tấn Đạt

Luận văn thạc sĩ được bảo vệ tại Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường Đại

học Công nghiệp thành phố Hồ Chí Minh ngày … tháng … năm 20…

Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:

1. PGS.TS. Huỳnh Trung Hiếu - Chủ tịch Hội đồng

2. TS. Lê Thành Sách - Phản biện 1

3. TS. Trịnh Tấn Đạt - Phản biện 2

4. TS. Đặng Thị Phúc - Ủy viên

5. TS. Phạm Thị Thiết - Thư ký

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CNTT

NHIỆM VỤ LUẬN VĂN THẠC SĨ

Họ tên chúng tôi: PHAN NHƯ PHƯƠNG MSHV: 15117691

Ngày, tháng, năm sinh: 15/12/1991 Nơi sinh: Đồng Nai

Chuyên ngành: Khoa Học Máy Tính Mã chuyên ngành: 60480101

I. TÊN ĐỀ TÀI:

Nhận dạng bảng số xe bằng phương pháp LB-CNN

NHIỆM VỤ VÀ NỘI DUNG:

Nghiên cứu và ứng dụng phương pháp LB-CNN vào việc nhận dạng bảng số xe. Xây

dựng chương trình nhận dạng bảng số xe tại Việt Nam, cung cấp các thuật toán hỗ

trợ cho việc phát hiện và nhận dạng bảng số xe.

II. NGÀY GIAO NHIỆM VỤ: Theo Quyết định số 1486/QĐ-ĐHCN 25/06/2018

III. NGÀY HOÀN THÀNH NHIỆM VỤ: 30/11/2019

IV. NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. Phạm Thế Bảo

Tp. Hồ Chí Minh, ngày … tháng … năm 20 …

NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO

TRƯỞNG KHOA CNTT

BỘ CÔNG THƯƠNG

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP

THÀNH PHỐ HỒ CHÍ MINH

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập - Tự do - Hạnh phúc

i

LỜI CẢM ƠN

Trước hết tôi xin gửi lời cảm ơn chân thành tới tập thể các thầy cô giáo trong Khoa

Công nghệ Thông tin, Trường Đại học Công Nghiệp TP. Hồ Chí Minh đã tận tình

dạy dỗ và tạo mọi điều kiện giúp đỡ tôi trong quá trình học tập và nghiên cứu.

Đặc biệt, tôi xin bày tỏ lòng biết ơn sâu sắc đến thầy PGS.TS. Phạm Thế Bảo, người

đã trưc tiếp hướng dẫn, chỉ bảo tôi tận tình trong suốt quá trình nghiên cứu và hoàn

thiện luận văn này.

Một lần nữa tôi xin được gửi lời cảm ơn đến tất cả các thầy cô giáo, bạn bè, gia đình

và cơ quan đã giúp đỡ tôi trong thời gian vừa qua.

ii

TÓM TẮT LUẬN VĂN THẠC SĨ

Trong nghiên cứu này, chúng tôi sử dụng phương pháp mạng nơron tích chập nhị

phân cục bộ (LB-CNN) để xác định và nhận dạng ký tự quang học (OCR). Bộ dữ liệu

ảnh đầu vào là bảng số xe Việt Nam được hỗ trợ bởi FPT. Để xác định và nhận dạng

bảng số xe, chúng tôi giải quyết 5 vấn đề chính: (1) xác định vùng bảng số xe, (2)

trích vùng bảng số xe, (3) trích các dòng ký tự, (4) trích từng ký tự trên dòng, (5)

nhận dạng ký tự. Chúng tôi đã thực hiện kiểm thử trên bộ dữ liệu ảnh này và cho kết

quả với độ chính xác là 90,00%.

Từ các kết quả thực nghiệm cho thấy, hiệu năng nhận dạng bảng số xe của LB-CNN

và CNN là tương đương nhau. Tuy nhiên, thời gian thực thi của LB-CNN nhanh hơn

nhiều lần thời gian thực thi của CNN.

iii

ABSTRACT

In this work, we used the local binary convolution neural network (LB-CNN) method

to detect and recognize optical character (OCR). The input image data set is

Vietnamese license plates supported by FPT company. To detect and recognize the

license plate, it is necessary to solve five main problems: (1) determining the license

plate area, (2) extracting the license plate area, (3) extracting the character lines, (4)

extracting each character on the line, (5) recognizing characters. We have conducted

on the image data set and obtained an accuracy of 90.00%.

The experimental results show that LB-CNN and CNN's license plate recognition

performance is similar. However, the execution time of LB-CNN is much faster than

that of CNN.

iv

LỜI CAM ĐOAN

Tôi xin cam đoan nội dung của luận văn “Nhận dạng bảng số xe bằng phương pháp

LB-CNN” là do tôi thực hiện dưới sự hướng dẫn của thầy PGS.TS. Phạm Thế Bảo.

Những nội dung được trình bày trong luận văn hoặc là của cá nhân hoặc là được tổng

hợp từ nhiều nguồn tài liệu khác nhau.Việc tham khảo các nguồn tài liệu đã được

thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.

Tôi xin chịu hoàn toàn trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho

lời cam đoan của mình.

Học viên

Phan Như Phương

v

MỤC LỤC

MỤC LỤC...................................................................................................................v

DANH MỤC HÌNH ẢNH ...................................................................................... viii

DANH MỤC BẢNG BIỂU ........................................................................................x

DANH MỤC TỪ VIẾT TẮT.................................................................................... xi

MỞ ĐẦU.....................................................................................................................1

1. Đặt vấn đề ...............................................................................................................1

2. Mục tiêu nghiên cứu................................................................................................1

3. Đối tượng và phạm vi nghiên cứu...........................................................................1

4. Cách tiếp cận và phương pháp nghiên cứu .............................................................2

5. Ý nghĩa thực tiễn của đề tài.....................................................................................3

CHƯƠNG 1 TỔNG QUAN..................................................................................4

1.1 Bài toán..................................................................................................................4

1.2 Các hướng tiếp cận ................................................................................................5

1.2.1 Phương pháp Hough...........................................................................................8

1.2.2 Phương pháp hình thái học...............................................................................10

1.2.3 Phương pháp khớp mẫu....................................................................................11

1.3 Mô hình hoạt động của hệ thống nhận dạng bảng số xe .....................................12

1.3.1 Các ứng dụng ...................................................................................................12

1.3.2 Mô hình hoạt động ...........................................................................................13

1.4 Đề xuất hướng giải quyết....................................................................................14

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT.....................................................................15

2.1 Mạng Neural nhân tạo .........................................................................................15

2.2 Mạng Neural tích chập ........................................................................................18

2.2.1 Toán tử tích chập ..............................................................................................18

2.2.2 Kiến trúc CNN..................................................................................................21

2.2.3 Huấn luyện CNN..............................................................................................29

2.3 Mạng Neural tích chập nhị phân cục bộ..............................................................37

2.3.1 Mô-đun tích chập nhị phân cục bộ ...................................................................37

vi

2.3.2 Học với các lớp LBC........................................................................................37

2.3.3 Phân tích lý thuyết............................................................................................38

2.4 Phân loại bảng số xe theo quy định của Việt Nam..............................................42

2.4.1 Tiêu chuẩn bảng số xe ......................................................................................42

2.4.2 Quy định màu sắc .............................................................................................43

2.4.3 Quy định về bảng số Dân sự ............................................................................44

2.4.4 Quy định về bảng số Bộ quốc phòng ...............................................................45

2.4.5 Quy định về bảng số Bộ ngoại giao .................................................................46

2.4.6 Quy định về bảng số 80....................................................................................47

CHƯƠNG 3 XÂY DỰNG MÔ HÌNH................................................................49

3.1 Xác định vùng bảng số xe ...................................................................................49

3.1.1 Tiền xử lý .........................................................................................................50

3.1.2 Tìm đường bao đối tượng.................................................................................51

3.1.3 Lọc đường bao đối tượng .................................................................................53

3.2 Trích vùng bảng số xe .........................................................................................55

3.3 Trích các dòng ký tự............................................................................................56

3.4 Trích từng ký tự trên dòng...................................................................................58

3.5 Nhận dạng............................................................................................................59

3.5.1 Xây dựng LBP với các bộ lọc tích chập...........................................................59

3.5.2 Mạng nơron tích chập nhị phân cục bộ ............................................................62

3.5.3 Xây dựng mô hình LB-CNN............................................................................63

3.6 Phương pháp đánh giá .........................................................................................65

CHƯƠNG 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ................................................66

4.1 Môi trường thực nghiệm......................................................................................66

4.2 Dữ liệu thực nghiệm............................................................................................67

4.2.1 Bộ dữ liệu MNIST............................................................................................67

4.2.2 Dữ liệu bảng số xe của FPT .............................................................................67

4.3 Kết quả thực nghiệm ...........................................................................................69

4.3.1 Huấn luyện mô hình .........................................................................................69

4.3.2 Nhận dạng.........................................................................................................70