Tìm hiểu mạng Neural Hamming và ứng dụng trong bài toán nhận dạng chữ cái tiếng việt

Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/

ĐẠI HỌC THÁI NGUYÊN

TÌM HIỂU MẠNG NEURAL HAMMING

VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG

CÁC CHỮ CÁI TIẾNG VIỆT

Thái Nguyên – 2013

Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/

ĐẠI HỌC THÁI NGUYÊN

TÌM HIỂU MẠNG NEURAL HAMMING

VÀ ỨNG DỤNG TRONG BÀI TOÁN NHẬN DẠNG

CÁC CHỮ CÁI TIẾNG VIỆT

Chuyên ngành: KHOA HỌC MÁY TÍNH

Mã số: 60.48.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Ngƣời hƣớng dẫn khoa học: TS. Lê Quang Minh

Thái Nguyên – 2013

Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/

LỜI CẢM ƠN

Để hoàn thành bản luận văn này, bên cạnh sự nỗ lực cố gắng của bản

thân còn có sự hƣớng dẫn nhiệt tình của quý Thầy Cô, cũng nhƣ sự động

viên ủng hộ của gia đình và bạn bè trong suốt thời gian học tập nghiên cứu

và thực hiện luận văn thạc sĩ.

Xin chân thành bày tỏ lòng biết ơn đến Thầy giáo TS. Lê Quang Minh,

ngƣời đã hết lòng giúp đỡ và tạo mọi điều kiện tốt nhất cho tôi hoàn thành

luận văn này. Xin gửi lời tri ân nhất của tôi đối với những điều mà Thầy đã

dành cho tôi.

Xin chân thành bày tỏ lòng biết ơn đến toàn thể quý Thầy Cô trong trƣờng

Đại học Công nghệ Thông tin & Truyền thông cũng nhƣ quý Thầy Cô đã tận tình

truyền đạt những kiến thức quý báu và tạo mọi điều kiện thuận lợi cho tôi trong

suốt quá trình học tập, nghiên cứu và cho đến khi thực hiện luận văn.

Xin chân thành bày tỏ lòng biết ơn đến gia đình, những ngƣời đã không

ngừng động viên, hỗ trợ và tạo mọi điều kiện tốt nhất cho tôi trong suốt thời

gian học tập và thực hiện luận văn.

Cuối cùng, tôi xin chân thành bày tỏ lòng biết ơn đến các anh chị và các

bạn bè đồng nghiệp đã hỗ trợ cho tôi trong suốt quá trình học tập, nghiên cứu

và thực hiện luận văn một cách hoàn chỉnh.

Thái Nguyên, tháng 11 năm 2013

Học viên thực hiện

Phùng Văn Kiệm

Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/

MỤC LỤC

LỜI CẢM ƠN..................................................................................................... 3

MỤC LỤC.......................................................................................................... 4

DANH MỤC CÁC TỪ VIẾT TẮT ...................................................................... 7

DANH MỤC HÌNH VẼ....................................................................................... 8

MỞ ĐẦU............................................................................................................ 1

CHƢƠNG I: TỔNG QUAN VỀ HIỆN TRẠNG CÁC BÀI TOÁN NHẬN

DẠNG VÀ THIẾT LẬP BÀI TOÁN NGHIÊN CỨU........................................ 3

1.1 Tổng quan về bài toán nhận dạng............................................................ 3

1.2. Cụ thể về bài toán nhận dạng chữ cái Tiếng Việt................................... 4

1.3. Thiết lập bài toán .................................................................................... 4

1.3.1. Ảnh đầu và ....................................................................................... 5

1.3.2. Tiền sử lý.......................................................................................... 5

1.3.2.1. Nhị phân hóa ảnh........................................................................... 5

1.3.2.2. Lọc nhiễu....................................................................................... 6

1.3.2.3. Chuẩn hóa kích thƣớc ảnh............................................................. 7

1.3.2.4. Làm trơn biên chữ ......................................................................... 7

1.3.2.5. Làm đầy chữ.................................................................................. 8

1.3.2.6. Làm mảnh chữ............................................................................... 8

1.3.2.7. Điều chỉnh độ nghiêng của văn bản .............................................. 8

1.3.3. Quá trình biến đổi ảnh...................................................................... 9

1.3.3.1. Biến đổi Fourier ............................................................................ 9

1.3.3.2. Biến đổi Wavelet........................................................................... 9

1.3.3.3. Phƣơng pháp mô men.................................................................... 9

1.3.3.4. Khai triển Karhunent-Loeve ......................................................... 9

1.3.4. Nhận dạng ...................................................................................... 10

1.3.4.1. Đối sánh mẫu............................................................................... 10

Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/

1.3.4.2. Phƣơng pháp tiếp cận cấu trúc .................................................... 11

1.3.4.3. Mô hình Markov ẩn (HMM - Hidden Markov Model)............... 13

1.3.4.4. Máy véc tơ tựa (SVM) ................................................................ 13

1.3.4.5. Mạng nơ ron ................................................................................ 14

1.3.5. Kết quả ........................................................................................... 15

1.4. Kết luận................................................................................................. 15

CHƢƠNG II: TÌM HIỂU MẠNG NEURAL VÀ MẠNG HAMMING........... 16

2.1. Mạng Neural ......................................................................................... 16

2.1.1. Khái niệm mạng Neural ................................................................. 16

2.1.2. Lịch sử phát triển mạng Neural...................................................... 16

2.1.3 Đặc trƣng của mạng neural ............................................................. 18

2.1.3.1 Tính phi tuyến .............................................................................. 18

2.1.3.2 Tính chất tƣơng ƣớng đầu vào đầu ra .......................................... 19

2.1.3.3 Tính chất thích nghi...................................................................... 19

2.1.3.4 Tính chất đƣa ra lời giải có bằng chứng....................................... 19

2.1.3.5 Tính chất chấp nhận sai xót.......................................................... 20

2.1.3.6 Khả năng cài đặt VLSI(Very-large-scale-intergrated)................. 20

2.1.3.7 Tính chất đồng dạng trong phân tích và thiết kế.......................... 20

2.1.4 Phân loại mạng neural nhân tạo ...................................................... 21

2.1.4.1 Phân loại theo kiểu liên kết neural ............................................... 21

2.1.4.2 Một số loại mạng neural............................................................... 21

2.1.5 Xây dựng mạng neural .................................................................... 23

2.1.6 Huấn luyện mạng neural ................................................................. 25

2.1.6.1 Phƣơng pháp học.......................................................................... 25

2.1.6.2 Thuật toán học.............................................................................. 26

2.1.7 Ứng dụng của mạng neural ............................................................. 31

2.2 Mạng Hamming ..................................................................................... 32

Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/

2.2.1 Kiến trúc mạng Hamming............................................................... 32

2.2.2 Thuật toán học điển hình của mạng Neural .................................... 34

2.3 Kết luận.................................................................................................. 40

CHƢƠNG III: ỨNG DỤNG MẠNG HAMMING TRONG BÀI TOÁN

NHẬN DẠNG CÁC CHỮ CÁI TIẾNG VIỆT................................................. 41

3.1. Đặc thù và khó khăn của bài toán nhận dạng chữ cái Tiếng Việt ........ 41

3.2 Thuật toán chung của chƣơng trình ....................................................... 43

3.3 Cấu trúc mạng Neural Hamming của chƣơng trình nhận dạng các

chữ cái Tiếng Việt................................................................................. 44

3.4. Xây dựng chƣơng trình nhận dạng chữ cái Tiếng Việt ........................ 46

3.4.1 Công cụ và ngôn ngữ lập trình........................................................ 46

3.4.2 Xây dựng chƣơng trình ................................................................... 46

3.4.2.1 Xây dựng mô hình mạng Neural Hamming và các tín hiệu

đầu vào........................................................................................ 46

3.4.2.2 Định vị và thu gọn kích cỡ ảnh ................................................... 48

3.4.2.3 Xây dựng thuật toán ..................................................................... 49

3.4.2.4 Nhận dạng ................................................................................... 50

3.4.2.5 Giao diện chƣơng trình................................................................. 54

3.5 Thử nghiệm chƣơng trình ...................................................................... 54

3.6 Nhận xét chung quá trình thử nghiệm nhận dạng chữ cái Tiếng

Việt và kết luận chƣơng 3 ..................................................................... 60

KẾT LUẬN...................................................................................................... 62

TÀI LIỆU THAM KHẢO ............................................................................... 63

Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/

DANH MỤC CÁC TỪ VIẾT TẮT

Từ Ý nghĩa

RBF Radial Basic Function

HMM Hidden Markov Model

SVM Support Vector Machines

USPS United States Postal Service

MNIST Bộ mẫu chữ số viết tay NIST-Viện Công nghệ và Tiêu

chuẩn Quốc gia Hoa Kỳ (National Insitute of Standard and

Technology of the United States)

SV Support Vector

SOM Self Origanizing Map

ANN Artificial Neural Network

VLSI Very-large-scale-intergrated

MLP Multi Layer Perceptron

LMS Least Means Square