Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến

i

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

ĐẠI HỌC THÁI NGUYÊN

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN

THÔNG

CHU HOÀNG HÀ

NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG

TRONG NHẬN DẠNG CHỮ VIẾT TAY TRỰC TUYẾN

Chuyên ngành: Khoa học máy tính

Mã số: 60.48.01

LUẬN VĂN THẠC SĨKHOA HỌ C MÁ Y TÍNH

NGƢỜ I HƢỚ NG DẪN KHOA HỌ C

PGS-TS Ngô Quốc Tạo

ii

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

Thái Nguyên – 2013

BẢN CAM KẾT

Tên tôi là: Chu Hoàng Hà

Lớp: Cao học Công nghệ thông tin K10A

Khoá học: 2011 - 2013

Chuyên ngành:Khoa học máy tính

Mã số chuyên ngành: 60 48 01

Cơ sở đào tạo: Trƣờng Đại học Công nghệ thông tin và Truyền thông

Thái Nguyên

Giáo viên hƣớng dẫn: PGS-TS Ngô Quốc Tạo

Cơ quan công tác: Trƣờng Đại học Sƣ phạm Kỹ Thuật Nam Định

Tôi xin cam đoan toàn bộ nội dung đƣợc trình bày trong bản luận văn

này là kết quả tìm hiểu và nghiên cứu của riêng tôi, trong quá trình nghiên cứu

luận văn “Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết

tay trực tuyến” các kết quả và dữ liệu đƣợc nêu ra là hoàn toàn trung thực.

Mọi thông tin trích dẫn đều đƣợc tuân theo luật sở hữu trí tuệ, có liệt kê rõ ràng

các tài liệu tham khảo.

Tôi xin chịu hoàn toàn trách nhiệm với những nội dung đƣợc viết trong

luận văn này.

Thái Nguyên, ngày 08 tháng 06 năm 2013

HỌC VIÊN

CHU HOÀNG HÀ

iii

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

iv

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

LỜI CẢM ƠN

Luận văn đƣợc thực hiện tại Trƣờng Đại học Công nghệ Thông tin và

Truyền Thông - Đại học Thái Nguyên dƣới sự hƣớng dẫn của thầy PGS-TS

Ngô Quốc Tạo.

Trƣớc hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy PGS-TS Ngô Quốc

Tạo - Viện Công nghệ thông tin, ngƣời đã tận tình hƣớng dẫn giúp đỡ để em

hoàn thành tốt luận văn của mình.

Em xin gửi lời cảm ơn chân thành đến các thầy cô giáo Trƣờng Đại học

Công nghệ Thông tin và Truyền Thông - Đại học Thái Nguyên, cùng các thầy

cô giáo đã nhiệt tình giảng dạy, truyền đạt kiến thức cho em trong suốt quá

trình học tập tại trƣờng cũng nhƣ quá trình làm luận văn này.

Cuối cùng em xin gửi lời cảm ơn đến gia đình, bạn bè, các đồng nghiệp

những ngƣời đã động viên, giúp đỡ và tạo điều kiện cho em trong quá trình học

tập và hoàn thành luận văn.

Thái Nguyên, ngày 08 tháng 06 năm 2013

HỌC VIÊN

CHU HOÀNG HÀ

v

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

MỤC LỤC

LỜI MỞ ĐẦU ..................................................................................................... 1

Chƣơng 1

KHÁI QUÁT VỀ MẠNG NƠRON

1.1. Khái niệm mạng nơron.................................................................................4

1.1.1. Giới thiệu...........................................................................................................4

1.1.1.1. Nơron......................................................................................................7

1.1.1.2. Chức năng, tổ chức và hoạt động của bộ não con ngƣời .......................8

1.1.1.3. So sánh mạng nơron với máy tính truyền thống..................................10

1.1.2. Nơron nhân tạo................................................................................................11

1.1.3. Mạng nơron nhân tạo......................................................................................14

1.2. Đặc trƣng của mạng nơron[5]....................................................................15

1.2.1. Tính phi tuyến .................................................................................................15

1.2.2. Tính chất tƣơng ứng đầu vào, đầu ra .............................................................16

1.2.3. Tính chất thích nghi........................................................................................16

1.2.4. Tính chất đƣa ra lời giải có bằng chứng........................................................16

1.2.5. Tính chất chấp nhận sai sót ............................................................................16

1.2.6. Khả năng tích hợp VLSI (Very-Large-Scale-Intergrated)...........................17

1.2.7. Tính chất tƣơng tự trong phân tích và thiết kế ..............................................17

1.3. Phân loại mạng nơron nhân tạo..................................................................17

1.3.1. Phân loại theo kiểu liên kết nơron..................................................................17

1.3.2. Một số loại mạng nơron điển hình[20]..........................................................18

1.3.2.1. Mạng dẫn tiến (feedforward) ...............................................................18

1.3.2.1. Mạng quy hồi (recurrent network).......................................................20

1.4. Xây dựng mạng nơron[8]...........................................................................21

1.5. Huấn luyện mạng nơron.............................................................................22

1.5.1. Phƣơng pháp học.............................................................................................22

1.5.1.1. Học có giám sát....................................................................................22

vi

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

1.5.1.2. Học không giám sát..............................................................................23

1.5.1.3. Học tăng cƣờng ....................................................................................23

1.5.2. Thuật toán học.................................................................................................23

1.6. Thu thập dữ liệu cho mạng nơron ..............................................................24

1.7. Biểu diễn tri thức cho mạng nơron.............................................................26

1.8. Ứng dụng của mạng nơron.........................................................................28

Chƣơng 2

ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG CHỮ VIẾT TAY

TRỰC TUYẾN

2.1. Giới thiệu bài toán nhận dạng kí tự............................................................30

2.1.1. Giới thiệu sơ lƣợc về nhận dạng ....................................................................30

2.1.2. Giới thiệu về nhận dạng chữ viết tay.............................................................31

2.1.3. Nhận dạng chữ viết tay bằng mạng nơron[5]................................................35

2.1.4. Phát biểu bài toán............................................................................................36

2.1.5. Các bƣớc giải quyết bài toán sử dụng mạng nơron trong nhận dạng ký tự.36

2.2. Mạng Perceptron nhận dạng ký tự .............................................................36

2.2.1. Giới thiệu về mạng nơron Perceptron............................................................36

2.2.2. Cấu trúc của mạng nơron Perceptron ............................................................37

2.2.3. Thực thi của mạng nơron Perceptron ............................................................38

2.2.3.1. Thuật toán học của mạng nơron một lớp .............................................38

2.2.3.2. Thuật toán học của mạng nơron nhiều lớp...........................................40

2.2.4. Nhận xét...........................................................................................................44

2.3. Mạng Kohonen nhận dạng ký tự................................................................45

2.3.1. Giới thiệu về mạng nơron Kohonen ..............................................................45

2.3.2. Cấu trúc của mạng nơron Kohonen[16]........................................................46

2.3.3. Thực thi của mạng nơron Kohonen[15]........................................................46

2.3.2.1. Chuẩn hóa đầu vào ...............................................................................46

2.3.2.2. Tính toán đầu ra cho mỗi nơron...........................................................47

vii

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

2.3.2.3. Chọn nơron chiến thắng .......................................................................47

2.3.2.4. Quá trình học của mạng nơron Kohonen .............................................48

2.3.3. Nhận xét...........................................................................................................51

Chƣơng 3

XÂY DỰNG CHƢƠNG TRÌNH NHẬN DẠNG CHỮ VIẾT TAY

TRỰC TUYẾN

3.1. Giới thiệu....................................................................................................52

3.2. Xây dựng giao diện vẽ ...............................................................................53

3.3. Xử lý dữ liệu (phân tích ảnh).....................................................................54

3.4. Xây dựng mạng nơron................................................................................54

3.4 .1. Xây dựng mạng nơron Perceptron ...............................................................54

3.4.2. Xây dựng mạng nơron Kohonen...................................................................56

3.5. Chƣơng trình minh họa ..............................................................................59

3.5.1. Các chức năng của chƣơng trình....................................................................59

3.5.2. Kết quả nhận dạng ..........................................................................................60

3.6. Đánh giá, nhận xét......................................................................................62

KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN

1. Những kết quả mà luận văn đã đạt đƣợc.......................................................64

2. Hƣớng phát triển tiếp theo.............................................................................64

TÀI LIỆU THAM KHẢO