Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến

1

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

--------------------------------------------------------------------

ĐỖ TUẤN MINH

ĐỀ TÀI

MẠNG NƠRON WAVELET ỨNG DỤNG

CHO XẤP XỈ PHI TUYẾN

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN, 2017

2

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

--------------------------------------------------------------------

ĐỖ TUẤN MINH

MẠNG NƠRON WAVELET ỨNG DỤNG

CHO XẤP XỈ PHI TUYẾN

Chuyên ngành: Khoa học máy tính

Mã số: 60480101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: PGS. TS. Lê Bá Dũng

THÁI NGUYÊN, 2017

3

MỤC LỤC

DANH MỤC HÌNH ẢNH ................................................................................... 5

LỜI CAM ĐOAN................................................................................................. 6

LỜI CẢM ƠN ...................................................................................................... 7

LỜI MỞ ĐẦU ...................................................................................................... 8

CHƯƠNG: NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON .................. 9

1.1 Khái niệm mạng nơron................................................................................. 9

1.2 Các cấu trúc mạng nơron.......................................................................... 11

1.2.1 Cấu trúc và mô hình của một nơron nhân tạo ................................... 11

1.2.2 Mạng nơron một lớp ............................................................................ 16

1.2.3 Mạng nơron truyền thẳng nhiều lớp .................................................... 17

1.2.4 Mạng Hopfield .................................................................................... 18

CHƯƠNG II: MẠNG NƠRON WAVELET VÀ CÁC THUẬT TOÁN HỌC

............................................................................................................................ 20

2.1 Phép biến đổi wavelet liên tục ................................................................. 20

2.1.1 Giới thiệu ............................................................................................ 20

2.1.2 Phép biến đổi wavelet thuận ................................................................ 21

2.1.3 Các tính chất của hàm wavelet ............................................................ 23

2.1.3.1 Tính chất sóng................................................................................ 23

2.1.3.2 Đặc trưng về năng lượng ............................................................... 23

2.1.3.3 Biểu diễn các hệ số wavelet......................................................... 23

2.1.4 Phép biến đổi wavelet nghịch .............................................................. 25

2.1.5 Phép biến đổi wavelet liên tục hai chiều và nhiều chiều..................... 25

2.1.6 Tiêu chuẩn chọn hàm wavelet ............................................................. 26

1.2.6.1 Hàm wavelet trực giao hay hàm wavelet không trực giao ............ 26

1.2.6.2 Hàm wavelet phức hay hàm wavelet thực..................................... 27

2.1.6.3 Độ rộng .......................................................................................... 27

2.1.6.4 Hàm wavelet chẵn và hàm wavelet lẻ ........................................... 28

2.2 Mạng nơron wavelet .................................................................................. 29

2.3 Quy tắc học của mạng nơron wavelet........................................................ 32

2.3.1 Học có giám sát.................................................................................... 34

2.3.2 Học không giám sát ............................................................................ 35

4

2.3.3 Học tăng cường.................................................................................... 35

2.4 Mô hình cấu trúc đề xuất (WNN-LCW).................................................... 36

2.5 Phương án nghiên cứu tham số Lai............................................................ 38

2.6 Khởi tạo các tham số của mạng ................................................................. 43

2.7 Nhận dạng hệ thống động lực học ............................................................. 43

2.8 Phát triển mô hình hóa phi tham số ........................................................... 46

CHƯƠNG III: XÂY DỰNG HỆ THỐNG XẤP XỈ PHI TUYẾN SỬ DỤNG

MẠNG WAVELET ........................................................................................... 48

3.1 Đặt bài toán ................................................................................................ 48

3.2 Áp dụng mạng nơron wavelet cho nhận dạng hệ động lực........................ 49

3.2.1. Hệ thống với chuỗi thời gian Mackey-Glass..................................... 49

3.2.2. Thuật toán huấn luyện mạng nơron wavelet...................................... 50

3.2.3. Cho hệ phi tuyến một chiều ................................................................ 52

PHẦN KẾT LUẬN ............................................................................................ 56

TÀI LIỆU THAM KHẢO.................................................................................. 57

5

DANH MỤC HÌNH ẢNH

Hình 1.1 Mô hình nơron sinh học..................................................................................10

Hình 1.2 Mô hình một nơron nhân tạo ..........................................................................12

Hình 1.3 Đồ thị các dạng hàm truyền............................................................................14

Hình 1.4 Mạng nơron 3 lớp ...........................................................................................15

Hình 1.5 Mạng truyền thẳng một lớp ............................................................................17

Hình 1.6 Mạng hồi tiếp một lớp ....................................................................................17

Hình 1.7 Mạng truyền thẳng nhiều lớp..........................................................................17

Hình 1.8 Cấu trúc mạng hopfield ..................................................................................18

Hình 2.1 Tín hiệu f(t).....................................................................................................20

Hình 2.2 Biến đổi Fourier của tín hiệu f(t)....................................................................21

Hình 2.3 Ba dạng hàm wavelet......................................................................................22

Hình 2.4 Biểu diễn hệ số wavelet trong hệ tọa độ ba trục vuông góc...........................24

Hình 2.5 Biểu diễn hệ số wavelet trong tỉ lệ đồ ở dạng các đường đẳng trị .................24

Hình 2.6 Biểu diễn hệ số wavelet trong tỉ lệ đồ ở dạng ảnh..........................................24

Hình 2.7 Hàm wavelet mexican ở ba tỉ lệ s khác nhau .................................................27

Hình 2.8 Biến đổi wavelet của tín hiệu sử dụng hàm wavelet chẵn và lẻ.....................28

Hình 2.9 Cấu trúc của mạng nơron sóng nhỏ................................................................30

Hình 2.10 Hàm wavelet morlet cơ bản..........................................................................31

Hình 2.11 Học có giám sát ............................................................................................35

Hình 2.12 Học không giám sát......................................................................................35

Hình 2.13 Cấu trúc mạng thần kinh sóng nhỏ trọng lượng tổ hợp tuyến tính...............38

Hình 2.14 Các mô hình ngoại động lực.........................................................................46

Hình 3.1 Sơ đồ hệ thống bất biến theo thời gian...........................................................48

Hình 3.2 Sử dụng mạng nơron wavelet cho xấp xỉ như bộ dự báo...............................50

Hình 3.3 Thuật toán huấn luyện mạng nơron wavelet ..................................................51

Hình 3.4 Biểu đồ tính toán xấp xỉ mạng nơron wavelet gồm giá trị thực và giá trị xấp

xỉ ....................................................................................................................................54

DANH MỤC BẢNG BIỂU

Bảng 3.1 Kết quả sau khi mạng nơron được huấn luyện ..............................................55