Ứng dụng mạng nơ-ron trong hệ thống nhận dạng cảm xúc dựa trên tín hiệu điện não

i

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC KÝ THUẬT CÔNG NGHIỆP

NGÔ QUỐC TRUNG

ỨNG DỤNG MẠNG NƠ RON TRONG HỆ THỐNG NHẬN

DẠNG CẢM XÚC DỰA TRÊN TÍN HIỆU ĐIỆN NÃO

Chuyên ngành: Kỹ thuật điều khiển và tự động hóa

Mã số:

LUẬN VĂN THẠC SĨ KỸ THUẬT

KHOA CHUYÊN MÔN

TRƯỞNG KHOA

NGƯỜI HƯỚNG DẪN KHOA HỌC

TS. NGUYỄN PHƯƠNG HUY

PHÒNG ĐÀO TẠO

THÁI NGUYÊN 2018

ii

LỜI CAM ĐOAN

T t i : Ng Qu c Tru g

Sinh ngày:

Học vi ớp cao học CK17_KTĐT - Tr g i học thuật c g ghi p

– i học Thái Nguy .

Hi đa g c g tác t i:

Xi cam đoa : ề t i “Ứng dụng mạng nơ-ron trong hệ thống nhận dạng

cảm xúc dựa trên tín hiệu điện não” do Thầy giáo TS Nguyễn Ph ng Huy

h ớ g dẫ c g trì h ghi cứu của ri g t i. Tất cả t i i u tham hảo đều có

guồ g c, xuất xứ rõ r g.

Tác giả xi cam đoa tất cả hữ g ội du g tro g uậ vă đú g h ội

du g tro g đề c ơ g v y u cầu của thầy giáo h ớ g dẫ . Nếu sai t i ho to

chịu trách hi m tr ớc hội đồ g hoa học v tr ớc pháp uật.

Thái Nguyên, ngày 26 tháng 03 năm 2018

TÁC GIẢ LUẬN VĂN

NG QUỐC TRUNG

iii

LỜI CẢM ƠN

Sau một th i gia ghi cứu v m vi c ghi m túc, đ ợc sự độ g vi ,

giúp đỡ v h ớ g dẫ tậ tì h của Thầy giáo h ớ g dẫ TS. Nguyễn Ph ng Huy,

uậ vă với đề t i “Ứng dụng mạng nơ-ron trong hệ thống nhận dạng cảm xúc

dựa trên tín hiệu điện não” đã ho th h.

T i xi b y tỏ ò g biết ơ sâu sắc đế :

Thầy giáo h ớ g dẫ TS. Nguyễn Ph ng Huy đã tậ tì h chỉ dẫ , giúp đỡ

t i ho th h uậ vă y.

Khoa i t – Tr g i học thuật c g ghi p – i học Thái

Nguyên đã giúp đỡ t i tro g quá trì h học tập cũ g h thực hi uậ vă .

T i xi châ th h cảm ơ b bè, đồ g ghi p v gia đì h đã độ g vi ,

hích , t o điều i giúp đỡ t i tro g su t quá trì h học tập, thực hi n và hoàn

th h uậ vă y.

TÁC GIẢ LUẬN VĂN

NG QUỐC TRUNG

iv

MỤC LỤC

LỜI CAM ĐOAN ......................................................................................................ii

LỜI CẢM ƠN.......................................................................................................... iii

MỤC LỤC ................................................................................................................iv

DANH MỤC HÌNH..................................................................................................vi

DANH MỤC BẢNG BIỂU .................................................................................. viii

danh mục từ viết tắt ................................................................................................ix

LỜI MỞ Đ U............................................................................................................1

CHƯƠNG 1 TỔNG QUAN V ĐIỆN N O ĐỒ VÀ CÁC PHƯƠNG PHÁP

XỬ L T N HIỆU S NG ĐIỆN N O ...................................................................4

1.1 T g qua về tí hi u đi ão..........................................................................4

1.1.1 Khái quát chu g về G.............................................................................5

1.1.2 Thu nhậ v đo đ c tiến hi u đi n não eeg .................................................7

1.2 Các d g só g đi ão cơ bả .......................................................................10

1.2.1 Nguyên tắc phâ tích só g đi n não..........................................................10

1.2.2 Phân bi t só g đi n não dựa vào tần s .....................................................11

1.3 H th g hậ d g cảm xúc dựa tr tí hi u só g đi ão........................14

1.3.1 Nguy hận d ng cảm xúc dựa trên tín hi u đi n não. .......................16

1.3.2 Các h ớng tiếp cận trong nhận d ng cảm xúc dựa trên tín hi u đi n não.19

1.3.3 Một s ph ơ g pháp ti u biểu trong trích chọ đặc tr g tí hi u đi n

não. .....................................................................................................................22

1.4 Giải pháp phâ ớp s d g m g eura tro g hậ d g cảm xúc ..............24

1.5 Kết uậ ............................................................................................................25

CHƯƠNG 2 NHẬN DẠNG CẢM XÚC DỰA TRÊN S NG ĐIỆN N O SỬ

DỤNG MẠNG NƠ RON ........................................................................................26

2.1 iế đ i wave et r i r c tro g h th g hậ d g cảm xúc ..........................26

2.1.1 Vai trò của WT tro g quá trì h hậ d g cảm xúc ..............................26

2.1.2 Các tham s đặc tr g của WT tro g vi c hậ d g cảm xúc .............27

v

2.2 Phâ ớp s d g m g Nơ-ron.......................................................................28

2.2.1 T g qua về m g Neura .......................................................................28

2.2.2 ặc tr g của m ng neural .......................................................................32

2.2.3 Phân lo i m ng neural nhân t o. ...............................................................35

2.2.4 Xây dựng m ng neural. .............................................................................38

2.2.5. Huấn luy n m ng neural...........................................................................39

2.2.6. Thu thập dữ li u cho m ng neural............................................................45

2.2.7 Biểu diễn chi thức cho m ng neural..........................................................47

2.2.8 Một s vấ đề của m ng neural.................................................................49

2.2.9 Ứng d ng của m ng neural .......................................................................50

CHƯƠNG 3 THI T K HỆ THỐNG M PHỎNG .........................................52

3.1 Chu bị dữ i u mẫu.......................................................................................52

3.2 Phâ ớp tr g thái cảm xúc s d g m g Nơ-ron ........................................53

3.2.1 Xây dự g m g Nơ-ron.............................................................................53

3.2.2 Huấ uy m g ơ-ron...........................................................................55

3.2.3 Ch ơ g trì h uy m g Nơ-ron trên Matlab/toolbox............................56

3.3 THI T K GI O I N M TL GUI ..................................................58

3.3.1 Matlab GUI................................................................................................58

3.3.2 Thiết ế giao di GUI cho phâ ớp tr g thái cảm xúc .........................59

3.3.3 Các b ớc thực hi quá trì h phâ tích WT s d g giao di thiết ế

trên GUI..............................................................................................................61

3.4 K T LUẬN......................................................................................................66

vi

DANH MỤC HÌNH ẢNH

Hì h 1. 1 Cấu t o bộ ão co g i. ..........................................................................4

Hì h 1. 2 Cấu trúc vỏ não ...........................................................................................5

Hì h 1. 3 ò g đi n bên trong tế bào pyramidal lớn..................................................6

Hì h 1. 4 Só g pha 4 ...........................................................................................12

Hì h 1. 5 Só g eta. .................................................................................................12

Hì h 1. 6 Só g Theta ................................................................................................13

Hì h 1. 7 Só g e ta.................................................................................................13

Hì h 1. 8 Nhận d ng các d ng sóng theo tần s .......................................................14

Hì h 1. 9 Ứ g d g giao tiếp với máy tí h. .............................................................15

Hì h 1. 10 Ứng d ng tín hi u đi ão tro g quâ đội. ...........................................16

Hì h 1. 11 Ứng d ng tín hi u đi ão tro g hậ di cảm xúc ............................17

Hì h 1. 12 H th ng nhận d ng cảm xúc ..................................................................18

Hì h 1. 13 Thiết bị phầ c g motiv......................................................................19

Hì h 1. 14 M hì h cảm xúc Russuell......................................................................21

Hì h 1. 15 Thuật toán Higuchi Fractal Dimension...................................................22

Hì h 1. 16 Một c gái đa g th trải nghi m sản ph m đu i mèo Shippo t i Hội chợ

Trò chơi To yo 2012.................................................................................................23

Hì h 2. 1 H th g hậ d g cảm xúc s d g G .............................................26

Hì h 2. 2 Mô hình neural sinh học............................................................................28

Hì h 2. 3 Mô hình một neural nhân t o ....................................................................30

Hì h 2. 4 Sơ đồ đơ giản về một m ng neural nhân t o...........................................32

Hì h 2. 5 M ng tiến với một mức neural..................................................................35

Hì h 2. 6 M ng tiến kết n i đầy đủ với một mức n và một mức đầu ra .................37

Hì h 2. 7 M ng hồi quy không có neural n và không có vòng lặp tự phản hồi......37

Hì h 2. 8 M ng hồi quy có các neural n .................................................................37

Hì h 2. 9 Sơ đồ đồ thị có h ớ g đơ giản ................................................................38

Hì h 2. 10 Cấu hì h m g ơ-ro v các h m v o ra...............................................43

Hì h 3. 1 motive poc Headset ..............................................................................52

Hì h 3. 2 Sơ đồ cấu trúc phâ o i cảm xúc s d g m g Nơ-ron.........................53

vii

Hì h 3. 3 L u đồ thuật toá huấ uy m g ơ-ron..............................................55

Hì h 3. 4 Cấu trúc m g ơ-ron ...............................................................................56

Hì h 3. 5 Cấu trúc của m g ơ-ron nhiều lớp: 5 ớp , 3 mẫu dữ i u đầu v o....56

Hì h 3. 6 Chất ợ g của quá trì h uy m g Nơ-ron ..........................................57

Hì h 3. 7 Các giá trị gradie t, mu v va fai của quá trì h uy m g ..................57

Hì h 3. 8 Giao di GUI cho vi c phâ ớp các tr g thái cảm xúc ........................59

Hì h 3. 9 Giao di phầ c i đặt...............................................................................60

Hì h 3. 10 Giao di hiể thị đồ họa ISPL Y ....................................................60

Hì h 3. 11 Giao di hiể thị các tham s eature xtraction Parameters ..............61

Hì h 3.12 Load cơ s dữ i u....................................................................................62

Hì h 3.13 Luy m g Nơ-ron.................................................................................62

Hì h 3. 14 Quá trì h uy m g ơ-ron..................................................................63

Hì h 3. 15 Lựa chọ mẫu cầ hậ d g..................................................................64

Hì h 3. 16 Kết quả hậ d g cảm xúc vui ..............................................................64

Hì h 3. 17 Kết quả hậ d g cảm xúc bì h th g................................................65

Hì h 3. 18 Kết quả hậ d g cảm xúc buồ ...........................................................65