Một Số Phương Pháp Xử Lý Và Phân Loại Tín Hiệu Điện Não Cho Các Ứng Dụng Giao Diện Não Máy Tính

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Nguyễn Thế Hoàng Anh

MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO

CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội – 2020

1

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

MỘT SỐ PHƯƠNG PHÁP XỬ LÝ VÀ PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO

CHO CÁC ỨNG DỤNG GIAO DIỆN NÃO – MÁY TÍNH

Chuyên ngành: Khoa học máy tính

Mã số: 9480101.01

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1. PGS. TS. Bùi Thế Duy

2. PGS. TS. Lê Thanh Hà

Hà Nội – 2020

2

LỜI CAM ĐOAN

Tôi xin cam đoan rằng đây là công trình nghiên cứu của riêng tôi. Các kết quả

trong luận án là trung thực và chưa từng công bố trong bất kỳ công trình nào khác.

Các kết quả được viết chung với các tác giả khác đều được sự đồng ý trước khi đưa

vào luận án.

Tác giả luận án

Nguyễn Thế Hoàng Anh

3

LỜI CẢM ƠN

Nghiên cứu khoa học là hành trình dài có nhiều thử thách cần vượt qua và

đồng thời là quá trình đào sâu, tìm ra lời giải cho các vấn đề khoa học thú vị. Nghiên

cứu về Khoa học máy tính, cụ thể lĩnh vực trí tuệ nhân tạo và khoa học thần kinh

chắc chắn là một công việc nhận được nhiều sự quan tâm. Tôi cảm thấy rất may mắn

được trở thành một phần của cộng đồng nghiên cứu hàn lâm về lĩnh vực đầy hứng

khởi này với những phát kiến khoa học khiêm tốn của mình.

Trong quá trình học tập, nghiên cứu và hoàn thiện luận án tiến sĩ, tôi đã nhận

được sự giúp đỡ, chỉ bảo tận tình của các thầy, cô giáo, nhà khoa học, Phòng thí

nghiệm Tương tác người máy HMI, Bộ môn Khoa học máy tính tại Trường Đại học

công nghệ, Đại học Quốc gia Hà Nội.

Tôi xin bày tỏ lòng biết ơn sâu sắc đặc biệt tới PGS. TS. Bùi Thế Duy và PGS.

TS. Lê Thanh Hà, những người thầy hướng dẫn đã trực tiếp truyền thụ kiến thức và

thắp lên ngọn lửa đam mê nghiên cứu khoa học, giúp đỡ, động viên tôi kiên định

trong suốt quá trình nghiên cứu và thực hiện luận án.

Tôi xin chân thành cám ơn Lãnh đạo và các đồng nghiệp tại Viện Công nghệ

thông tin – Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã luôn tạo điều kiện

thuận lợi nhất và cùng tôi thực hiện các đề tài, công trình nghiên cứu trong đó một

phần kết quả đã được trực tiếp thể hiện trong luận án.

Tôi xin dành tất cả sự yêu thương và cám ơn tới gia đình: bố TS. Nguyễn Song

Hoan, mẹ TS. Nguyễn Thị Bạch Yến, vợ Lê Minh Trang và hai con Mật Ong, Cá

Mập đã luôn bên cạnh, động viên để tôi vượt qua những khó khăn và hoàn thành

mục tiêu.

Xin trân trọng cám ơn!

Tác giả luận án

Nguyễn Thế Hoàng Anh

4

MỤC LỤC

LỜI CAM ĐOAN ........................................................................................................................................2

LỜI CẢM ƠN..............................................................................................................................................3

DANH MỤC BẢNG....................................................................................................................................7

DANH MỤC HÌNH VẼ ..............................................................................................................................8

DANH MỤC CHỮ VIẾT TẮT.................................................................................................................10

PHẦN MỞ ĐẦU........................................................................................................................................11

1. Tính cấp thiết...................................................................................................................... 11

2. Mục tiêu của luận án........................................................................................................... 13

3. Đóng góp của luận án.......................................................................................................... 14

4. Phạm vi của luận án............................................................................................................ 16

5. Phương pháp luận............................................................................................................... 17

6. Cấu trúc luận án ................................................................................................................. 17

CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN TÍCH TÍN HIỆU ĐIỆN

NÃO............................................................................................................................................................19

1. Giới thiệu ............................................................................................................................ 19

2. Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ..................................................... 21

2.1. Các phương pháp đo tín hiệu từ não bộ ....................................................................... 21

2.1.1. Chụp quang phổ cận hồng ngoại chức năng............................................................. 21

2.1.2. Chụp Cộng hưởng từ chức năng.................................................................................... 22

2.1.3. Chụp cắt lớp phát xạ positron ....................................................................................... 22

2.1.4. Từ não đồ ...................................................................................................................... 23

2.1.5. Điện não đồ xâm lấn ...................................................................................................... 24

2.2. Tín hiệu điện não và các vấn đề liên quan.................................................................... 25

2.2.1. Điện não đồ.................................................................................................................... 25

2.2.2.Tín hiệu điện não............................................................................................................ 26

2.2.3. Cơ chế phát sinh tín hiệu điện não................................................................................. 28

2.2.4. Thu tín hiệu điện não..................................................................................................... 29

3. Một số phương pháp xử lý, phân tích tín hiệu điện não....................................................... 30

3.1. Biến đổi wavelet............................................................................................................... 30

3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não..................................... 33

3.3. Mạng Nơron wavelet ....................................................................................................... 34

3.3.1. Huấn luyện............................................................................................................... 35

3.3.2. Khử nhiễu ................................................................................................................ 35

3.4. Phương pháp phân ngưỡng wavelet ................................................................................ 36

3.5. Kỹ thuật định vị LORETA trong trực quan hóa dữ liệu điện não ................................... 38

4. Một số ứng dụng hệ giao diện não máy tính ........................................................................ 40

5

4.1. Hệ BCI2000..................................................................................................................... 40

4.2. Hệ VR-BCI trong phục hồi chức năng............................................................................. 41

4.3. Một số hệ BCI trong đánh vần ký tự ............................................................................... 42

4.4. Một số nghiên cứu BCI và tín hiệu điện não khác............................................................ 43

5. Kết luận Chương 1.............................................................................................................. 45

CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET TRONG KHỬ TÍN

HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY MẮT............................................................................46

1. Đặt vấn đề........................................................................................................................... 46

2. Đề xuất phương pháp học sâu tự mã hóa thưa wavelet ....................................................... 49

2.1. Mạng học sâu tự mã hóa thưa...................................................................................... 50

2.2. Phương pháp dò đếm EOG dựa trên biến đổi wavelet Haar ........................................ 52

2.2.1. Biến đổi wavelet Haar .............................................................................................. 52

2.2.2. Thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar.......................................... 53

2.3. Mạng học sâu tự mã hóa thưa wavelet trong khử EOG ............................................... 55

2.3.1. Huấn luyện tự động.................................................................................................. 55

2.3.2. Tự động sửa lỗi tín hiệu............................................................................................ 57

2.4. Độ đo đánh giá kết quả ................................................................................................ 58

3. Kết quả ............................................................................................................................... 59

3.1. Dữ liệu kiểm thử.......................................................................................................... 59

3.2. Thiết kế thí nghiệm...................................................................................................... 60

3.3. Kết quả thí nghiệm ...................................................................................................... 60

3.3.1. Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát .............................. 60

3.3.2. Kết quả trên Tập dữ liệu 2: nhận dạng trạng thái suy nghĩ..................................... 65

3.3.3. Kết quả trên tập dữ liệu 3: tín hiệu điện não mô phỏng chứa nhiễu ........................ 68

4. Thảo luận............................................................................................................................ 69

5. Kết luận Chương 2.............................................................................................................. 72

CHƯƠNG 3. ĐỀ XUẤT MỘT SỐ PHƯƠNG PHÁP PHÂN LOẠI TÍN HIỆU ĐIỆN NÃO DỰA

TRÊN HỌC MÁY .....................................................................................................................................73

1. Đặt vấn đề........................................................................................................................... 73

2. Cơ sở dữ liệu thử nghiệm .................................................................................................... 75

2.1. Cơ sở dữ liệu đã có ........................................................................................................... 75

2.2. Cơ sở dữ liệu của luận án ................................................................................................. 77

3. Đề xuất một số phương pháp phân loại trạng thái suy nghĩ dựa trên học máy .................... 79

3.1. Phương pháp máy vec-tơ hỗ trợ với đặc trưng năng lượng wavelet tương đối ............. 79

3.1.1. Năng lượng wavelet tương đối trong trích chọn đặc trưng tín hiệu điện não ................. 81

3.1.2. Máy vec-tơ hỗ trợ trong phân loại tín hiệu điện não ...................................................... 82

3.2. Phương pháp mạng nơ-ron nhân tạo kết hợp phân tích thành phần chính .................. 84

6

3.2.1. Phân tích thành phần chính cho giảm số chiều tín hiệu điện não.............................. 86

3.2.2. Huấn luyện mạng nơron nhân tạo với thuật toán OWO-BP..................................... 87

3.3. Phương pháp học sâu với đặc trưng lựa chọn bởi phân ngưỡng SURE........................ 89

3.3.1. Lựa chọn thành phần chính với phân ngưỡng thích nghi SURE .............................. 91

3.3.2. Mạng học sâu Deep belief net trong phân loại tín hiệu điện não............................... 92

4. Kết quả và thảo luận ........................................................................................................... 94

4.1. Tiền xử lý dữ liệu......................................................................................................... 95

4.2. Phân loại trạng thái ..................................................................................................... 98

5. Kết luận chương 3............................................................................................................. 100

CHƯƠNG 4. ĐỀ XUẤT HỆ GIAO DIỆN NÃO MÁY TÍNH TRONG ĐIỀU KHIỂN CÁC THIẾT

BỊ ĐIỆN TỬ GIA DỤNG THÔNG MINH ...........................................................................................102

1. Hệ giao diện não máy tính trong điều khiển thiết bị điện tử gia dụng thông minh............. 102

1.1. Khối thu tín hiệu và thiết bị Emotiv Epoc+................................................................ 103

1.2. Khối DSP........................................................................................................................ 104

1.3. Khối WIoT..................................................................................................................... 104

2. Đề xuất mô hình học cộng đồng dạng xếp ngăn trong phân loại tín hiệu điện não cho hệ giao

diện não máy tính trong điều khiển các thiết bị điện tử gia dụng thông minh........................... 105

3. Kết quả và thảo luận ......................................................................................................... 108

4. Kết luận Chương 4............................................................................................................ 110

PHẦN KẾT LUẬN VÀ KIẾN NGHỊ....................................................................................................112

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ .............................................................................116

TÀI LIỆU THAM KHẢO ......................................................................................................................118

7

DANH MỤC BẢNG

Bảng 1. Kết quả nhận diện EOG ...............................55

Bảng 2. MSE của ba phương pháp dựa trên wavelet...................69

Bảng 3. So sánh đặc tính các phương pháp khử nhiễu tín hiệu điện não ......71

Bảng 4. Kết quả phân loại hai trạng thái suy nghĩ ....................98

Bảng 5. Kết quả phân loại 02 trạng thái suy nghĩ theo các bước với DBN ....99

Bảng 6. Kết quả phân loại tác vụ suy nghĩ cho 03 trạng thái với DNN .......99

Bảng 7. Kết quả phân loại 03 trạng thái suy nghĩ theo các bước với DNN ...100

Bảng 8. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên mạng

nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE.....100

Bảng 9. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên mạng

nơ-ron nhân tạo kết hợp PCA và máy vec-tơ hỗ trợ với đặc trưng RWE.....100

Bảng 10. Độ chính xác phân loại 2 trạng thái phương pháp đề xuất dựa trên máy

học cộng đồng so với các phương pháp thành phần ..................108

Bảng 11. Độ chính xác phân loại 3 trạng thái phương pháp đề xuất dựa trên máy

học cộng đồng so với các phương pháp thành phần ..................109

8

DANH MỤC HÌNH VẼ

Hình 1. Cấu trúc não bộ [64] ..................................19

Hình 2. Các phương thức thu tín hiệu từ não bộ (a) fNIRS, (b) fMRI, (c) PET, (d)

MEG, (e) EcoG và (f) EEG...................................20

Hình 3. Một số hệ thống thiết bị dùng để đo điện não EEG [20] ...........25

Hình 4. Bản ghi tín hiệu điện não EEG ...........................27

Hình 5. Một số dạng sóng trong tín hiệu điện não EEG.................28

Hình 6. (a) Biến đổi wavelet thuận và (b) Biến đổi wavelet ngược .........31

Hình 7. Quy trình phương pháp ICA dùng trong khử nhiễu tín hiệu EEG .....34

Hình 8. Cấu trúc của mạng Wavelet Neural Network [8]................35

Hình 9. Huấn luyện mạng Nơ-ron ..............................35

Hình 10. Quá trình khử nhiễu .................................36

Hình 11. Thuật toán Loreta trong định vị hoạt động điện não EEG..........39

Hình 12. Thiết kế hệ BCI2000 [17]..............................40

Hình 13. Hệ BCI ứng dụng thực tại ảo trong phục hồi bệnh nhân đột quỵ [1] ..41

Hình 14. Thiết kế ma trận hiển thị cho 26 ký tự tiếng Anh [8] ............42

Hình 15. Giao diện thí nghiệm Berlin BCI [68]......................43

Hình 16. Tín hiệu bất thường do nháy mắt EOG.....................47

Hình 17. Cấu trúc mạng học sâu tự mã hóa thưa kết hợp wavelet DWSAE ....49

Hình 18. Mô hình đơn giản một máy tự mã hóa Autoencoder ............51

Hình 19. Lưu đồ thuật toán dò đếm tín hiệu bất thường do nháy mắt EOG....53

Hình 20: Kết quả nhận diện EOG ...............................54

Hình 21. Quy trình huấn luyện không giám sát mạng học sâu tự mã hóa thưa

wavelet ................................................56

Hình 22. Quy trình tự động khử EOG với DWSAE ...................57

Hình 23. Kết quả khử nhiễu của DWSAE so với (a) SOBI, (b) Infomax, (c) JADE,

(d)WNN và (e) Wavelet thresholding ............................62

Hình 24. Hình vẽ thể hiện PSD của tín hiệu trước và sau khi khử nhiễu ......63

Hình 25. Hệ số tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a)

DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT ..........64

Hình 26 So sánh kết quả khử nhiễu giữa DWSAE và (a) SOBI, (b) Infomax, (c)

JADE, (d)WNN và (e) Wavelet thresholding .......................66

Hình 27. PSD giữa tín hiệu gôc và tín hiệu sau khử nhiễu ...............67

Hình 28. Tương quan tần số giữa tín hiệu trước và sau khi khử nhiễu bởi (a)

DWSAE, (b) Infomax, (c) JADE, (d) SOBI, (e) WNN và (f) WT ..........67

Hình 29. Kết quả trên đoạn tín hiệu bán giả lập trước và sau khi khử nhiễu bởi .68

Hình 30. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên SVM .......80

Hình 31. Siêu phẳng phân cách bởi SVM..........................82

Hình 32. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên mạng nơ-ron..85

Hình 33. Cấu trúc mạng nơ-ron nhân tạo ba lớp .....................88

9

Hình 34. Huấn luyện mạng ANN với thuật toán OWO-BP ..............89

Hình 35. Lưu đồ phương pháp phân tích tín hiệu EEG dựa trên học sâu .....90

Hình 36. Thiết kế máy học Boltzman ............................92

Hình 37. Mạng học sâu Deep belief net với nhiều máy Boltzman ..........94

Hình 38. Biến đổi ICA trong khử nhiễu tín hiệu điện não ...............96

Hình 39. Kết quả khử nhiễu với ICA.............................96

Hình 40. Kết quả khử nhiễu với WNN ...........................96

Hình 41. Hiển thị vùng kích hoạt não bộ với phương pháp LORETA trong quá

trình đối tượng thực hiện ba thí nghiệm (a) N, (b) L and (c) P ............97

Hình 42. Kiến trúc tổng thể của hệ thống giao diện não-máy tính trong điều khiển

các thiết bị điện tử gia dụng thông minh. .........................102

Hình 43. Mũ đo tín hiệu điện não EPOC+ (Nguồn: Emotiv) ............103

Hình 44. Tín hiệu điện não thu bằng chương trình Test Bench ...........103

Hình 45. Mô hình tương đương module ESP 8266...................105

Hình 46. Mô hình máy học cộng đồng trong phân loại trạng thái suy nghĩ từ tín

hiệu điện não ...........................................107

10

DANH MỤC CHỮ VIẾT TẮT

ANN Aritificial neural network (Mạng nơ-ron nhân tạo)

BCI Brain computer interface (Giao diện não máy tính)

CT Computed Topography (Chụp cắt lớp)

DNN Deep neural network (Mạng học sâu)

DBN Deep belief network (Mạng học sâu niềm tin)

DWSAE Deep wavelet sparse autoencoder (Máy học sâu tự mã hóa thưa

wavelet)

EEG Electroencephalography (Điện não đồ)

EOG Electrooculography (Tín hiệu bất thường sinh ra do nháy mắt)

EMG Electromyogram (Tín hiệu bất thường sinh ra do cử động cơ)

ECoG Electro-corticography (Điện não đồ xâm lấn)

FC Frequency correlation (Tương quan tần số)

fMRI functional Magnetic resonance imaging (Chụp cộng hưởng từ chức

năng)

fNIRS Functional Near-Infrared Spectroscopy (Quang phổ cận hồng ngoại)

ICA Independent component analysis (Phân tích thành phần độc lập)

Infomax Information Maximization (Tối đa thông tin)

JADE Joint Approximation Diagonalization of Eigen-matrices

LORETA Low resolution brain electromagnetic tomography (Định vị điện từ

não đồ phân giải thấp)

MEG Magnetoencephalography (Từ não đồ)

MSE Mean square error (Sai số toàn phương trung bình)

OWO-BP Output weight optimization – Backpropagation (Lan truyền ngược tối

ưu hóa trọng số lớp ra)

PCA Principal component analysis (Phân tích thành phần chính)

PET Positron emission tomography (Chụp positron phát xạ)

PSD Power spectral density (Mật độ phổ năng lượng)

RBM Restricted Bolzmann machine (Máy Bolzmann chặt)

RWE Relative wavelet energy (Năng lượng wavelet tương đối)

SAE Sparse autoencoder (Máy tự mã hóa thưa)

SOBI Second-Order Blind Identification (Nhận dạng mù bậc hai)

SURE Stein’s unbiased risk estimate

SVM Support vector machine (Máy vec-tơ hỗ trợ)

WIoT Wireless internet of things (Internet vạn vật vô tuyến)

WNN Wavelet neural network (Mạng nơ-ron wavelet)

WT Wavelet thresholding (Phân ngưỡng wavelet)

11

PHẦN MỞ ĐẦU

1. Tính cấp thiết

Não bộ là một trong những cơ quan quan trọng nhất, về cơ bản chịu trách

nhiệm điều phối toàn bộ các cơ quan khác trong cơ thể con người. Cơ chế hoạt động

của não bộ là một vấn đề rất phức tạp, đến nay khoa học chưa có lời giải rõ ràng.

Nếu não bộ hoạt động không bình thường có thể do các vấn đề tâm lý hay xáo trộn

về cấu trúc sinh học, một số bệnh liên quan có thể xuất hiện như suy giảm trí nhớ,

tự kỷ/trầm cảm, Parkinson, đột qụy… Tín hiệu điện não là một cách tiếp cận phù

hợp để có thể đánh giá tình trạng của não bộ trong các trường hợp kể trên do chất

lượng tín hiệu tốt, độ phân giải cao, tính linh động của thiết bị, an toàn và giá thành

hợp lý trong điều kiện Việt Nam nếu so sánh với các phương pháp thu tín hiệu từ

não bộ khác như chụp cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn…

Tín hiệu điện não hay sóng điện não (Electroencephalogram – EEG) là các

giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá trình tương tác với nhau của các tế

bào thần kinh trong não. Tín hiệu EEG thường có biên độ trong khoảng từ 10 µV

đến 100 µV và tần số trong dải từ 1 Hz đến 100 Hz. Tín hiệu EEG không tuân theo

phân bố Gauss thông thường và cũng không tĩnh (nonstationary). Thông thường, tín

hiệu EEG cho biết thông tin về các hoạt động theo nhịp (rhythmic activities) trên các

dải tần số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha (8-13 Hz),

Beta (13-30 Hz) và Gamma (30-50 Hz). Phân tích tín hiệu EEG có thể dẫn đến một

số phát hiện như: nhịp Delta thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong

trạng thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới 7 tuổi hoặc

trẻ em bình thường hoặc ở người lớn trong trạng thái buồn ngủ hoặc đang ngủ; một

lượng lớn tín hiệu nhịp Theta thu được ở người lớn trong trạng thái tỉnh táo là dấu

hiệu cảnh báo tình trạng bất thường hoặc dấu hiệu bị bệnh...

Tín hiệu điện não thường xuyên được sử dụng để phát triển các hệ giao diện

não-máy tính (Brain Computer Interface - BCI), phương thức truyền thông cho phép

kết nối máy tính để xử lý và hiểu được tín hiệu sinh ra từ bộ não một cách hiệu quả.