Thư viện tri thức trực tuyến
Kho tài liệu với 50,000+ tài liệu học thuật
© 2023 Siêu thị PDF - Kho tài liệu học thuật hàng đầu Việt Nam
Điều khiển xe lăn điện thông minh qua sóng não :Luận văn thạc sĩ - Chuyên ngành: Kỹ thuật điện tử
Nội dung xem thử
Mô tả chi tiết
BỘ CÔNG THƯƠNG
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH
PHẠM VĂN HỮU THIỆN
ĐIỀU KHIỂN XE LĂN ĐIỆN THÔNG MINH
QUA SÓNG NÃO
Chuyên ngành: KỸ THUẬT ĐIỆN TỬ
Mã chuyên ngành: 8520203
LUẬN VĂN THẠC SĨ
THÀNH PHỐ HỒ CHÍ MINH, NĂM 2021
Công trình được hoàn thành tại Trường Đại học Công nghiệp TP. Hồ Chí Minh.
Người hướng dẫn khoa học: TS. Nguyễn Ngọc Sơn
Luận văn thạc sĩ được bảo vệ tại Hội đồng chấm bảo vệ Luận văn thạc sĩ Trường
Đại học Công nghiệp thành phố Hồ Chí Minh ngày tháng năm 2021
Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm:
1. ......................................................................- Chủ tịch Hội đồng
2. ......................................................................- Phản biện 1
3. ......................................................................- Phản biện 2
4. ......................................................................- Ủy viên
5. ......................................................................- Thư ký
(Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ)
CHỦ TỊCH HỘI ĐỒNG KHOA CÔNG NGHỆ ĐIỆN TỬ
TRƯỞNG KHOA
NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ tên học viên: PHẠM VĂN HỮU THIỆN MSHV: 18104691
Ngày, tháng, năm sinh: 08/10/1980 Nơi sinh: Vĩnh Long
Chuyên ngành: Kỹ Thuật Điện Tử Mã chuyên ngành: 8520203
I. TÊN ĐỀ TÀI:
ĐIỀU KHIỂN XE LĂN ĐIỆN THÔNG MINH QUA SÓNG NÃO
NHIỆM VỤ VÀ NỘI DUNG:
Thu thập và trích xuất các đặc trưng của tín hiệu sóng não EEG từ cảm biến Mind
Wave Mobile 2 trong miền thời gian và miền tần số.
Phân loại 5 tín hiệu EEG để điều khiển xe lăn điện di chuyển “Tới, Lùi, Trái, Phải,
Dừng” dùng mạng nơ rôn nhân tạo.
Thực nghiệm kiểm chứng điều khiển xe lăn điện qua tín hiệu sóng não EEG.
II. NGÀY GIAO NHIỆM VỤ: Thực hiện quyết số 841/QĐ-ĐHCN ngày
10/07/2020 của Trường Đại Học Công Nghiệp Thành Phố Hồ Chí Minh về việc
giao đề tài và cử người hướng dẫn luận văn thạc sĩ.
III. NGÀY HOÀN THÀNH NHIỆM VỤ: 20/01/2021
IV. NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. Nguyễn Ngọc Sơn
Tp. Hồ Chí Minh, ngày … tháng 01 năm 2021
NGƯỜI HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO
KHOA CÔNG NGHỆ ĐIỆN TỬ
TRƯỞNG KHOA
BỘ CÔNG THƯƠNG
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP
THÀNH PHỐ HỒ CHÍ MINH
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
i
LỜI CẢM ƠN
Trước tiên, tôi xin gửi lời cảm ơn chân thành đến thầy TS. Nguyễn Ngọc Sơn –
Phó trưởng khoa Công nghệ Điện tử Trường Đại học Công Nghiệp Thành phố Hồ
Chí Minh đã hướng dẫn, định hướng tôi nghiên cứu trong suốt thời gian thực hiện
luận văn. Những hướng dẫn tận tình, tác phong làm việc nghiêm túc và những trao
đổi sâu sắc về những vấn đề trong luận văn của thầy đã giúp tôi nhiều trong nghiên
cứu và định hướng nghiên cứu. Những điều học được từ thầy là cơ sở quan trọng
trong bước đường học tập, làm việc của tôi tiếp theo.
Xin cảm ơn Ban Giám hiệu, các thầy cô khoa Công Nghệ Điện Tử Trường Đại Học
Công Nghiệp Thành phố Hồ Chí Minh đã tạo mọi điều kiện thuận lợi cho tôi trong
quá trình học tập.
Xin chân thành cảm ơn ông bà, cha mẹ đã luôn động viên ủng hộ vật chất lẫn tinh
thần trong suốt thời gian qua. Xin cảm ơn sự quan tâm giúp đỡ và ủng hộ của các
anh chị, bạn bè, đồng nghiệp trong quá trình thực hiện luận văn.
ii
TÓM TẮT LUẬN VĂN THẠC SĨ
Hiện nay, người cao tuổi, người khuyết tật và bệnh nhân đột quỵ trong cộng đồng
chiếm tỉ lệ cao. Để giúp họ cải thiện được chất lượng trong cuộc sống, thì không thể
thiếu một xe lăn điện thông minh điều khiển qua sóng não. Trong đề tài này, trước
tiên, tác giả trình bày cách ghi và xử lý tín hiệu sóng não EEG thô từ cảm biến điện
não đồ MindWave Mobile2. Sau đó, thực hiện phân tích trích xuất các đặc trưng
của 5 tín hiệu EEG mô tả các trạng thái (tới, lùi, rẽ trái, rẽ phải, dừng) trong miền
thời gian dựa vào các mẫu tín hiệu EEG ghi được và phân tích phổ tín hiệu là biến
đổi Fourier nhanh FFT (Fast Fourier Transform) và biến đổi Fourier nhanh ngược
IFFT (Inverse Fast Furier Transform). Các tín hiệu đặc trưng này được đưa vào
mạng thần kinh nhân tạo để học và phân loại thành 5 tín hiêu điều khiển xe lăn
chuyển động (tới, lùi, rẽ trái, rẽ phải, dừng). Cuối cùng, mô hình thực nghiệm xe lăn
điện được thiết kế để kiểm chứng việc điều khiển xe lăn qua sóng não. Kết quả
kiểm chứng cho thấy, tỉ lệ điều khiển xe lăn qua sóng não di chuyển trung bình đạt
trên 80%. Trong tương lai, xe lăn điện sẽ tiếp tục khả năng điều khiển chính xác qua
sóng não và cũng sẽ thiết kế bổ sung thêm các tính năng khác như tránh vật cản,
định vị, đo các thông số sức khỏe,… để xe lăn ngày càng thông minh và thân thiện
hơn với người sử dụng.
iii
ABSTRACT
Currently, the elderly, people with disabilities and stroke patients in the community
account for a high proportion. To help them improve their quality of life, it is
indispensable to have an intelligent electric wheelchair controlled through brain
waves. In this paper, we first present how to record and process raw EEG signals
from the MindWave Mobile2 EEG sensor. Then, perform analysis to extract 5
characteristic signals describing states (forward, backward, left turn, right turn,
stop) in time domain based on recorded EEG signal samples and analysis of signal
spectrum. The difference is the Fast Fourier FFT (Fast Fourier Transform) and the
Inverse Fast Furier Transform (IFFT). These characteristic signals are fed into the
artificial neural network for learning and classified into 5 signals that control the
wheelchair movement (forward, reverse, left turn, right turn, stop). Finally, the
electric wheelchair experimental model is designed to test wheelchair control over
brain waves. The test results show that the average rate of controlling the
wheelchair through the moving brain waves is over 80%. In the future, electric
wheelchairs will continue to have precise control over brain waves, and will also
design to add other features such as obstacle avoidance, positioning, measuring
health parameters ... for wheelchairs. more and more intelligent and user friendly.
iv
LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu của bản thân tôi. Các kết quả nghiên
cứu và các kết luận trong luận văn là trung thực, không sao chép từ bất kỳ một
nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã được
thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định.
Học viên
Phạm Văn Hữu Thiện
v
MỤC LỤC
LỜI CẢM ƠN ..........................................................................................................i
TÓM TẮT LUẬN VĂN THẠC SĨ..........................................................................ii
ABSTRACT...........................................................................................................iii
LỜI CAM ĐOAN...................................................................................................iv
DANH MỤC HÌNH ẢNH ......................................................................................ix
DANH MỤC BẢNG BIỂU ....................................................................................xi
DANH MỤC TỪ VIẾT TẮT ................................................................................xii
MỞ ĐẦU ................................................................................................................1
1. Đặt vấn đề ...........................................................................................................1
2. Mục tiêu nghiên cứu ............................................................................................1
3. Đối tượng và phạm vi nghiên cứu ........................................................................2
4. Cách tiếp cận và phương pháp nghiên cứu ...........................................................2
5. Ý nghĩa thực tiễn của đề tài .................................................................................3
CHƯƠNG 1 TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU ............................4
1.1 Giới thiệu ...................................................................................................4
1.2 Các nghiên cứu trong và ngoài nước...........................................................5
1.2.1 Khái niệm về Brain Computer Interface (BCI).....................................6
1.2.2 Các hệ thống BCI đã và đang được phát triển và triển vọng ................6
1.3 Nội dung nghiên cứu ..................................................................................8
CHƯƠNG 2 CƠ SỞ LÝ THUYẾT....................................................................9
2.1 Điện não đồ EEG .......................................................................................9
2.1.1 Cơ chế điện sinh lý của điện não đồ EEG.............................................9
2.1.2 Hoạt động điện ở màng tế bào thần kinh ............................................10
2.1.3 Tế bào thần kinh và lan truyền kích thích...........................................11
2.1.4 Hoạt động điện trên da đầu ................................................................13
2.1.5 Các đặc trưng và dạng sóng cơ bản của EEG .....................................14
2.2 Các vị trí điện cực ....................................................................................16
vi
2.3 Trích xuất đặc trưng .................................................................................17
2.3.1 Các phương pháp trích xuất đặc trưng................................................18
2.3.2 Biến đổi Fast Fourier Transform (FFT) và Inverse Fast Fourier
Transform (IFFT) [23] .......................................................................21
2.3.3 Đặc trưng EEG trong miền thời gian và miền tần số ..........................28
2.4 Mạng thần kinh nhân tạo ..........................................................................29
2.4.1 Mạng thần kinh nhân tạo ANN (Artificial Neural Network)...............29
2.4.2 Mô hình nơ rôn..................................................................................29
2.4.3 Kiến trúc mạng ..................................................................................31
2.4.4 Huấn luyện mạng nơ rôn....................................................................35
2.4.5 Luật học mạng nơ rôn ........................................................................36
2.4.6 Mạng Perceptron nhiều lớp ................................................................39
2.5 Cảm biến đo tín hiệu EEG........................................................................44
2.5.1 Các giá trị dữ liệu ..............................................................................45
2.5.2 Cấu trúc gói dữ liệu ...........................................................................45
2.5.3 Phân tích gói dữ liệu ..........................................................................47
2.5.4 Phân tích data row .............................................................................48
CHƯƠNG 3 PHÂN LOẠI TÍN HIỆU SÓNG NÃO EEG DÙNG MẠNG NƠ
RÔN MLP...................................................................................49
3.1 Xác định tín hiệu điều khiển xe lăn điện ...................................................49
3.1.1 Thu thập dữ liệu.................................................................................49
3.1.2 Xử lý dữ liệu......................................................................................50
3.1.3 Trích xuất đặc trưng...........................................................................51
3.1.4 Kết quả thực nghiệm..........................................................................52
3.2 Phân loại tín hiệu EEG dùng mạng nơ rôn................................................60
3.2.1 Cấu trúc mạng nơ rôn ........................................................................61
3.2.2 Tập dữ liệu huấn luyện ......................................................................63
3.2.3 Thuật toán huấn luyện mạng ..............................................................68
3.2.4 Kết quả phân loại EEG ......................................................................69
3.3 Kết luận....................................................................................................76
CHƯƠNG 4 ĐIỀU KHIỂN XE LĂN ĐIỆN DÙNG TÍN HIỆU EEG ..............77
vii
4.1 Lắp ráp xe lăn điện ...................................................................................77
4.1.1 Board điều khiển Arduino nano (H4_hình 4.1) ..................................78
4.1.2 Mô đun thu phát RF Zigbee UART CC2530 (H8_hình 4.1)...............79
4.1.3 Motor DC và Board điều khiển cầu H Mosfet ...................................80
4.1.4 Cảm biến siêu âm HC-SR04 ..............................................................82
4.1.5 Bo nguồn giảm áp LM2596 ...............................................................82
4.1.6 Bo chuyển đổi USB-TTL...................................................................83
4.1.7 Bình accqui........................................................................................83
4.2 Kiến trúc điều khiển hệ thống...................................................................84
4.2.1 Neurosky Headset..............................................................................84
4.2.2 Computer System ..............................................................................84
4.2.3 RF Zigbee ..........................................................................................84
4.2.4 Arduino Nano ....................................................................................85
4.2.5 DC Motor Driver ...............................................................................85
4.2.6 DC Motor ..........................................................................................85
4.2.7 Wheelchair ........................................................................................85
4.3 Lưu đồ giải thuật điều khiển xe lăn điện ...................................................86
4.3.1 Lưu đồ giải thuật đọc tín hiệu EEG từ cảm biến.................................86
4.3.2 Lưu đồ giải thuật xử lý đặc trưng .......................................................87
4.3.3 Lưu đồ giải thuật Arduino Nano điều khiển xe lăn điện .....................88
4.4 Kết quả điều khiển xe lăn điện thực tế ......................................................90
4.4.1 Xử lý tín hiệu EEG ............................................................................90
4.4.2 Điều khiển xe lăn điện .......................................................................91
4.4.3 Kết quả điều khiển xe lăn điện ...........................................................92
4.5 Kết luận....................................................................................................98
KẾT LUẬN VÀ KIẾN NGHỊ ...............................................................................99
1. Kết quả đạt được........................................................................................99
2. Hướng phát triển đề tài ............................................................................100
DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA HỌC VIÊN .........................101
TÀI LIỆU THAM KHẢO ...................................................................................102
viii
PHỤ LỤC............................................................................................................107
1. Chi tiết đặc tính kỹ thuật các thiết bị...............................................................107
1.1 Bo điều khiển Arduino nano ......................................................................107
1.2 Module thu phát RF Zigbee UART CC2530..............................................114
1.3 Motor DC và Board điều khiển cầu H Mosfet ...........................................117
1.4 Cảm biến siêu âm HC-SR04.......................................................................122
1.5 Board nguồn giảm áp LM2596 ..................................................................123
2. Chương trình Matlab thu thập tín hiệu EEG, trích xuất đặc trưng và phân loại tín
hiệu điều khiển..............................................................................................124
3. Chương trình vi điều khiển Arduino nano điều khiển xe lăn điện....................128
4. Đặc trưng tín hiệu EEG ..................................................................................136
4.1 Bảng 250 mẫu huấn luyện nơ rôn...............................................................136
4.2 Bảng 50 mẫu test nơ rôn ............................................................................143
LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN.....................................................145
ix
DANH MỤC HÌNH ẢNH
Hình 1.1 Nguyên lý P300 [14].................................................................................7
Hình 1.2 Mind cursor [17].......................................................................................8
Hình 2.1 Các thùy trên vỏ não [32]........................................................................10
Hình 2.2 Các giai đoạn đáp ứng kích thích của tế bào thần kinh [33]....................11
Hình 2.3 Cấu trúc của một tế bào thần kinh [34]....................................................12
Hình 2.4 Kết nối giữa các tế bào thần kinh [35].....................................................13
Hình 2.5 Các sóng cơ bản của EEG [36]................................................................14
Hình 2.6 Sóng mu [37] ..........................................................................................16
Hình 2.7 Các vị trí điện cực theo tiêu chuẩn 10-20 [38].........................................17
Hình 2.8 Biến đổi Fourier hai dãy..........................................................................24
Hình 2.9 Sơ đồ phân chia thời gian của tín hiệu.....................................................25
Hình 2.10 Mô hình nơ rôn nhân tạo .......................................................................30
Hình 2.11 Mạng nơ rôn một lớp với S nơ rôn ........................................................32
Hình 2.12 Mô hình mạng ANN một lớp gồm S nơ rôn ..........................................33
Hình 2.13 Mô hình mạng ANN gồm 3 lớp.............................................................33
Hình 2.14 Mạng ANN 3 lớp dạng rút gọn..............................................................34
Hình 2.15 Mô hình mạng có phản hồi....................................................................35
Hình 2.16 Mạng Multi Layer Perceptron 3 lớp ......................................................40
Hình 2.17 Cảm biến MindWave Mobile 2 [39]......................................................44
Hình 3.1 Sơ đồ khối quá trình xác định tín hiệu.....................................................49
Hình 3.2 Tín hiệu cử chỉ hành động “mở mắt”,......................................................54
Hình 3.3 Tín hiệu “mở mắt” và “nhắm mắt” miền tần số 9-11hz ...........................55
Hình 3.4 Tín hiệu “mở mắt” và “chớp mắt 1 lần/giây” miền tần số 1-7hz ..............56
Hình 3.5 Tín hiệu “mở mắt” và “chớp mắt 1 lần/giây” miền thời gian ...................56
Hình 3.6 Tín hiệu “mở mắt” và “chớp mắt >1 lần/giây” miền tần số 1-7hz............57
Hình 3.7 Tín hiệu “mở mắt” và “chớp mắt >1 lần/giây” miền thời gian.................58
Hình 3.8 Tín hiệu “mở mắt” và “nhìn lên” miền thời gian .....................................59
Hình 3.9 Sơ đồ cấu trúc mạng nơ rôn đề xuất ........................................................62
Hình 3.10 Lưu đồ thuật toán huấn luyện mạng ......................................................68
Hình 3.11 Mô hình mạng MLP sử dụng trong hệ thống .........................................69
Hình 3.12 Mô hình phân loại 4 nơ rôn trong lớp ẩn ...............................................70
Hình 3.13 Kết quả phân loại 4 nơ rôn trong lớp ẩn ................................................70
Hình 3.14 Mô hình phân loại 6 nơ rôn trong lớp ẩn ...............................................72
Hình 3.15 Kết quả phân loại 6 nơ rôn trong lớp ẩn ................................................72
Hình 3.16 Kết quả phân loại 6 nơ rôn trong lớp ẩn lần 2........................................74
x
Hình 4.1 Xe lăn điện tái sử dụng từ xe lăn thường .................................................77
Hình 4.2 board điều khiển Arduino Nano ..............................................................78
Hình 4.3 Module thu phát RF Zigbee UART CC2530 ...........................................79
Hình 4.4 Motor xe lăn điện....................................................................................80
Hình 4.5 Mạch điều khiển kép hai cầu H Mosfet ...................................................81
Hình 4.6 Cảm biến siêu âm HC-SR04 ...................................................................82
Hình 4.7 Board giảm áp DC LM2596....................................................................82
Hình 4.8 Board chuyển đổi USB-TTL...................................................................83
Hình 4.9 Kiến trúc điều khiển hệ thống .................................................................84
Hình 4.10 Lưu đồ giải thuật đọc tín hiệu EEG từ cảm biến ....................................86
Hình 4.11 Lưu đồ giải thuật xử lý đặc trưng ..........................................................87
Hình 4.12 Lưu đồ giải thuật Arduino điều khiển xe lăn điện..................................88
Hình 4.13 Người điều khiển xe lăn điện thứ 1 .......................................................93
Hình 4.14 Người điều khiển xe lăn điện thứ 2 .......................................................94
Hình 4.15 Người điều khiển xe lăn điện thứ 3 .......................................................95
Hình 4.16 Người điều khiển xe lăn điện thứ 4 .......................................................96
Hình 4.17 Người điều khiển xe lăn điện thứ 5 .......................................................97
xi
DANH MỤC BẢNG BIỂU
Bảng 1.1 Kết quả phân tích dữ liệu từ tín hiệu EEG.................................................5
Bảng 1.2 Dữ liệu kết quả từ 5 người tham gia..........................................................6
Bảng 2.1 Bảng định nghĩa Single Byte code ..........................................................47
Bảng 2.2 Multi Byte Code .....................................................................................47
Bảng 3.1 Danh sách 5 người tham gia lấy mẫu ......................................................52
Bảng 3.2 So sánh đặc trưng của tín hiệu “mở mắt” và “nhắm mắt”........................55
Bảng 3.3 So sánh đặc trưng của tín hiệu “mở mắt” và “chớp mắt 1 lần/giây” ........57
Bảng 3.4 So sánh đặc trưng của tín hiệu “mở mắt”, ...............................................58
Bảng 3.5 So sánh đặc trưng của tín hiệu “mở mắt” và “nhìn lên” ..........................59
Bảng 3.6 So sánh 9 đặc trưng của 5 tín hiệu cử chỉ hành động “mở mắt”, “nhắm
mắt”, “chớp mắt 1 lần/giây”, “chớp mắt >1 lần/giây” và “nhìn lên”........60
Bảng 3.7 Tập dữ liệu 50 mẫu “mở mắt” được thu thập từ 5 người tham gia...........64
Bảng 3.8 Tập dữ liệu 50 mẫu “nhắm mắt” được thu thập từ 5 người tham gia .......64
Bảng 3.9 Tập dữ liệu 50 mẫu “chớp mắt 1 lần/giây”..............................................65
Bảng 3.10 Tập dữ liệu 50 mẫu “chớp mắt >1 lần/giây”..........................................65
Bảng 3.11 Tập dữ liệu 50 mẫu “nhìn lên” được thu thập từ 5 người tham gia ........66
Bảng 3.12 Tập dữ liệu 50 mẫu “test” được thu thập từ 5 người tham gia ...............67
Bảng 3.13 Kết quả phân loại 4 nơ rôn trong lớp ẩn ................................................70
Bảng 3.14 Kết quả phân loại 6 nơ rôn trong lớp ẩn ................................................73
Bảng 3.15 Kết quả phân loại 6 nơ rôn trong lớp ẩn lần 2 .......................................75
Bảng 4.1 Tín hiệu điều khiển xe lăn điện...............................................................89
Bảng 4.2 Thông tin 5 người tham gia điều khiển xe lăn điện .................................92
Bảng 4.3 Kết quả điều khiển..................................................................................93
Bảng 4.4 Kết quả điều khiển..................................................................................94
Bảng 4.5 Kết quả điều khiển..................................................................................95
Bảng 4.6 Kết quả điều khiển..................................................................................96
Bảng 4.7 Kết quả điều khiển..................................................................................97
Bảng 4.8 Dữ liệu kết quả từ 5 người tham gia........................................................97
xii
DANH MỤC TỪ VIẾT TẮT
STT Từ viết tắt Thuật ngữ Ý nghĩa tiếng Việt
1 ANN Artificial Neural Network Mạng thần kinh nhân tạo
2 AI Artificial Intelligence Trí tuệ nhân tạo
3 BCI Brain Computer Interface Giao diện não máy tính
4 BP Back Propagation Lan truyền ngược
5 CFT Continuously Fourier
Transform
Biến đổi Fourier liên tục
6 DFT Discrete Fourier Transform Biến đổi Fourier rời rạc
7 EEG Electroencephalogram Điện não đồ
8 FFT Fast Fourier Transform Biến đổi Fourier nhanh
9 IDFT Fast Continuous Fourier
Transform
Biến đổi Fourier liên tục
nhanh
10 IFFT Inverse Fast Fourier
Transform
Biến đổi Fourier nhanh
ngược
11 MLP Multi Layer Perceptron Perceptron nhiều lớp