Sử Dụng Cử Chỉ Tay Để Điều Khiển Thiết Bị

H

Ọ VÀ TÊN SINH VIÊN: NGUY

ỄN TH

Ế AN

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

KHOA CÔNG NGHỆ THÔNG TIN

----------

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Đề tài: Sử dụng cử chỉ tay để điều khiển thiết bị

Giáo viên hướng dẫn: PGS. Phạm Văn Cường

Sinh viên: Nguyễn Thế An

Mã sinh viên: B17DCCN002

Lớp: D17HTTT1

Niên khóa: 2017-2022

Hệ đào tạo: Đại học chính quy

Hà Nội 2021

L

ỚP: D17HTTT1

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

KHOA CÔNG NGHỆ THÔNG TIN

----------

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC

Đề tài: Sử dụng cử chỉ tay để điều khiển thiết bị

Giáo viên hướng dẫn: PGS. Phạm Văn Cường

Sinh viên: Nguyễn Thế An

Mã sinh viên: B17DCCN002

Lớp: D17HTTT1

Niên khóa: 2017-2022

Hệ đào tạo: Đại học chính quy

Hà Nội 2021

ĐỒ ÁN TỐT NGHIỆP

GVHD: PGS.TS Phạm Văn Cường i SVTH: Nguyễn Thế An – D17HTTT1

TÓM TẮT NỘI DUNG

Sự ra đời và phát triển mạnh mẽ của trí tuệ nhân tạo (AI) là một bước đột phá của

nền kinh tế nhưng bên cạnh đó, nó cũng tác động rất nhiều tới cuộc sống của con người

thông qua nhiều ứng dụng thực tế. Các thiết bị như tivi, máy tính hay các thiết bị điện

tử không hề xa lạ gì đối với mỗi người, nhưng hiện nay, các thiết bị đó vẫn được điều

khiển bằng các phương pháp như sử dụng điều khiển hồng ngoại, sử dụng công tắc hay

bàn phím, để có thể nâng cao được trải nghiệm người dùng, tăng tính thuận tiện, rất

nhiều phương pháp khác nhau được phát triển ví dụ như điều khiển thông qua wifi.

Phương pháp sử dụng cử chỉ tay để điều khiển cũng chính là một trong số đó.

Mục tiêu chính của nhận dạng cử chỉ tay là đưa ra chính xác người dùng đang có

cử chỉ gì và từ đó có thể đưa ra tín hiệu điều khiển thiết bị, giúp người dùng không cần

phải sử dụng đến các thiết bị điều khiển bên ngoài. Hệ thống điều khiển gồm 2 thành

phần chính là nhận diện cử chỉ tay và thành phần điều khiển thiết bị

Đồ án “Nhận diện cử chỉ tay bằng học sâu ứng dụng trong điều khiển thiết bị điện

tử" tập trung vào việc nhận diện cử chỉ tay trên thời gian thực và sử dụng để đưa ra tín

hiệu điều khiển

Với đầu vào là ảnh được lấy từ máy ảnh, hệ thống sẽ thực hiện trích xuất đặc

trưng bằng mạng học sâu, và sử dụng để nhận diện các cử chỉ tay. Yêu cầu quan trọng

đối với hệ thống là phải chạy được trên thời gian thực, có độ trễ thấp. Trong khuôn khổ

đồ án mô hình được tiến hành huấn luyện trên bộ dữ liệu gồm 37,964 video thuộc 17 cử

chỉ. Mô hình được sử dụng là mô hình mô-đun dịch chuyển thời gian (TSM). Kết quả

độ chính xác đạt được là 0.96 với độ trễ 4.7ms

Từ khóa: Học sâu, nhận diện cử chỉ, trích xuất đặc trưng, huấn luyện, mô hình,

Temporal Shift Module, CNN, 3D CNN, ...

ĐỒ ÁN TỐT NGHIỆP

GVHD: PGS.TS Phạm Văn Cường ii SVTH: Nguyễn Thế An – D17HTTT1

LỜI CẢM ƠN

Em xin chân thành cảm ơn PGS.TS Phạm Văn Cường, bộ môn Khoa học máy

tính, Khoa Công nghệ thông tin I đã tận tình chỉ dạy và hướng dẫn cho em trong việc

lựa chọn đề tài, thực hiện đề tài và viết báo cáo đồ án, giúp cho em có thể hoàn thành

tốt đồ án này.

Em xin chân thành cảm ơn các thầy cô giáo Học viện Công nghệ Bưu chính Viễn

thông, đặc biệt các thầy cô trong khoa Công nghệ thông tin I đã tận tình dạy dỗ và chỉ

bảo em trong suốt 4 năm học.

Em xin gửi lời cảm ơn đến các anh chị, các bạn, các em đã và đang hoạt động tại

câu lạc bộ ITPTIT, cảm ơn tất cả mọi người đã tạo ra một môi trường học tập chuyên

nghiệp, sáng tạo để em có thể phát triển được như ngày hôm nay.

Cuối cùng em xin cảm ơn gia đình, bạn bè, những người đã luôn bên cạnh động

viên em những lúc khó khăn và giúp đỡ em trong suốt thời gian học tập và nghiên cứu,

tạo mọi điều kiện tốt nhất cho em để có thể hoàn thành tốt đồ án của mình.

Mặc dù đã cố gắng hoàn thành nghiên cứu trong phạm vi và khả năng cho phép

nhưng chắc chắn sẽ không tránh khỏi những thiếu sót. Em kính mong nhận được sự

thông cảm của thầy cô và các bạn.

Em xin chân thành cảm ơn!

Hà Nội, 12/2021

Sinh Viên

Nguyễn Thế An

ĐỒ ÁN TỐT NGHIỆP

GVHD: PGS.TS Phạm Văn Cường iii SVTH: Nguyễn Thế An – D17HTTT1

NHẬN XÉT

(Của giảng viên phản biện)

ĐỒ ÁN TỐT NGHIỆP

GVHD: PGS.TS Phạm Văn Cường iv SVTH: Nguyễn Thế An – D17HTTT1

NHẬN XÉT

(Của giảng viên hướng dẫn)

Điểm: (bằng chữ: )

Đồng ý/Không đồng ý cho sinh viên bảo vệ trước hội đồng chấm đồ án tốt nghiệp?

, ngày tháng năm 2021

CÁN BỘ - GIẢNG VIÊN HƯỚNG DẪN

(ký, ghi rõ họ tên)

ĐỒ ÁN TỐT NGHIỆP

GVHD: PGS.TS Phạm Văn Cường v SVTH: Nguyễn Thế An – D17HTTT1

MỤC LỤC

LỜI CẢM ƠN ............................................................................................................... ii

DANH MỤC HÌNH VẼ.............................................................................................. vii

DANH MỤC BẢNG BIỂU ......................................................................................... ix

DANH MỤC TỪ VIẾT TẮT........................................................................................x

LỜI NÓI ĐẦU................................................................................................................1

CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN NHẬN DIỆN CỬ CHỈ TAY.............3

1.1 Giới thiệu bài toán nhận diện cử chỉ tay........................................................3

1.2 Ứng dụng của bài toán nhận diện cử chỉ tay.................................................4

1.2.1 Tương tác với thực tế ảo và thực tại tăng cường....................................5

1.2.2 Nhận diện ngôn ngữ ký hiệu ....................................................................6

1.2.3 Công cụ hỗ trợ cuộc sống..........................................................................6

1.3 Một số phương pháp cho bài toán nhận diện cử chỉ tay ..............................6

1.3.1 Phương pháp nhận diện cử chỉ tay cổ điển.............................................6

1.3.2 Phương pháp nhận diện cử chỉ tay hiện đại .........................................11

1.4 Phạm vi đồ án .................................................................................................12

1.5 Kết luận chương .............................................................................................12

CHƯƠNG 2 NHẬN DIỆN CỬ CHỈ TAY SỬ DỤNG PHƯƠNG PHÁP HỌC

SÂU 13

2.1 Giới thiệu về học sâu......................................................................................13

2.1.1 Khái niệm.................................................................................................13

2.1.2 Những dấu mốc quan trọng của học sâu...............................................14

2.1.3 Cấu trúc và mô hình của một nơ-ron nhân tạo....................................20

2.1.5 Cấu tạo và phương thức làm việc của mạng nơ-ron............................24

2.2 Mạng nơ-ron tích chập ..................................................................................25

2.2.1 Lớp tích chập ...........................................................................................27

2.2.3 Lớp kết nối toàn bộ .................................................................................29

2.2.4 Một số kiến trúc mạng nổi tiếng ............................................................30

2.2.5 Mô hình mạng nơ-ron tích chập cho bài toán nhận diện cử chỉ tay...33

2.2.6 Mô hình MobileNet .................................................................................34

2.3 Mạng nơ-ron tích chập 3 chiều.....................................................................36

2.3.1 Phép tích chập 3 chiều ............................................................................36

2.3.2 Cấu trúc của mạng nơ-ron tích chập 3 chiều .......................................39

2.3.3 Mạng nơ-ron tích chập 3 chiều cho bài toán nhận diện cử chỉ tay.....39