Áp dụng deep learning nghiên cứu xây dựng ứng dụng nhận diện danh tính và phát hiện ngủ gật

ĐẠI HỌC ĐÀ NẴNG

TRƯỜNG ĐẠI HỌC SƯ PHẠM

----------------------------

BÁO CÁO KHÓA LUẬN TỐT NGHIỆP

ÁP DỤNG DEEP LEARNING NGHIÊN

CỨU XÂY DỰNG ỨNG DỤNG NHẬN

DIỆN DANH TÍNH VÀ PHÁT HIỆN

NGỦ GẬT

Sinh Viên : Mai Tấn Hồng Hải

Lớp : 17CNTTC

GVHD : TS. Nguyễn Trần Quốc Vinh

ĐÀ NẴNG, 04/2021

SVTT: Mai Tấn Hồng Hải – Lớp 17CNTTC 2

MỤC LỤC

MỞ ĐẦU............................................................................................................................... 8

I. Lý do chọn đề tài: .......................................................................................................... 9

II. Mục tiêu:......................................................................................................................... 10

1. Mục tiêu................................................................................................................................... 10

1.1 Mục tiêu chung:................................................................................................................................10

1.2 Mục tiêu đề tài..................................................................................................................................10

2. Nhiệm vụ ................................................................................................................................. 10

3. Kết quả dự kiến........................................................................................................................ 10

3.1. Lý thuyết.........................................................................................................................................10

3.2. Thực tiễn.........................................................................................................................................11

III. Khái quát về Machine Learning – Deep learning............................................................ 11

1. Trí tuệ nhân tạo – AI:............................................................................................................... 11

2. Machine learning là gì? ............................................................................................................ 14

3. Deep learning là gì? ................................................................................................................. 15

4. Tổng quan................................................................................................................................ 16

IV. Tổng quan về mạng Neuron nhân tạo:............................................................................ 16

1. Mạng nơ-rôn nhân tạo (Arfiticial Neuron Network).................................................................. 16

2. Mạng nơ-rôn tích chập (Convulotional Neuron Network) ......................................................... 17

V. Ngôn ngữ lập trình và thư viện:....................................................................................... 18

1. Ngôn ngữ lập trình Python ....................................................................................................... 18

2. OpenCV................................................................................................................................... 19

3. Tensorflow............................................................................................................................... 20

4. Sklearn..................................................................................................................................... 21

5. Dlib.......................................................................................................................................... 23

6. Các thư viện khác..................................................................................................................... 24

VI. Môi trường làm việc: ..................................................................................................... 25

1. Google Colab........................................................................................................................... 25

2. Anaconda................................................................................................................................. 25

3. Jupyer lab................................................................................................................................. 26

VII. Mạng MTCNN sử dụng cho Face detection:................................................................. 26

1. Bài toán Face detection ............................................................................................................ 26

2. MTCNN là gì........................................................................................................................... 27

VIII. Mạng Facenet và thuật toán Cosime Similarity sử dụng cho Face Regconization......... 29

1. Facenet - Trích xuất vector đặc trưng........................................................................................ 29

1.1. Triplet loss......................................................................................................................................31

1.2. Lựa chọn Triple Image ....................................................................................................................31

2. Thuật toán nhận diện khuôn mặt............................................................................................... 33

2.1. Độ tương tự Cosin (Cosin Similarity)...............................................................................................33

2.2. Công thức Cosin Similarity.............................................................................................................34

2.3. Áp dụng độ tương tự Cosin vào bài toán nhận diện khuôn mặt..........................................................35

3. Thuật toán nhận dạng buồn ngủ................................................................................................ 36

SVTT: Mai Tấn Hồng Hải – Lớp 17CNTTC 3

3.1. Thuật toán phát hiện ngủ..................................................................................................................36

3.2. Thuật toán phát hiện buồn ngủ (ngáp) ..............................................................................................39

IX. Triển khai bài toán:........................................................................................................ 41

1. Thu thập dữ liệu....................................................................................................................... 41

2. Tiền xử lý dữ liệu..................................................................................................................... 41

3. Trainning Facenet trên Google Colab ....................................................................................... 42

4. Xây dựng ứng dụng.................................................................................................................. 43

4.1. Huấn luyện khuôn mặt mới..............................................................................................................45

4.2. Ứng dụng nhận diện khuôn mặt real time .........................................................................................46

XI. Nhận xét và định hướng thuật toán................................................................................. 49

1. Nhận Xét.................................................................................................................................. 49

2. Ứng dụng thực tiễn................................................................................................................... 49

XII. Tài Liệu Tham Khảo: ................................................................................................... 49

SVTT: Mai Tấn Hồng Hải – Lớp 17CNTTC 4

LỜI CẢM ƠN

Kết thúc thời gian thực tập bổ ích và rất nhiều thử thách mới lạ cho một sinh

viên lần đầu làm việc trực tiếp với doanh nghiệp. Em đã nhận được sự hướng dẫn,

giúp đỡ và động viên nhiệt tình từ mọi người xung quanh. Đó là niềm động lực to

lớn giúp em hoàn thành tốt đợt thực tập này. Với tất cả sự cảm kích và biết ơn,

em xin chân thành cảm ơn tất cả mọi người. Đầu tiên, em xin gửi lời cảm ơn đến

Công ty TNHH MTV DỊCH VỤ PHẦN MỀM SAFEHORIZONS, đã tạo điều

kiện cho em được làm việc trực tiếp với doanh nghiệp trong một môi trường rất

chuyên nghiệp và năng động. Cùng với sự giúp đỡ nhiệt tình của tất cả các thành

viên ở công ty trong suốt quá trình thực tập.

Em cũng xin gửi lời cảm ơn đến lãnh đạo trường Đại học Sư phạm Đà Nẵng,

cùng với lãnh đạo khoa Tin Học đã tổ chức đợt thực tập tốt nghiệp để em có cơ

hội làm việc thực tế hơn.

Em xin chân thành cảm ơn TS. Nguyễn Trần Quốc Vinh, đã tận tình giúp đỡ,

tháo gỡ những khó khăn, và đưa ra những lời khuyên đúng đắn, giúp em có thể

hoàn thành tốt những công việc được giao và bổ sung thêm nhiều kiến thức kiến

thức sau đợt thực tập.

Xin trân trọng cảm ơn!

Đà Nẵng, ngày tháng năm 2021

Sinh viên thực hiện

Mai Tấn Hồng Hải