Nhận diện khuôn mặt bất biến theo thời gian

1

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

--------∞0∞--------

NGUYỄN TIẾN ANH

NHẬN DIỆN KHUÔN MẶT

BẤT BIẾN THEO THỜI GIAN

LUẬN VĂN THẠC SĨ

KHOA HỌC MÁY TÍNH

TP. HỒ CHÍ MINH, NĂM 2022

2

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

--------∞0∞--------

NGUYỄN TIẾN ANH

NHẬN DIỆN KHUÔN MẶT

BẤT BIẾN THEO THỜI GIAN

Chuyên ngành: Khoa học máy tính

Mã số chuyên ngành: 8 48 01 01

LUẬN VĂN THẠC SĨ

KHOA HỌC MÁY TÍNH

Giảng viên hướng dẫn: TS. TRƯƠNG HOÀNG VINH

TP. HỒ CHÍ MINH, NĂM 2022

TRƯỜNG ĐẠI HỌC MỞ

THÀNH PHỐ HỒ CHÍ MINH

KHOA ĐÀO TẠO SAU ĐẠI HỌC

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc

GIẤY XÁC NHẬN

Tôi tên là: NGUYỄN TIẾN ANH

Ngày sinh: 17/03/1685 Nơi sinh: Thành Phố Hồ Chí Minh

Chuyên ngành: Khoa học máy tính Mã học viên: 1984801012001

Tôi đồng ý cung cấp toàn văn thông tin luận văn tốt nghiệp hợp lệ về bản quyền cho

Thư viện trường đại học Mở Thành phố Hồ Chí Minh. Thư viện trường đại học Mở

Thành phố Hồ Chí Minh sẽ kết nối toàn văn thông tin luận văn tốt nghiệp vào hệ thống

thông tin khoa học của Sở Khoa học và Công nghệ Thành phố Hồ Chí Minh.

Ký tên

(Ghi rõ họ và tên)

LỜI CAM ĐOAN

Tôi cam đoan rằng luận văn “Nhận Diện Khuôn Mặt Bất Biến Theo Thời Gian”

do chính tôi tìm hiểu công nghệ và thực nghiệm dưới sự hỗ trợ của giảng viên hướng dẫn.

Ngoài những tài liệu sử dụng trong luận văn để tham khảo, trích dẫn trong này, tôi

xin cam đoan rằng nội dung tôi thực nghiệm trong luận văn này chưa từng được sử dụng

để làm thạc sĩ ở những trường khác.

Tất cả các sản phẩm, tài liệu nghiên cứu nào của người khác được tôi tham chiếu

dùng trong luận văn này luôn được trích dẫn theo đúng qui định.

Luận văn này của tôi chưa từng được sử dụng để nhận bằng tại các trường đại học

hoặc cơ sở đào tạo khác.

Thành phố Hồ Chí Minh, năm 2022

NGUYỄN TIẾN ANH

LỜI CẢM ƠN

Trong thời gian học tập, nghiên cứu để hoàn thiện luận văn, tôi đã nhận được sự

hướng dẫn, giúp đỡ rất tận tình của quý thầy cô, bạn bè và đồng nghiệp.

Tôi xin gửi lời cảm ơn sâu sắc đến TS. Trương Hoàng Vinh, thầy đã rất nhiệt tình

hướng dẫn và hỗ trợ tôi tận tình trong suốt thời gian nghiên cứu và thực hiện luận văn. Tôi

đã rất may mắn khi được thầy chấp nhận hướng dẫn, một lần nữa xin gửi lời cảm ơn sâu

sắc đến thầy, TS. Trương Hoàng Vinh.

Ngoài ra tôi xin cảm ơn quý thầy cô lãnh đạo, giảng viên, chuyên viên, thư viện

trường Đại Học Mở TP. Hồ Chí Minh đã cung cấp những kiến thức, tài liệu quý báu cũng

như hỗ trợ cho tôi trong suốt thời gian học tập tại trường.

Tôi xin chân thành cảm ơn đến quản trị viên các website, người dùng trên mạng

Internet đã chia sẻ, cung cấp các bộ dữ liệu để tôi thực nghiệm trong luận văn này.

Cuối cùng tôi xin gửi lời cảm ơn hơn đến tất cả những người bạn, người thân yêu

trong gia đình đã luôn ở bên cạnh, hỗ trợ, động viên và tạo điều kiện thuận lợi nhất để tôi

hoàn thành luận văn cũng như chương trình học tại trường.

Xin trân trọng cám ơn!

TÓM TẮT

Tác động của thời gian (sự lão hóa) làm thay đổi nét mặt, gây ảnh hưởng nhiều đến

quá trình nhận diện khuôn mặt, dẫn đến tỉ lệ nhận ra một người trở nên khó khăn hơn. Vấn

đề này thực sự đang là một thách thức lớn với ngành Thị giác máy tính, vì hình ảnh khuôn

mặt sẽ bị thay đổi theo thời gian, các góc chụp khác nhau cũng sẽ khó nhận ra hơn, màu

sắc và chất lượng hình ảnh thay đổi theo công nghệ chụp hình kỹ thuật số cũng làm biến

đổi hình dạng khuôn mặt,…

Mục đích giảm ảnh hưởng bởi tuổi trong nhận dạng khuôn mặt, người ta hoặc trích

xuất các đặc điểm phân biệt liên quan đến danh tính bằng cách giảm thiểu mối tương quan

giữa các đặc điểm liên quan đến nhận dạng và tuổi tác (bất biến theo tuổi); hoặc loại bỏ sự

biến đổi tuổi bằng cách biến đổi khuôn mặt của các nhóm tuổi khác nhau vào cùng một

nhóm tuổi, được gọi là tổng hợp tuổi khuôn mặt.

Tuy nhiên, do vận dụng các thuật toán xử lý mới để khai thác, bóc tách các tác nhân

ảnh hưởng lên khuôn mặt, phương pháp tăng hiệu quả theo cách kết hợp giữa các công trình

đã thực nghiệm cao với công nghệ máy học hiện tại rất ít khi được thực hiện, vì vậy làm

kết quả hạn chế về thời gian xử lý hoặc độ chính xác chưa cao.

Do đó, luận văn này đề xuất một khuôn khổ đa tác vụ, thống nhất để cùng xử lý

nhiều tác vụ để có thể học cách biểu diễn liên quan đến khuôn mặt bất biến tuổi đồng thời

đạt được sự tổng hợp nhận biết khuôn mặt tối ưu hơn dựa trên sự trích xuất đặc trưng khuôn

mặt bằng phương pháp hiệu quả cao kết hợp với kỹ thuật Transfer Learning hướng đến hiệu

suất tốt hơn.

Cụ thể, tác giả đề xuất mô hình nhận dạng khuôn mặt không quan tâm đến độ tuổi,

dựa trên máy học các không gian con về sự thay đổi theo tuổi tác của khuôn mặt một cách

độc lập để nhận dạng. Theo ý tưởng rằng một khuôn mặt có thể được tách thành các vùng

diện nhận dạng đặc trưng, bất biến với ảnh hưởng của lão hóa và thay đổi theo sự tiến triển

của tuổi tác. Không giống như tất cả các phương pháp trước đây, ở đây sử dụng nhãn tuổi

xuất hiện để tìm hiểu không gian con về độ tuổi một cách độc lập. Qua đó giúp máy hiểu

rõ hơn về mối quan hệ giữa tuổi và các diện mạo tương ứng trên khuôn mặt.

Phương pháp nhận dạng khuôn mặt bất biến theo tuổi được đề xuất có thể đạt được

tỷ lệ nhận dạng cao. Hơn thế nữa, việc học không gian con của độ tuổi một cách độc lập

cho phép các thử nghiệm chỉ dựa vào các nhãn nhận dạng do bộ dữ liệu cung cấp, điều này

giúp việc xây dựng bộ dữ liệu dễ dàng hơn nhiều.

Các thử nghiệm được thực hiện mở rộng trên các bộ dữ liệu theo độ tuổi chuẩn chứng

minh hiệu suất cao được đề xuất ở đây.

ABSTRACT

The effect of time (aging) changes facial features, greatly affecting the facial

recognition process, making the rate of recognizing a person more difficult. This problem

is really a big challenge for the Computer Vision industry, because the face image will be

changed over time, different shooting angles will also be more difficult to recognize, color

and image quality. changes in digital photography technology also change the shape of the

face, etc.

To minimize the impact of age variation in facial recognition, one either extracts

identity-related discriminant features by minimizing the correlation between identity￾related features and age. effect (invariant with age); or remove the age variation by

transforming the faces of different age groups into the same age group, which is called face

age aggregation.

However, due to the use of new processing algorithms to exploit and extract factors

affecting the face, the method increases efficiency by combining highly experimental works

with current machine learning technology. is rarely done, so the results are limited in terms

of processing time or accuracy.

Therefore, this paper proposes a unified, multi-tasking framework to co-process

multiple tasks so that they can learn age-invariant face related representations while

achieving optimal facial recognition synthesis. is better based on extracting facial features

by efficient method combined with Transfer Learning technique towards more efficiency.

Specifically, we propose an age-independent, machine-based face recognition model

that learns the subspaces of the age-dependent changes of faces independently for

recognition. According to the idea that a face can be separated into characteristic

recognition regions, which are invariant to the effects of aging and change with age

progression. Unlike all previous methods, which use actual age labels, here emergent age

labels are used to learn the age subspace independently. Thereby helping the machine better

understand the relationship between age and corresponding facial features.

The proposed age-invariant face recognition method can achieve high recognition

rate. What's more, learning the age subspace independently allows tests to rely solely on

the identity labels provided by the dataset, which makes it much easier to build datasets.

Extensively performed tests on standard age-based datasets demonstrate the high

performance proposed here.

i

MỤC LỤC

MỤC LỤC ............................................................................................................................i

DANH MỤC HÌNH VÀ ĐỒ THỊ.....................................................................................iv

DANH MỤC BẢNG .........................................................................................................vii

DANH MỤC KÝ HIỆU.................................................................................................. viii

DANH MỤC VIẾT TẮT...................................................................................................ix

CHƯƠNG 1. TỔNG QUAN VỀ XỦ LÝ ẢNH VÀ NHẬN DẠNG KHUÔN MẶT .....1

1.1. Tổng quan tình hình nghiên cứu................................................................................1

1.1.1 Giới thiệu.............................................................................................................1

1.1.2 Tổng quan tình hình nghiên cứu:.........................................................................3

1.1.3 Một số phương pháp tiếp cận ..............................................................................5

1.2. Mục tiêu của luận văn và phạm vi nghiên cứu........................................................14

1.2.1 Mục tiêu của luận văn........................................................................................14

1.2.2 Phạm vi nghiên cứu ...........................................................................................15

1.3. Đóng góp của luận văn ............................................................................................15

1.3.1 Tính khoa học:...................................................................................................15

1.3.2 Tính thực tiễn.....................................................................................................17

1.4. Cấu trúc của luận văn ..............................................................................................18

1.5. Phương pháp............................................................................................................18

1.5.1 Nghiên cứu các kỹ thuật, phương pháp xử lý ảnh, phân tích khuôn mặt, rút

trích các đặc trưng nổi trội..........................................................................................18

1.5.2 Nghiên cứu về việc sử dụng các bộ dữ liệu thực nghiệm, kỹ thuật phân chia dữ

liệu để huấn luyện và thực nghiệm kết quả ................................................................19

1.5.3 Nội dung thực hiện:...........................................................................................20

1.6. Kết luận....................................................................................................................21

ii

CHƯƠNG 2. CƠ SỞ LÝ THUYẾT................................................................................22

2.1 Giới thiệu xử lý ảnh..................................................................................................22

2.2 Không gian màu .......................................................................................................23

2.3 Đặc trưng ..................................................................................................................24

2.3.1 Đặc trưng cơ bản ...............................................................................................24

2.3.2. Đặc trưng SIFT.................................................................................................26

2.3.3. Đặc trưng SURF ...............................................................................................27

2.3.4. Đặc trưng Local Library Patterns.....................................................................28

2.3.5. Không gian con.................................................................................................28

2.4. Bộ phân lớp..............................................................................................................28

2.5. Deep learning và mạng CNN ..................................................................................29

2.5.1. Deep learning là gì............................................................................................29

2.5.2. Deep Learning được ứng dụng như thế nào .....................................................31

2.5.3 Mạng CNN (Convolutional Neural Network) là gì...........................................32

2.6 Transfer learning.......................................................................................................35

2.6.1. Cơ sở lý thuyết..................................................................................................36

2.6.2. Lợi ích và hạn chế ............................................................................................38

CHƯƠNG 3. PHƯƠNG PHÁP ĐỀ XUẤT VÀ KẾT QUẢ THỰC NGHIỆM...........40

3.1 Cơ sở lựa chọn các phương pháp và phân tích tính khả thi của đề tài .....................40

3.1.1. Một số phương pháp nhận dạng AIFR hiện nay ..............................................40

3.1.2. Phân tích bộ dữ liệu để thực nghiệm................................................................42

3.1.3. Cơ sở lựa chọn các phương pháp và kỹ thuật hiện nay....................................47

3.1.4. Phân tích tính khả thi........................................................................................48

3.2. Phương pháp thực hiện............................................................................................50

3.2.1. Quy trình thực nghiệm......................................................................................50

3.2.2. Tiền xử lý ảnh - Image Pre-Processing ............................................................50

3.2.3. Phát hiện khuôn mặt - Facial Detection ...........................................................50

3.2.4. Rút trích các vùng đặc trưng trên khuôn mặt – Landmark Detection ..............51