Nghiên cứu và xây dựng hệ thống đánh giá cảm xúc khách hàng thông qua khuôn mặt :Hội nghị khoa học trẻ lần 4

Hội nghị Khoa học trẻ lần 4 năm 2022 (YSC2022) – IUH

Ngày 14/10/2022 ISBN: 978-604-920-155-4

240  2022 Trường Đại học Công nghiệp Thành phố Hồ Chí Minh

YSC4F.221

NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG ĐÁNH GIÁ CẢM XÚC

KHÁCH HÀNG THÔNG QUA KHUÔN MẶT

NGUYỄN VĂN DUY, NGUYỄN GIA BẢO, TRẦN THANH BÌNH

Khoa Công nghệ Điện tử, Trường Đại học Công nghiệp Thành phố Hồ Chí Minh

[email protected], [email protected], [email protected]

Tóm tắt. Biểu hiện trong giao tiếp hàng ngày của mỗi người là một phần rất quan trọng trong việc truyền

tải thông tin, cảm xúc, cảm nhận hay cụ thể là sự thành công, hiệu quả của buổi giao tiếp đó hoặc đơn giản

chỉ là cảm xúc của khách hàng đối với dịch vụ của nhà hàng, khách sạn… Trong bài báo này, nhóm tác giả

phân tích các phương pháp nhận dạng cảm xúc khác nhau và kết quả của các biểu hiện ấy. Chúng tôi đã

chọn phương pháp học sâu sử dụng mạng nơ-ron tích chập kết hợp với thuật toán “Haar Cascade” để phát

hiện cảm xúc khuôn mặt và phân loại. Tập dữ liệu phổ biến về nhận dạng mặt người FER-2013 được dùng

trong quá trình thực nghiệm. Nhóm tác giả đã nghiên cứu và thiết kế “Hệ thống đánh giá tự động thông qua

cảm xúc trên khuôn mặt” sẽ cho biết cảm xúc của đối tượng đang được nhận diện, thống kê về ứng dụng di

động. Từ đó có thể kế thừa và phát triển tuỳ theo lĩnh vực, dự án yêu cầu.

Từ khóa. Học sâu, nhận dạng cảm xúc, cảm xúc khuôn mặt, mạng nơron tích chập.

RESEARCH AND DESIGN AUTOMATIC ASSESSMENT SYSTEM THROUGH

EMOTION ON FACES

Abstract. Individual expression in daily communication is a very important part in conveying information,

feelings or specifically the success and effectiveness of that communication or simply facial expression. In

this paper, the authors analyze different methods of emotion recognition and the results of our research in

facial expressions. We have chosen a deep learning method using convolutional neural network combined

with “Haar Cascade” algorithm for facial emotion detection and classification. The popular dataset on

human face recognition FER-2013 is used in the experimental process. The authors have researched and

designed the "Automatic evaluation system through facial emotions" that will analyze and give the results

of the emotions of the object being recognized, and the of the mobile application of this system. From there,

it is possible to inherit and develop according to the required fields and projects.

Keywords. Deep learning, emotion recognition, facial emotion, convolutional neural networks.

1. GIỚI THIỆU

Mehrabian, một người nổi tiếng nhà tâm lý học người Mỹ, cho rằng trong giao tiếp hàng ngày của con

người, thông tin được truyền tải bằng ngôn ngữ và giọng nói lần lượt chiếm 7% và 38% tổng lượng thông

tin, trong khi thông tin được truyền tải bằng nét mặt chiếm 55%, ngoài ra còn có 6 biểu hiện cơ bản của con

người quyết định tính hiệu quả và sự thành công của buổi giao tiếp đó. Vì vậy, biểu hiện trong giao tiếp

hàng ngày của mỗi chúng ta là một phần rất quan trọng trong việc truyền tải thông tin. Đó là quá trình phức

tạp và quan trọng, thể hiện cảm xúc, cảm nhận, tâm tư mà ta muốn gửi đến đối phương trong các buổi giao

tiếp. Xử lý dữ liệu cảm xúc của con người đã và đang trở thành xu thế ở Việt Nam nói riêng và trên toàn

thế giới nói chung với các ứng dụng như: rô bốt an ninh, rô bốt phục vụ, trò chơi đồ họa tương tác,… Vì lý

do này, rất nhiều nghiên cứu đã được thực hiện với sự tiến bộ của khoa học công nghệ, chúng ta hoàn toàn

có thể biết được chính xác cảm xúc của người sử dụng dựa trên thời gian thực, để kịp thời điều chỉnh sản

phẩm sao cho phù hợp với thực tế khách quan.