tái tạo mô hình khuôn mặt từ các điểm đặc trưng

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

Nguyễn Đình Tƣ

TÁI TẠO MÔ HÌNH KHUÔN MẶT

TỪ CÁC ĐIỂM ĐẶC TRƢNG

KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành: Công nghệ Thông tin

HÀ NỘI - 2010

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

Nguyễn Đình Tƣ

TÁI TẠO MÔ HÌNH KHUÔN MẶT

TỪ CÁC ĐIỂM ĐẶC TRƢNG

KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành: Công nghệ Thông tin

Cán bộ hƣớng dẫn: PGS.TS Bùi Thế Duy

HÀ NỘI - 2010

Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư

i

LỜI CẢM ƠN

Lời đầu tiên em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo Bùi Thế Duy, thầy

đã hướng dẫn em tận tình trong suốt năm học vừa qua. Em xin cảm ơn cô giáo Ma Thị

Châu đã trao đổi, thảo luận và giúp đỡ em nhiều trong quá trình làm khóa luận này.

Em xin bày tỏ lòng biết ơn tới các thầy, cô giáo trong Khoa Công nghệ thông tin

– trường Đại học Công nghệ - ĐHQGHN. Các thầy cô đã dạy bảo, chỉ dẫn em và luôn

tạo điều kiện tốt nhất cho em học tập trong suốt quá trình học đại học, đặc biệt là trong

thời gian làm khóa luận tốt nghiệp.

Tôi xin cảm ơn các anh, chị khóa trên và các bạn K51 trường Đại học Công nghệ

đã chỉ dẫn cũng như cho những ý kiến đóng góp giá trị cho khóa luận này.

Cuối cùng con xin gửi tới Bà, Bố Mẹ, Cậu Mợ, Chú Dì cùng toàn thể Gia đình

lòng biết ơn và tình cảm yêu thương.

Hà Nội, ngày 20/05/2010

Nguyễn Đình Tư

Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư

ii

TÓM TẮT

Tái tạo mô hình khuôn mặt là việc khôi phục lại mô hình khuôn mặt từ hộp sọ

của người chết hoặc từ nhiều ảnh hai chiều đầu vào. Tái tạo mô hình khuôn mặt đã và

đang trở thành một vấn đề khoa học máy tính hiện đại. Vấn đề (bài toán) này được áp

dụng rộng rãi trong nhiều ứng dụng thực tiễn. Bài toán được áp dụng và có ý nghĩa lớn

trong việc xác định danh tính của người chết từ hộp sọ của họ trong các vụ án hình sự,

trong công cuộc tìm mộ liệt sĩ hay trong khảo cổ học. Bài toán còn được ứng dụng

trong tương tác người máy nhằm tạo ra những nhân vật ảo có khuôn mặt giống nhân

vật thật đồng thời có khả năng giao tiếp, biểu hiện cảm xúc và thái độ qua gương mặt

giống như con người.

Hiện nay ở Việt Nam, tái tạo mô hình khuôn mặt đang thu hút được sự quan tâm

đặc biệt. Các nhà nghiên cứu và viện pháp y quân đội đang bước đầu xây dựng một hệ

thống tái tạo khuôn mặt từ hộp sọ để ứng dụng vào việc xác định danh tính của các liệt

sĩ vô danh.

Trong khóa luận này, chúng tôi trình bày về một hệ thống tái tạo mô hình khuôn

mặt từ các điểm đặc trưng trên khuôn mặt. Hệ thống sử dụng mô hình đa mạng hàm cơ

sở bán kính, Radial Basis Function (RBF) để biến đổi một mô hình khuôn mặt nguồn

ra mô hình khuôn mặt đích. Mô hình đa mạng RBF được huấn luyện bởi tập các điểm

đặc trưng trên khuôn mặt nguồn và tập các điểm đặc trưng trên khuôn mặt đích tương

ứng. Hệ thống đã được thử nghiệm trên dữ liệu được tạo từ ảnh của những khuôn mặt

thật và cho kết quả có triển vọng. Bên cạnh đó chúng tôi đã xây dựng được một quy

trình tạo cơ sở dữ liệu phục vụ cho việc thẩm định hệ thống và có thể phục vụ cho các

nghiên cứu khác có cùng đối tượng nghiên cứu.

Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư

iii

MỤC LỤC

LỜI CẢM ƠN.........................................................................................................................................................I

TÓM TẮT .............................................................................................................................................................II

MỤC LỤC........................................................................................................................................................... III

DANH SÁCH HÌNH VẼ.....................................................................................................................................IV

DANH SÁCH BẢNG............................................................................................................................................ V

CHƢƠNG 1 GIỚI THIỆU................................................................................................................................... 1

CHƢƠNG 2 CÁC PHƢƠNG PHÁP TÁI TẠO KHUÔN MẶT....................................................................... 3

2.1 Giới thiệu chung về giải phẫu khuôn mặt...............................................................................3

2.1.1 Xương mặt và hộp sọ....................................................................................................................... 3

2.1.2 Giải phẫu cơ mặt.............................................................................................................................. 6

2.2 Các phương pháp biểu diễn mô hình khuôn mặt ....................................................................9

2.2.1 Tạo mô hình khuôn mặt với lớp da là lưới đa giác ........................................................................ 10

2.2.2 Tạo mô hình mặt người bằng bề mặt tham số................................................................................ 13

2.3 Các phương pháp tái tạo khuôn mặt.....................................................................................15

2.3.1 Các phương pháp hai chiều (2D)................................................................................................... 15

2.3.1.1 Phương pháp lồng sọ vào bức vẽ chân dung ........................................................................ 16

2.3.1.2 Phương pháp lồng sọ vào ảnh .............................................................................................. 16

2.3.2 Các phương pháp ba chiều (3D).................................................................................................... 20

2.3.2.1 Các phương pháp 3D truyền thống ...................................................................................... 20

2.3.2.2 Các phương pháp 3D sử dụng công nghệ thông tin ............................................................. 25

CHƢƠNG 3 HỆ THỐNG TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG .............. 31

3.1 Mô hình hệ thống ..................................................................................................................31

3.2 Chuẩn hóa dữ liệu.................................................................................................................34

3.2.1 Các phép biến đổi trong không gian ba chiều được sử dụng ......................................................... 34

3.2.2 Sử dụng các phép biến đổi để chuẩn hóa dữ liệu........................................................................... 40

3.3 Biến đổi khuôn mặt ...............................................................................................................41

3.3.1 Mô hình khuôn mặt nguồn............................................................................................................. 42

3.3.2 Biến đổi mô hình khuôn mặt ......................................................................................................... 42

3.4 Chỉnh sửa khuôn mặt ............................................................................................................44

3.4.1 Chỉnh sửa theo điểm...................................................................................................................... 44

3.4.2 Chỉnh sửa theo vùng ...................................................................................................................... 45

3.5 Thiết kế hệ thống...................................................................................................................49

CHƢƠNG 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ .............................................................................................. 54

4.1 Các bước tiến hành thực nghiệm..........................................................................................54

4.2 Kết quả và đánh giá..............................................................................................................55

CHƢƠNG 5 TỔNG KẾT.................................................................................................................................... 62

TÀI LIỆU THAM KHẢO................................................................................................................................... 63

Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư

iv

DANH SÁCH HÌNH VẼ

Hình 1. Cấu trúc xương đầu người.............................................................................................4

Hình 2. Các nhóm cơ mặt...........................................................................................................7

Hình 3. Các loại cơ mặt ..............................................................................................................8

Hình 4. Các phiên bản khác nhau của CANDIDE ................................................................... 11

Hình 5. Mô hình Greta..............................................................................................................12

Hình 6. Một bề mặt B-Spline ...................................................................................................14

Hình 7. Lồng sọ vào bức vẽ chân dung ....................................................................................16

Hình 8. Ảnh nửa mặt và nửa sọ ................................................................................................16

Hình 9. Lồng sọ vào ảnh trên hệ thống gương bán mạ tại viện Pháp y Quân Đội...................17

Hình 10. Tái tạo mặt dựa trên xương sọ mặt của nạn nhân......................................................23

Hình 11. Mô hình khuôn mặt với việc đắp đất sét lên hộp sọ, sử dụng ...................................25

Hình 12. Quá trình tái tạo khuôn mặt từ hộp sọ .......................................................................27

Hình 13. Ảnh chụp đầu của xác ướp ở Florence (inv. N. 8643) (a) và ảnh chụp cắt lớp xoắn ốc

(b) .............................................................................................................................................28

Hình 14. Dựng lại khuôn mặt của Pharaoh Tutankhamun. ......................................................29

Hình 15. Mô hình hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng........................33

Hình 16. Phép quay chiều dương, trục quay Ox, hướng nhìn là hướng âm trục Ox ................35

Hình 17. Phép quay quanh một trục bất kì ...............................................................................37

Hình 18. Quay vec-tơ �� về trục Oz ..........................................................................................38

Hình 19. Cách tính góc α..........................................................................................................39

Hình 20. Chọn 4 điểm mốc để chuẩn hóa dữ liệu qua các phép biến đổi 3D...........................40

Hình 21. Mô-đun chỉnh sửa khuôn mặt theo từng điểm đặc trưng...........................................44

Hình 22. Mô-đun chỉnh sửa khuôn mặt theo vùng...................................................................45

Hình 23. Chỉnh sửa mắt to nhỏ.................................................................................................46

Hình 24. Chỉnh sửa mũi dài ngắn.............................................................................................46

Hình 25. Chỉnh độ rộng cánh mũi ............................................................................................47

Hình 26. Chỉnh sửa miệng nhỏ, rộng........................................................................................47

Hình 27. Chỉnh sửa cằm dài, ngắn............................................................................................48

Hình 28. Chỉnh sửa tai to, nhỏ..................................................................................................48

Hình 29. Biểu đồ UML thể hiện thết kế phần điều khiển, hiển thị khuôn mặt.........................49

Hình 30. Biểu đồ UML thể hiện thiết kế phần điều khiển các thao tác biến đổi mô hình khuôn

mặt ............................................................................................................................................51

Hình 31. Giao diện của hệ thống tái tạo và chỉnh sửa mô hình khuôn mặt..............................53

Hình 32. Các điểm đặc trưng được chọn để thử nghiệm..........................................................55

Hình 33. Kết quả tái tạo khuôn mặt của người thứ nhất...........................................................56

Hình 34. Điều chỉnh cánh mũi hẹp hơn....................................................................................57

Hình 35. Điều chỉnh miệng nhỏ hơn ........................................................................................57

Hình 36. Kết quả tái tạo khuôn mặt của người thứ hai.............................................................58

Hình 37. Điều chỉnh cho mắt nhỏ.............................................................................................59

Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư

v

DANH SÁCH BẢNG

Bảng 1. Chỉ số sọ của một số dân tộc khác nhau......................................................................19

Bảng 2. Các thông số độ dày mô mềm (mm) cho người Mỹ da đen........................................24

Bảng 3. Bảng đánh giá độ chính xác của các vùng trên khuôn mặt tái tạo được .....................60