Gán Nhãn Ảnh Tự Động Sử Dụng Kết Hợp Nhiều Nguồn Thông Tin

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN THỊ DƢƠNG

GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP

NHIỀU NGUỒN THÔNG TIN

LUẬN VĂN THẠC SĨ ĐIỆN TỬ - VIỄN THÔNG

HÀ NỘI - 2017

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN THỊ DƢƠNG

GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP

NHIỀU NGUỒN THÔNG TIN

Ngành: Điện tử truyền thông

Chuyên ngành:Kỹ thuật điện tử

Mã số: 60530203

LUẬN VĂN THẠC SĨ ĐIỆN TỬ- VIỄN THÔNG

NGƢỜI HƢỚNG DẪN KHOA HỌC: TS. LÊ VŨ HÀ

HÀ NỘI - 2017

LỜI CẢM ƠN

Đầu tiên tôi xin chân thành cảm ơn đến Ban Giám Hiệu và tập thể thầy

cô trong khoa Điện Tử - Viễn Thông, Trƣờng Đại Học Công Nghệ , Đại Học

Quốc Gia Hà Nội đã tổ chức giảng dạy và tạo môi trƣờng thuận lợi cho tôi

đƣợc học tập và nghiên cứu chuyên sâu về lĩnh vực Điện tử viễn thông.

Xin chân thành cảm ơn các anh chị đồng nghiệp trong cơ quan công tác

đã tạo điều kiện thuận lợi, đóng góp những ý kiến quý báu. Xin cảm ơn bạn

bè đã chỉ bảo tôi trong suốt quá trình học tập và hoàn thành luận văn này.

Đặc biệt xin gửi lời cảm ơn sâu sắc đến Thầy hƣớng dẫn khoa học TS.

Lê Vũ Hà và TS. Nguyễn Hồng Thịnh đã tận tình hƣớng dẫn, chỉ bảo tôi

trong suốt quá trình nghiên cứu và thực hiện luận văn này.

Cuối cùng, tôi xin biết ơn gia đình đã tạo điều kiện thuận lợi cho tôi

yên tâm trong suốt thời gian học tập cũng nhƣ thời gian nghiên cứu và hoàn

thành luận văn cao học.

Nghiên cứu này đƣợc tài trợ bởi trung tâm nghiên cứu Châu Á, Đại học

Quốc Gia Hà Nội trong đề tài mã số CA.15.10A

Hà Nội, ngày 05 tháng 9 năm 2017

Tác giả luận văn

Nguyễn Thị Dƣơng

LỜI CAM ĐOAN

Tôi xin cam đoan những nội dung trong luận văn này là do tôi thực

hiện dƣới sự hƣớng dẫn của TS. Lê Vũ Hà.

Các số liệu, kết quả trình bày trong luận văn là trung thực. Những tƣ

liệu đƣợc sử dụng trong luận văn có nguồn gốc và trích dẫn rõ ràng, đầy đủ.

Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá tôi

xin chịu hoàn toàn trách nhiệm.

Tác giả luận văn

Nguyễn Thị Dƣơng

MỤC LỤC

PHẦN MỞ ĐẦU............................................................................................... 1

1. Tính cấp thiết của luận văn ........................................................................... 1

2. Mục tiêu của luận văn ................................................................................... 2

3. Các đóng góp của luận văn ........................................................................... 2

4. Bố cục của luận văn ...................................................................................... 3

Chƣơng 1. TỔNG QUAN VỀ PHƢƠNG PHÁP GÁN NHÃN TỰ ĐỘNG

CHO ẢNH......................................................................................................... 4

1.1. Tổng quan................................................................................................... 4

1.2. Các nghiên cứu trong lĩnh vực gần đây ..................................................... 7

1.3. Bài toán phân loại và gán nhãn ảnh tự động.............................................. 8

1.4. Biểu diễn ảnh dƣới dạng các vector đặc trƣng (Low level features)...... 10

1.4.1. Tại sao phải biểu diễn ảnh ....................................................................................10

1.4.2. Đặc trƣng của ảnh.....................................................................................................11

1.4.2.1. Đặc trƣng toàn cục....................................................................... 12

1.4.2.2. Đặc trƣng cục bộ.......................................................................... 12

1.4.3. Các vector đặc trƣng................................................................................................12

1.4.3.1. Lƣợc đồ màu CH.......................................................................... 12

1.4.3.2. Đặc trƣng tƣơng quan màu CORR .............................................. 13

1.4.3.3. Lƣợc đồ hệ số góc EDH............................................................... 14

1.4.3.4. Cấu trúc sóng con WT ................................................................. 15

1.4.3.5. Mô-men màu CM55..................................................................... 16

1.4.3.6. Phƣơng pháp túi từ điển BOW .................................................... 16

1.5. Các nguồn thông tin phụ trợ..................................................................... 18

1.6. Phƣơng pháp huấn luyện dùng để phân loại và gán nhãn........................ 20

1.6.1. Phƣơng pháp K - láng giềng gần nhất (K-Nearest Neighbors)..............20

1.6.2. Phƣơng pháp SVM - Support Vector Machine ............................................21

1.6.3. Đánh giá .......................................................................................................................23

Chƣơng 2. THUẬT TOÁN GÁN NHÃN ẢNH CHỈ SỬ DỤNG CÁC

VECTOR ĐẶC TRƢNG ................................................................................ 25

2.1. Ảnh và chú giải (Tags)............................................................................. 25

2.2. Giới thiệu cách tạo ra 81 nhãn trong tập dữ liệu NUS-WIDE................. 26

2.3. Biểu diễn ảnh dƣới dạng vector đặc trƣng ............................................... 27

2.4. Thuật toán K-NN...................................................................................... 29

2.4.1. Phân tích dữ liệu thực nghiệm với K-NN.......................................................29

2.4.2. Kết quả recall của K-NN......................................................................................31

2.5. Thuật toán SVM...................................................................................... 32

2.5.1. Phân tích dữ liệu thực nghiệm với SVM.........................................................32

2.5.2. Kết quả recall của SVM.........................................................................................33

Chƣơng 3: THUẬT TOÁN SỬ DỤNG KẾT HỢP THÔNG TIN PHỤ TRỢ35

3.1. Sử dụng thông tin chú giải ....................................................................... 35

3.1.1. Phân tích mối quan hệ giữa chú giải và nhãn................................................35

3.1.2. Thực nghiệm sử dụng thông tin chú giải của ngƣời dùng trên tập kiểm

thử................................................................................................................................................37

3.2. Sử dụng vector đặc trƣng và chú giải....................................................... 38

3.2.1. Dựa trên thông tin chú giải của ảnh kiểm thử...............................................38

3.2.2. Dựa trên thông tin chú giải của ảnh huấn luyện...........................................39

KẾT LUẬN..................................................................................................... 42

TÀI LIỆU THAM KHẢO............................................................................... 44

PHỤ LỤC :

DANH MỤC HÌNH ẢNH

Hình 1. 1 Một hệ thống CBIR điển hình [Manal and Nordin 2009]. ............... 4

Hình 1. 2 Sơ đồ khối của một khung công việc gán nhãn ảnh tự động. ........... 5

Hình 1. 3 Phƣơng pháp tổng quát cách thức thực hiện bài toán gán nhãn ảnh

sử dụng các nguồn thông tin khác nhau [Li et al. 2016]................................... 7

Hình 1. 4 Ví dụ tìm kiếm ảnh với từ khóa “mountain” trên Flickr.com........... 9

Hình 1. 5 Ví dụ minh họa không thể dùng lƣợc đồ màu để phân biệt con bò và

con ngựa trên thảo nguyên .............................................................................. 11

Hình 1. 6 Minh họa hai ảnh giống nhau nhƣng góc nhìn khác nhau .............. 11

Hình 1. 7 Minh họa hai ảnh có đặc trƣng tƣơng quan màu giống nhau ......... 14

Hình 1. 8 Minh họa phƣơng pháp túi từ điển [Fei et al. 2005]...................... 17

Hình 1. 9 Túi từ - miêu tả đối tƣợng với biểu đồ của các từ xuất hiện[Fei et al.

2005]................................................................................................................ 18

Hình 1. 10 Ví dụ về ảnh và các tag ngƣời dùng gán cho ảnh ......................... 18

Hình 1. 11 Thông tin về các thông số của máy ảnh và EXIF của ảnh............ 19

Hình 1. 12 Ví dụ phân lớp cho X bằng thuật toán K-NN ............................... 21

Hình 1. 13 Ví dụ phân lớp giữa hai tập hợp bóng Xanh - Đỏ sử dụng SVM. 23

Hình 2. 1 81 nhãn trong tập dữ liệu của NUS-WIDE..................................... 28

Hình 2. 2 Số hình ảnh có liên quan đến 81 nhãn của NUS-WIDE................. 29

Hình 2. 3 Sơ đồ tóm tắt các bƣớc thực hiện quá trình phân loại và gán nhãn

cho ảnh kiểm thử sử dụng K-NN .................................................................... 30

Hình 2. 4 Biểu đồ so sánh kết quả recall của 6 đặc trƣng và kết hợp các đặc

trƣng với K = 50 và số nhãn gán cho ảnh (N) tăng dần từ 1 đến 10............... 31

Hình 2. 5 Sơ đồ tóm tắt các bƣớc thực hiện quá trình phân loại và gán nhãn

cho ảnh kiểm thử sử dụng SVM ..................................................................... 33

Hình 2. 6 Biểu đồ so sánh kết quả recall của 6 đặc trƣng sử dụng thuật toán

SVM. ............................................................................................................... 34