Phân loại ảnh mây/bầu trời sử dụng phương pháp rút gọn histogram dựa trên trích xuất đặc trưng LTP

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

——————————————

Dương Thị Hồng Hà

PHÂN LOẠI ẢNH MÂY/BẦU TRỜI

SỬ DỤNG PHƯƠNG PHÁP RÚT GỌN HISTOGRAM

DỰA TRÊN TRÍCH XUẤT ĐẶC TRƯNG LTP

LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH

TP. Hồ Chí Minh, Năm 2020

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

——————————————

Dương Thị Hồng Hà

PHÂN LOẠI ẢNH MÂY/BẦU TRỜI

SỬ DỤNG PHƯƠNG PHÁP RÚT GỌN HISTOGRAM

DỰA TRÊN TRÍCH XUẤT ĐẶC TRƯNG LTP

Chuyên ngành : Khoa học máy tính

Mã số chuyên ngành : 60 48 01 01

LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học:

TS. Trương Hoàng Vinh

TP. Hồ Chí Minh, năm 2020

LỜI CAM ĐOAN

Tôi cam đoan rằng luận văn “Phân loại ảnh mây/bầu trời sử dụng phương

pháp rút gọn histogram dựa trên trích xuất đặc trưng LTP” là bài nghiên cứu

của chính tôi.

Ngoại trừ những tài liệu tham khảo được trích dẫn trong luận văn này,

tôi cam đoan rằng toàn phần hay những phần nhỏ của luận văn này chưa từng

được sử dụng để nhận bằng thạc sĩ ở những nơi khác.

Không có sản phẩm/nghiên cứu nào của người khác được sử dụng trong

luận văn này mà không được trích dẫn theo đúng qui định.

Luận văn này chưa bao giờ được nộp để nhận bất kỳ bằng cấp nào tại

các trường đại học hoặc cơ sở đào tạo khác.

Thành phố Hồ Chí Minh, năm 2020

Dương Thị Hồng Hà

i

LỜI CẢM ƠN

Trong thời gian học tập, nghiên cứu để hoàn thiện luận văn, tôi đã nhận

được sự hướng dẫn, giúp đỡ rất tận tình của quý thầy cô, bạn bè và đồng nghiệp.

Tôi xin gửi lời cảm ơn sâu sắc đến thầy Tiến sĩ Trương Hoàng Vinh, thầy

đã rất nhiệt tình hướng dẫn và hỗ trợ tôi tận tình trong suốt thời gian nghiên cứu

và thực hiện luận văn. Tôi đã rất may mắn khi được thầy chấp nhận hướng dẫn,

một lần nữa xin gửi lời cảm ơn sâu sắc đến thầy Tiến sĩ Trương Hoàng Vinh.

Ngoài ra tôi xin cảm ơn quý thầy cô lãnh đạo, giảng viên, chuyên viên,

thư viện trường Đại học Mở Thành phố Hồ Chí Minh đã cung cấp những kiến

thức, tài liệu quý báu cũng như hỗ trợ cho tôi trong suốt thời gian học tập tại

trường.

Tôi xin chân thành cảm ơn đến các anh chị trong nhóm cùng thầy hướng

dẫn đã cùng thảo luận trao đổi, hướng dẫn, hỗ trợ tôi, cùng những góp ý quý

báu để tôi có thể hoàn thành luận văn này tốt hơn.

Cuối cùng tôi xin gửi lời cảm ơn hơn đến những người thân yêu trong gia

đình đã luôn ở bên cạnh, hỗ trợ, động viên và tạo điều kiện thuận lợi nhất để tôi

hoàn thành luận văn cũng như chương trình học tại trường.

ii

TÓM TẮT

Thời tiết của bất kỳ khu vực nào trên thế giới đều liên quan trực tiếp

đến mây. Tất cả các loại mưa được gây ra bởi những đám mây. Mây đóng vai trò

quan trọng trong dự báo và cảnh báo thời tiết. Thông qua việc quan sát các đám

mây và phân loại chúng, chúng ta có thể dự đoán những thay đổi và tình hình

thời tiết. Quan sát đám mây một cách chính xác và nhất quán, chuẩn hóa toàn

cầu, vẫn luôn là một nhu cầu quan trọng.

Do sự thiếu hụt của sóng vô tuyến và quan sát vệ tinh trên không gian

dẫn đến việc phải quan sát bầu trời bằng hình ảnh, từ đó số lượng hình ảnh về

bầu trời/đám mây được chụp từ mặt đất ngày càng phong phú, phổ biến. Những

quan sát đám mây từ mặt đất đã tạo ra một bộ dữ liệu khổng lồ về hình ảnh

đám mây/bầu trời có giá trị trong nhiều thập kỷ. Các máy ảnh trên toàn bộ mặt

đất đã mở ra những cơ hội mới để theo dõi bầu khí quyển trái đất. Những máy

ảnh này là một bổ sung quan trọng cho hình ảnh vệ tinh bằng cách cung cấp cho

các nhà địa chất dữ liệu rẻ, nhanh và tập trung hơn.

Vấn đề cơ bản nhất trong hình ảnh đám mây là phát hiện thành công các

đám mây có trong các bức hình chụp bầu trời/đám mây. Việc phát hiện các đám

mây từ hình ảnh bầu trời là một thách thức vì các đám mây không có bất kỳ cấu

trúc, đường viền, hình dạng hoặc kích thước nhất định. Hình ảnh đám mây, như

một loại cấu trúc vân tự nhiên, thường sở hữu các biến thể nội hàm rất lớn do

sự biến đổi lớn về độ chiếu sáng, khí hậu và sự biến dạng. Do đó, nó đòi hỏi một

thuật toán mạnh mẽ hơn để trích xuất thông tin phân biệt của hình ảnh đám

mây.

Trong những năm gần đây, một số nghiên cứu đã tiếp cận các kỹ thuật

khai thác dữ liệu để nhận dạng, phân loại các đám mây dựa trên khối lượng, hình

dạng, độ dày, chiều cao và độ che phủ của chúng. Màu sắc đã được sử dụng làm

đặc trưng nổi bậc cho phân loại bầu trời/đám mây. Nhiều kỹ thuật dựa trên các

mô hình màu và bước sóng quang phổ khác nhau đã được đề xuất để giải quyết

iii

vấn đề này.

Vì hình ảnh đám mây, như một loại cấu trúc vân tự nhiên, thường sở hữu

các biến thể nội hàm rất lớn do sự biến đổi lớn về độ chiếu sáng, khí hậu và sự

biến dạng và do đó đặc trưng Local Binary Patterns (LBP) và các biến thể của

nó đã được đề xuất làm phương pháp trích xuất đặc trưng để phân loại những

hình ảnh cấu trúc vân tự nhiên. Thuộc tính của LBP là tính quay bất biến, độ

phức tạp tính toán thấp và khả năng chống lại sự thay đổi độ sáng đơn điệu. Tuy

nhiên, nhược điểm của LBP: tạo ra dữ liệu nhị phân rất nhạy cảm với nhiễu, hoạt

động không tốt trên các vùng hình ảnh “phẳng” vì nó dựa trên sự khác biệt về

cường độ.

Để khắc phục nhược điểm của đặc trưng LBP, luận văn đề xuất sử dụng

đặc trưng Local Ternary Patterns (LTP). Bên cạnh đó, luận văn đề xuất kết hợp

đặc trưng màu sắc với đặc trưng LBP và đặc trưng LTP để phân loại hình ảnh

đám mây/bầu trời. Nhưng vì đặc trưng LTP sẽ làm gia tăng gấp đôi số lượng

histogram, cho nên luận văn đề xuất sử dụng kỹ thuật Intra-Class Similarity

(ICS) – là kỹ thuật lựa chọn histogram – với mục đích giảm số lượng histogram

bằng cách lựa ra những histogram có giá trị nhất dùng để phân loại hình ảnh

đám mây/bầu trời.

Với bộ dữ liệu thực nghiệm, luận văn sử dụng bộ dữ liệu SWIMCAT,

ngoài ra luận văn thu thập, hiệu chỉnh một bộ dữ liệu mới về hình ảnh mây/bầu

trời dựa trên ý tưởng của bộ dữ liệu SWIMCAT với số hình ảnh nhiều hơn, loại

nhiều hơn.

Nhìn tổng quát, việc đề xuất việc tích hợp đặc trưng màu sắc với đặc

trưng LBP và đặc trưng LTP đã làm kết quả phân loại hình ảnh đám mây/bầu

trời có độ chính xác tốt hơn với những nghiên cứu trước đây. Tiến hành thử

nghiệm kết hợp đặc trưng LBP với đặc trưng LTP và sử dụng thêm kỹ thuật ICS

để lựa chọn những histogram tiềm năng làm cho kết quả phân lại tốt hơn với số

đặc trưng ít hơn.

iv

ABSTRACT

The weather of any part of the world is directly related to clouds. All types

of rain are caused by clouds. Clouds play a major role in weather forecasting and

warning. We can predict the weather by observing and distinguishing the clouds.

This is an important task to predict weather accurately by a global norm.

Due to the lack of radio waves and satellite observations in space, the

number of sky/cloud images taken from the ground is increasingly. For a long

decade, this process has created a big data of cloud/sky images. Cameras have

been opened new opportunities for monitoring the earth’s atmosphere. This is an

added value for satellite imagery by providing geologists a cheaper, faster, and

more focused data.

The most fundamental problem of cloud imaging is the successful detec￾tion of clouds patterns in sky/cloud images. It is a challenging issue because

clouds do not have any certain structure, border, shape, or size. Cloud imagery,

as a kind of natural striated structure, often possesses very large intrinsic varia￾tions due to large variations in illumination, climate, and distortion. Therefore, it

requires a more efficient algorithm to extract the discriminative information from

cloud images.

In recent years, several works have been introduced to identify and classify

clouds based on their mass, shape, thickness, height, and coverage. Among them,

color has been used as a prominent feature for the sky/cloud classification. Various

techniques based on different color patterns and spectral wavelengths have been

proposed to solve this problem.

Cloud imagery is a kind of natural textured structure and possesses a

very large intrinsic variations due to large variations in illumination, climate,

and distortion. The Local Binary Patterns (LBP) and its variants have been

proposed as the feature extraction method for classifying natural texture images.

LBP attributes are resistance to monotonic brightness changes and have a low

complexity. However, the LBP is very sensitive to noise, and does not work well

on "flat" textured image areas because it is based on difference of intensity.

To overcome the limit of LBP features, this thesis proposes to apply Local

Ternary Patterns (LTP). In addition, we combine color, LBP and LTP features

v

to classify cloud/sky images. Since the LTP features lie in a higher dimensional

space, this thesis proposes to apply Intra-Class Similarity (ICS) score which is a

histogram selection technique to reduce the number of histograms. This process

allows choosing the most valuable histograms for characterizing cloud/sky images.

The proposed approach is evaluated on the benchmark cloud/sky images

dataset, namely SWIMCAT. Additionally, we collected and created a new dataset

which can be considered as an extension of SWIMCAT database. It is called

Cloud-ImVN 1.0 have free access for public use. The Cloud-ImVN 1.0 has more

images and number of classes than SWIMCAT.

In general, the proposed approach enhanced the accuracy of cloud/sky

image classification by comparing with the results from the state-of-the-art. The

selection process of the training stage allows selecting potential histograms with

a smaller number of features.

vi

Mục lục

Lời cam đoan i

Lời cảm ơn ii

Tóm tắt iii

Mục lục vii

Danh mục hình và đồ thị x

Danh mục bảng xi

Danh mục ký hiệu xii

Danh mục viết tắt xiii

Danh mục thuật ngữ xiv

Chương 1: Tổng quan về nhận dạng ảnh mây/bầu trời 1

1.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Thách thức khi nhận dạng ảnh mây/bầu trời . . . . . . . . . . . . 5

1.3 Tình hình nghiên cứu nhận dạng ảnh mây/bầu trời . . . . . . . . 7

1.4 Mục tiêu nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.5 Đóng góp của luận văn . . . . . . . . . . . . . . . . . . . . . . . . 10

1.6 Cấu trúc luận văn . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.7 Phương pháp nghiên cứu . . . . . . . . . . . . . . . . . . . . . . . 10

1.8 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Chương 2: Cơ sở lý thuyết 12

2.1 Tổng quan về ảnh màu . . . . . . . . . . . . . . . . . . . . . . . . 12

vii

2.1.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.1.2 Không gian màu . . . . . . . . . . . . . . . . . . . . . . . 13

2.2 Tổng quan về cross-validation . . . . . . . . . . . . . . . . . . . . 18

2.2.1 Hold-Out Cross-Validation . . . . . . . . . . . . . . . . . . 18

2.2.2 k-fold cross-validation . . . . . . . . . . . . . . . . . . . . 20

2.2.3 Leave-One-Out Cross-Validation . . . . . . . . . . . . . . . 21

2.3 Phân tích hình ảnh . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.3.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.3.2 Đặc trưng màu . . . . . . . . . . . . . . . . . . . . . . . . 24

2.3.3 Đặc trưng cấu trúc vân . . . . . . . . . . . . . . . . . . . . 24

2.4 Tổng quan về trích xuất đặc trưng . . . . . . . . . . . . . . . . . 26

2.4.1 Trích xuất đặc trưng . . . . . . . . . . . . . . . . . . . . . 26

2.4.2 Trích xuất đặc trưng LBP . . . . . . . . . . . . . . . . . . 27

2.4.3 Trích xuất đặc trưng LTP . . . . . . . . . . . . . . . . . . 28

2.5 Tổng quan về lựa chọn histogram . . . . . . . . . . . . . . . . . . 29

2.5.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.5.2 Phương pháp lựa chọn histogram . . . . . . . . . . . . . . 29

2.5.3 Kỹ thuật ICS . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.6 Tổng quan về phân loại . . . . . . . . . . . . . . . . . . . . . . . . 32

2.7 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Chương 3: Ứng dụng kỹ thuật trích xuất đặc trưng LTP, thuật

toán lựa chọn histogram để phân loại ảnh màu mây/bầu

trời 35

3.1 Phân tích không gian màu để nhận diện đám mây . . . . . . . . . 35

3.2 Phân loại ảnh mây/bầu trời dựa trên cấu trúc vân . . . . . . . . . 37

3.2.1 Phân loại mây . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.2.2 Đặc trưng đám mây . . . . . . . . . . . . . . . . . . . . . 39

3.3 Bộ dữ liệu thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . 41

3.4 Quy trình thực hiện phân loại ảnh mây/bầu trời . . . . . . . . . . 43

3.5 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . 46

3.5.1 Kết quả trên bộ dữ liệu SWIMCAT . . . . . . . . . . . . . 46

3.5.2 Kết quả trên bộ dữ liệu Cloud-ImVN 1.0 . . . . . . . . . . 63

3.6 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

viii

Chương 4: Kết luận 80

4.1 Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

4.2 Công việc tương lai . . . . . . . . . . . . . . . . . . . . . . . . . . 81

Phụ lục 2 99

ix

DANH MỤC HÌNH VÀ ĐỒ THỊ

1.1 Các loại đám mây theo WMO1

. . . . . . . . . . . . . . . . . . . . 2

1.2 Hình ảnh mây bao phủ trái đất được quan sát từ vệ tinh . . . . . 3

1.3 Hình ảnh mây được chụp từ mặt đất . . . . . . . . . . . . . . . . 4

1.4 Hình đám mây không có hình dạng xác định . . . . . . . . . . . . 6

2.1 Không gian màu RGB. . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2 Hệ tọa độ của không gian màu RGB . . . . . . . . . . . . . . . . 14

2.3 Chuyển đổi không gian màu . . . . . . . . . . . . . . . . . . . . . 16

2.4 Mô tả phương pháp Hold-Out Cross-Validation . . . . . . . . . . 19

2.5 Mô tả phương pháp k-fold cross-validation . . . . . . . . . . . . . 20

2.6 Mô tả phương pháp Leave-One-Out cross-validation. . . . . . . . 22

2.7 Mô tả cách mã hóa của toán tử LBP. . . . . . . . . . . . . . . . . 28

2.8 Mô tả cách mã hóa của toán tử LTP. . . . . . . . . . . . . . . . . 29

2.9 Hình minh họa cách tính giao điểm histogram . . . . . . . . . . . 31

3.1 5 loại ảnh mây/bầu trời trong SWIMCAT . . . . . . . . . . . . . 38

3.2 6 loại ảnh mây/bầu trời trong bộ dữ liệu Cloud-ImVN 1.0 . . . . 43

3.3 Lưu đồ quy trình phân lớp hình ảnh . . . . . . . . . . . . . . . . 45

3.4 Biểu đồ của bộ SWIMCAT không dùng ICS . . . . . . . . . . . . 52

3.5 Biểu đồ của bộ SWIMCAT sử dụng ICS . . . . . . . . . . . . . . 60

3.6 Biểu đồ của bộ Cloud-ImVN 1.0 không dùng ICS . . . . . . . . . 68

3.7 Biểu đồ của bộ Cloud-ImVN 1.0 sử dụng ICS . . . . . . . . . . . 76

x