Nhận diện cây thuốc Việt Nam bằng phương pháp thị giác máy tính

1

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

--------∞0∞--------

NGUYỄN QUỐC TRUNG

NHẬN DIỆN CÂY THUỐC VIỆT NAM

BẰNG PHƯƠNG PHÁP THỊ GIÁC MÁY TÍNH

LUẬN VĂN THẠC SĨ

KHOA HỌC MÁY TÍNH

TP. HỒ CHÍ MINH, NĂM 2020

2

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

--------∞0∞--------

NGUYỄN QUỐC TRUNG

NHẬN DIỆN CÂY THUỐC VIỆT NAM

BẰNG PHƯƠNG PHÁP THỊ GIÁC MÁY TÍNH

Chuyên ngành: Khoa học máy tính

Mã số chuyên ngành: 60 48 01 01

LUẬN VĂN THẠC SĨ

KHOA HỌC MÁY TÍNH

Giảng viên hướng dẫn: TS. TRƯƠNG HOÀNG VINH

TP. HỒ CHÍ MINH, NĂM 2020

TRƯỜNG ĐẠI HỌC MỞ

THÀNH PHỐ HỒ CHÍ MINH

KHOA ĐÀO TẠO SAU ĐẠI HỌC

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc

GIẤY XÁC NHẬN

Tôi tên là: Nguyễn Quốc Trung

Ngày sinh: 07/07/1984 Nơi sinh: An Giang

Chuyên ngành: Khoa Học Máy Tính Mã học viên: 1884801010009

Tôi đồng ý cung cấp toàn văn thông tin luận văn tốt nghiệp hợp lệ về bản quyền cho

Thư viện trường đại học Mở Thành phố Hồ Chí Minh. Thư viện trường đại học Mở

Thành phố Hồ Chí Minh sẽ kết nối toàn văn thông tin luận văn tốt nghiệp vào hệ

thống thông tin khoa học của Sở Khoa học và Công nghệ Thành phố Hồ Chí Minh.

Ký tên

Nguyễn Quốc Trung

LỜI CAM ĐOAN

Tôi cam đoan rằng luận văn “Nhận Diện Cây Thuốc Việt Nam Bằng

Phương Pháp Thị Giác Máy Tính” là bài nghiên cứu của chính tôi.

Ngoại trừ những tài liệu tham khảo được trích dẫn trong luận văn này, tôi

cam đoan rằng toàn phần hay những phần nhỏ của luận văn này chưa từng

được sử dụng để nhận bằng thạc sĩ ở những nơi khác.

Không có sản phẩm/nghiên cứu nào của người khác được sử dụng trong

luận văn này mà không được trích dẫn theo đúng qui định.

Luận văn này chưa bao giờ được nộp để nhận bất kỳ bằng cấp nào tại các

trường đại học hoặc cơ sở đào tạo khác.

Thành phố Hồ Chí Minh, năm 2020

Nguyễn Quốc Trung

i

LỜI CẢM ƠN

Trong thời gian học tập, nghiên cứu để hoàn thiện luận văn, tôi đã nhận

được sự hướng dẫn, giúp đỡ rất tận tình của quý thầy cô, bạn bè và đồng

nghiệp.

Tôi xin gửi lời cảm ơn sâu sắc đến TS. Trương Hoàng Vinh, thầy đã rất

nhiệt tình hướng dẫn và hỗ trợ tôi tận tình trong suốt thời gian nghiên cứu

và thực hiện luận văn. Tôi đã rất may mắn khi được thầy chấp nhận hướng

dẫn, một lần nữa xin gửi lời cảm ơn sâu sắc đến thầy, TS. Trương Hoàng

Vinh.

Ngoài ra tôi xin cảm ơn quý thầy cô lãnh đạo, giảng viên, chuyên viên, thư

viện trường Đại Học Mở TP. Hồ Chí Minh đã cung cấp những kiến thức, tài

liệu quý báu cũng như hỗ trợ cho tôi trong suốt thời gian học tập tại trường.

Tôi xin chân thành cảm ơn đến các anh chị trong Trung tâm Sâm và Dược

liệu TPHCM và ban lãnh đạo Vườn thảo dược tại Phú Thọ đã hướng dẫn

kiến thức về dược liệu, đồng thời tạo điều kiện để tôi thực hiện bộ dữ liệu

hình ảnh cây thuốc Việt Nam.

Cuối cùng tôi xin gửi lời cảm ơn hơn đến những người thân yêu trong gia

đình đã luôn ở bên cạnh, hỗ trợ, động viên và tạo điều kiện thuận lợi nhất

để tôi hoàn thành luận văn cũng như chương trình học tại trường.

ii

TÓM TẮT

Nhận dạng thực vật là một chủ đề cần thiết trong lĩnh vực thị giác máy

tính với các ứng dụng trên nhiều lĩnh vực khác nhau như: nông học, dược

phẩm, bào chế, môi trường, kinh tế. Tuy được nghiên cứu và phát triển từ

khá lâu nhưng hiện tại dữ liệu tiêu chuẩn và có sẵn cho cây thuốc chưa được

công bố rộng rãi cho cộng đồng nghiên cứu. Công trình này đóng góp một

bộ dữ liệu lớn, công khai và đa lớp đầu tiên của hình ảnh cây thuốc tại Việt

Nam, và được chụp trong môi trường thực tế. Tập dữ liệu của chúng tôi bao

gồm tổng số 20.000 hình ảnh của 200 cây thuốc Việt Nam được dán nhãn

khác nhau (được đặt tên là VNPlant-200). Đề tài cung cấp cung cấp bộ dữ

liệu này thành hai phiên bản có kích thước 256 × 256 và 512 × 512 pixel. Bộ

huấn luyện bao gồm 12.000 hình ảnh và phần còn lại được sử dụng cho bộ

thử nghiệm. Chúng tôi áp dụng các Speed-Up Robust Features (SURF), Scale

Invariant Feature Transform (SIFT) và Local Binary Pattern (LBP), đây là

các thuật toán trích xuất thủ công (hand-crafted) được dùng để biểu diễn

các đặc trưng. Các bộ phân lớp sử dụng là Random Forest (RF), Support

Vector Machine (SVM) và Logistic Regression (LR) được sử dụng để nhận

dạng thực vật.

Ngoài sử dụng các trích xuất đặc trưng cục bộ, luận văn cũng nghiên cứu

các mô hình học sâu Convolutional Neural Network như VGG16, Resnet, In￾iii

ception, DenseNet, Xception và MobileNet để nhận dạng bộ dữ liệu VNPlant￾200. Thành công của CNN so với các thuật toán hand-crafted trên bộ dữ liệu

thực hiện trong môi trường thực tế, cho thấy CNN hứa hẹn mang lại nhiều

triển vọng để có thể xây dựng ứng dụng thực tế.

iv

ABSTRACT

Plant identification is an important topic in Computer Vision with vari￾ous applications in many different fields such as agronomy, pharmaceutical

product, medical preparation, environment and economics. Although plant

identification has been studied and developed for a long time, currently its

data, which was available and standardized for medicinal plants, has not

been widely published to the research community. This work has contributed

the first large-scale, public and multi-class dataset of medicinal plants in

Vietnam, and captured in a real-world environment. Our dataset includes a

total of 20,000 pictures of 200 different labeled Vietnamese medicinal plants

(named VNPlant-200). We provide this dataset in two versions with size of

256×256 and 512×512 pixels. The training set includes 12,000 images and the

remaining part is used for the testing set. We extracted features from Speed￾Up Robust Features (SURF), Scale Invariant Feature Transform (SIFT) and

Local Binary Pattern (LBP) descriptor to represent images. The three classi￾fiers are considered suach as Random Forest (RF), Support Vector Machine

(SVM) and Logistic Regression (LR), which used for plant identification.

In addition, using local feature extractions, the thesis also investigated

on Convolutional Neural Network models such as VGG16, Resnet, Inception,

DenseNet, Xception and MobileNet to identify the VNPlant-200 dataset. The

v

experimental results show that CNN outperformed the hand-crafted algo￾rithms and this could be applied to build a real-world application.

vi

MỤC LỤC

Lời cam đoan i

Lời cảm ơn ii

Tóm tắt iii

Abstract v

Mục lục vii

Danh mục hình và đồ thị x

Danh mục bảng xii

Danh mục ký hiệu xiii

Danh mục viết tắt xiv

1 Tổng quan về xử lý ảnh và nhận dạng thực vật 1

1.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Thách thức khi nhận dạng thực vật . . . . . . . . . . . . . . . 5

1.3 Tình hình nghiên cứu nhận dạng thực vật . . . . . . . . . . . 8

1.3.1 Phương pháp thủ công Handcrafted-features . . . . . . 8

vii

1.3.2 Phương pháp Deep-features . . . . . . . . . . . . . . . 11

1.4 Mục tiêu của luận văn . . . . . . . . . . . . . . . . . . . . . . 15

1.5 Đóng góp của luận văn . . . . . . . . . . . . . . . . . . . . . . 15

1.6 Cấu trúc của luận văn . . . . . . . . . . . . . . . . . . . . . . 19

1.7 Phương pháp . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

1.8 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2 Cơ sở lý thuyết 21

2.1 Giới thiệu xử lý ảnh . . . . . . . . . . . . . . . . . . . . . . . 21

2.2 Không gian màu . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.3 Đặc trưng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.3.1 Đặc trưng cơ bản . . . . . . . . . . . . . . . . . . . . . 24

2.3.2 Đặc trưng SIFT . . . . . . . . . . . . . . . . . . . . . . 26

2.3.3 Đặc trưng SURF . . . . . . . . . . . . . . . . . . . . . 28

2.3.4 Đặc trưng Local Binary Patterns . . . . . . . . . . . . 29

2.4 Bộ phân lớp . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

2.4.1 Logistic Regression . . . . . . . . . . . . . . . . . . . . 31

2.4.2 Random Forest . . . . . . . . . . . . . . . . . . . . . . 32

2.4.3 Support Vector Machine . . . . . . . . . . . . . . . . . 33

2.5 Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2.5.1 Mạng neural . . . . . . . . . . . . . . . . . . . . . . . . 35

2.5.2 Mạng tích chập CNN . . . . . . . . . . . . . . . . . . . 37

2.5.3 Kỹ thuật huấn luyện mạng CNN . . . . . . . . . . . . 44

2.5.4 Các mô hình mạng CNN hiện đại . . . . . . . . . . . . 46

2.6 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3 Phương pháp đề xuất và kết quả thực nghiệm 53

3.1 Giới thiệu bộ dữ liệu hình ảnh cây thuốc Việt Nam - VNPlant-200 53

viii

3.2 Các phương pháp thực hiện . . . . . . . . . . . . . . . . . . . 63

3.3 Chia dữ liệu và phân lớp . . . . . . . . . . . . . . . . . . . . . 63

3.3.1 Chia dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . 63

3.3.2 Phương pháp trích xuất đặc trưng sử dụng LBP . . . . 64

3.3.3 Phương pháp trích xuất đặc trưng sử dụng SURF, SIFT

kết hợp BoW . . . . . . . . . . . . . . . . . . . . . . . 66

3.3.4 Phương pháp sử dụng các mô hình CNN . . . . . . . . 69

3.4 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . 71

3.4.1 Kết quả thực nghiệm với phương pháp LBP . . . . . . 71

3.4.2 Kết quả thực nghiệm với phương pháp SIFT, SURF

kết hợp với BoW . . . . . . . . . . . . . . . . . . . . . 72

3.5 Kết quả thực nghiệm với các mạng CNN . . . . . . . . . . . . 75

3.5.1 Kết quả thực nghiệm trích xuất đặc trưng bằng các

mạng CNN kết hợp với bộ phân loại . . . . . . . . . . 75

3.5.2 Kết quả thực nghiệm tinh chỉnh các mạng CNN . . . . 76

3.5.3 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . 81

4 Hướng phát triển và kết luận 82

4.1 Đóng góp, hạn chế của luận văn . . . . . . . . . . . . . . . . . 82

4.1.1 Đóng góp . . . . . . . . . . . . . . . . . . . . . . . . . 82

4.1.2 Hạn chế . . . . . . . . . . . . . . . . . . . . . . . . . . 83

4.2 Hướng phát triển và kết luận . . . . . . . . . . . . . . . . . . 83

4.2.1 Hướng phát triển . . . . . . . . . . . . . . . . . . . . . 83

4.2.2 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . 84

Phụ lục 1 99

Phụ lục 2 106

ix

DANH MỤC HÌNH VÀ ĐỒ THỊ

1.1 Khu bảo tồn dược liệu. . . . . . . . . . . . . . . . . . . . . . . 2

1.2 Các vùng sinh thái bảo tồn dược liệu tại Việt Nam. . . . . . . 4

1.3 Cây thiên niên kiện (tên khoa học là Homalomena affaromatica) 6

1.4 Sinh viên y dược xác định cây thuốc . . . . . . . . . . . . . . 6

1.5 Nhận dạng thực vật tự động . . . . . . . . . . . . . . . . . . . 8

1.6 Hình ảnh cây Cỏ sữa lá to (tên khoa học là Euphorbia hirta). 11

1.7 Một ví dụ minh họa về sự khó khăn và thác thức liên quan . . 17

1.8 Dùng thiết bị để tra cứu cây thuốc Việt Nam. . . . . . . . . . 18

2.1 Hình ảnh RGB được biểu diễn bởi ba ma trận. . . . . . . . . . 22

2.2 Không gian màu RGB và ba thành phần màu. . . . . . . . . . 23

2.3 SVM trong không gian 2 chiều. . . . . . . . . . . . . . . . . . 34

2.4 Mô phỏng kiến trúc neuron sinh học . . . . . . . . . . . . . . 36

2.5 Sơ đồ minh họa mạng neural. . . . . . . . . . . . . . . . . . . 36

2.6 Kiến Trúc Convolutional Neural Networks. . . . . . . . . . . . 38

2.7 Tầng Convolutional . . . . . . . . . . . . . . . . . . . . . . . . 39

2.8 Hàm kích hoạt . . . . . . . . . . . . . . . . . . . . . . . . . . 41

2.9 Hàm Sigmoid. . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2.10 Hàm ReLU. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

2.11 Mạng VGG16. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

x