Nghiên Cứu Máy Tìm Kiếm Ứng Dụng Xây Dựng Thử Nghiệm Công Cụ Tìm Kiếm Toàn Văn Bản Thông Tin Bài Báo Trên Tạp Chí Khoa Học Và Công Nghệ Trường Đại Học Lâm Nghiệp

TRƯỜNG ĐẠI HỌC LÂM NGHIỆP

KHOA KINH TẾ VÀ QUẢN TRỊ KINH DOANH

---------

KHÓA LUẬN TỐT NGHIỆP

ĐỀ TÀI: NGHIÊN CỨU MÁY TÌM KIẾM,

ỨNG DỤNG XÂY DỰNG THỬ NGHIỆM CÔNG CỤ TÌM

KIẾM TOÀN VĂN BẢN THÔNG TIN BÀI BÁO TRÊN

TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ TRƯỜNG ĐẠI HỌC

LÂM NGHIỆP

Ngành: Hệ Thống Thông Tin

Mã số: 7480104

Giáo viên hướng dẫn: ThS. Trần Xuân Hòa

Sinh viên thực hiện: Bùi Văn Mạnh

MSV: 1851070199

Lớp: K63 - HTTT

Khóa đào tạo: 2018 – 2022

Hà Nội, 2022

LỜI CẢM ƠN

Kết thúc khóa học 2018 – 2022, mỗi sinh viên phải thực hiện làm khóa luận tốt

nghiệp, gắn liền việc học lý thuyết với thực tế, giúp sinh viên củng cố và hoàn thiện

những kiến thức đã tiếp thu học hỏi được trong suốt quá trình học tập và rèn luyện để

vận dụng những kiến thức đó vào thực tiễn công việc sau này.

Đáp ứng yêu cầu đó, được sự giúp đỡ tận tình của thầy ThS.Trần Xuân Hòa, sự

đồng ý của Nhà trường và Khoa Kinh tế và Quản trị kinh doanh, tôi tiến hành thực

hiện đề tài:

“Nghiên cứu máy tìm kiếm, ứng dụng xây dựng thử nghiệm công cụ tìm

kiếm toàn văn bản thông tin bài báo trên tạp chí Khoa học và Công nghệ Trường

Đại học Lâm nghiệp”.

Sau một thời gian làm việc khẩn trương và nghiêm túc, nay tôi đã hoàn thành

bản khóa luận này.

Tôi xin gửi lời cảm ơn đến các thầy cô trong viện Khoa Kinh tế và Quản trị

kinh doanh đã tạo điều kiện cho tôi thực hiện đề tài khóa luận này. Đặc biệt, tôi xin

bày tỏ lòng biết ơn chân thành và sâu sắc đến thầy ThS. Trần Xuân Hòa – người đã

trực tiếp hướng dẫn tôi tận tình và đóng góp ý kiến quan trọng trong suốt quá trình làm

khóa luận tốt nghiệp.

Tôi đã cố gắng hết mình, nhưng do trình độ bản thân còn nhiều hạn chế nên

khóa luận này không thể tránh khỏi những thiếu sót nhất định. Tôi rất mong nhận được

những ý kiến góp ý của thầy cô và các bạn.

Tôi xin chân thành cảm ơn!

Hà Nội, tháng 07 năm 2022

Sinh viên thực hiện

Bùi Văn Mạnh

LỜI CAM ĐOAN

Tôi xin cam đoan rằng đề tài : “Nghiên cứu máy tìm kiếm, ứng dụng xây dựng

thử nghiệm công cụ tìm kiếm toàn văn bản thông tin bài báo trên tạp chí Khoa học

và Công nghệ Trường Đại học Lâm nghiệp” được làm một cách minh bạch, công

khai. Mọi thứ được dựa trên sự cố gắng của bản thân cùng với sự giúp đỡ từ giảng viên

hướng dẫn thầy ThS.Trần Xuân Hòa.

Các số liệu và kết quả của đề tài được đưa ra là trung thực và không sao chép

hay sử dụng kết quả nghiên cứu của bất kỳ đề tài nào. Nếu vi phạm lời cam đoan tôi

xin chịu hoàn toàn trách nhiệm.

Tôi xin chân thành cảm ơn !

Hà Nội, tháng 07 năm 2022

Sinh viên thực hiện

Bùi Văn Mạnh

i

MỤC LỤC

LỜI CẢM ƠN

LỜI CAM ĐOAN

MỤC LỤC ..........................................................................................................................i

DANH MỤC HÌNH ẢNH..................................................................................................iv

DANH MỤC BẢNG BIỂU................................................................................................vi

DANH MỤC CÁC TỪ VIẾT TẮT...................................................................................vii

ĐẶT VẤN ĐỀ

CHƯƠNG 1 TỔNG QUAN ĐỀ TÀI NGHIÊN CỨU........................................................1

1.1. Tình hình ứng dụng máy tìm kiếm trên Thế Giới .....................................................1

1.1.1. Google................................................................................................................1

1.1.2. GoogleScholar....................................................................................................1

1.1.3. RefSeek ..............................................................................................................1

1.1.4. Citeulike .............................................................................................................2

1.1.5. iSeek...................................................................................................................2

1.2. Tình hình ứng dụng máy tìm kiếm tại Việt Nam......................................................3

1.2.1. Cốc cốc...............................................................................................................3

1.3. Mục tiêu nghiên cứu..................................................................................................3

1.3.1. Mục tiêu chung ..................................................................................................3

1.3.2. Mục tiêu cụ thể...................................................................................................3

1.4. Nội dung nghiên cứu .................................................................................................3

1.5. Đối tượng và phạm vi nghiên cứu.............................................................................4

1.5.1. Đối tương nghiên cứu ........................................................................................4

1.5.2. Phạm vi nghiên cứu............................................................................................4

1.6. Phương pháp nghiên cứu...........................................................................................4

CHƯƠNG 2 NGHIÊN CỨU CƠ SỞ LÝ THUYẾT...........................................................5

2.1. Máy tìm kiếm (Search Engine). ................................................................................5

2.1.1. Hoạt động của Máy tìm kiếm.............................................................................5

2.1.2. Hệ thống máy tìm kiếm Search Engine .............................................................5

2.1.3. Máy truy vấn dữ liệu..........................................................................................6

2.2. Một số công cụ tìm kiếm...........................................................................................6

ii

2.2.1. ElasticSearch......................................................................................................6

2.2.2. Apache Solr......................................................................................................14

2.2.3. Lucene..............................................................................................................15

2.3. Ngôn ngữ lập trình ..................................................................................................16

2.3.1. Ngôn ngữ lập trình Python...............................................................................16

2.3.2. Ngôn ngữ lập trình C# .....................................................................................17

2.3.3. Ngôn ngữ lập trình Java...................................................................................18

2.3.4. Ngôn ngữ lập trình PHP...................................................................................18

2.3.5. Ngôn ngữ lập trình C++...................................................................................19

2.4. Khung phát triển phần mềm....................................................................................20

2.4.1. Django Framework ..........................................................................................20

2.4.2. Flask Framework .............................................................................................21

2.4.3. Entity Framework ............................................................................................21

2.4.4. ABP Framework ..............................................................................................21

2.5. Chuẩn dịch vụ..........................................................................................................22

2.6. Hệ quản trị cơ sở dữ liệu .........................................................................................24

2.6.1. PostgreSQL......................................................................................................24

2.6.2. MySQL.............................................................................................................25

2.6.3. SQL Server.......................................................................................................26

2.6.4. Oracle ...............................................................................................................26

2.6.5. MongoDB ........................................................................................................27

2.7. Máy chủ web ...........................................................................................................28

2.7.1. IIS.....................................................................................................................28

2.7.2. Nginx................................................................................................................28

2.7.3. Apache HTTP ..................................................................................................29

2.7.4. Apachi Tomcat.................................................................................................29

2.8. Một số công nghệ khác............................................................................................30

2.8.1. HTML ..............................................................................................................30

2.8.2. CSS...................................................................................................................30

2.8.3. JavaScript.........................................................................................................31

2.8.4. Bootstrap ..........................................................................................................32

CHƯƠNG 3 XÂY DỰNG PHÁT TRIỂN PHẦM MỀM.................................................33

iii

3.1. Lựa chọn công nghệ phát triển ................................................................................33

3.1.1. Các tiêu chí lựa chọn........................................................................................33

3.1.2. Danh mục lựa chọn ..........................................................................................33

3.2. Xây dựng kiến trúc hệ thống và mô hình triển khai................................................34

3.2.1. Mô hình kiến trúc hệ thống..............................................................................34

3.2.2. Mô hình triển khai phần mềm..........................................................................35

3.2.3. Mô hình triển khai vật lý..................................................................................35

3.3. Thiết kế phần mềm..................................................................................................36

3.3.1. Danh sách tác nhân ..........................................................................................36

3.3.2. Danh sách chức năng .......................................................................................36

3.3.3. Thiết kế cơ sở dữu liệu.....................................................................................38

3.3.4. Biểu đồ phân rã chức năng...............................................................................42

3.3.5. Biểu đồ trình tự ................................................................................................54

3.4. Lập trình phần mềm ................................................................................................68

3.4.1. Các mô đun chức năng.....................................................................................68

3.4.2. Các đoạn mã, hàm xử lý chức năng.................................................................68

3.4.3. Kết quả lập trình và giao diện phần mềm ........................................................71

3.5. Kiểm thử chức năng phần mềm ..............................................................................74

CHƯƠNG 4 KẾT LUẬN – TỒN TẠI – KIẾN NGHỊ .....................................................81

4.1. Kết luận ...................................................................................................................81

4.2. Tồn tại......................................................................................................................81

4.3. Kiến nghị .................................................................................................................81

TÀI LIỆU THAM KHẢO................................................................................................viii

iv

DANH MỤC HÌNH ẢNH

Hình 1.1 Công cụ tìm kiếm Google Scholar ...................................................................1

Hình 1.2 Công cụ tìm kiếm Citeulike..............................................................................2

Hình 1.3 Công cụ tìm kiếm iSeek ...................................................................................2

Hình 1.4 Công cụ tìm kiếm Cốc cốc ...............................................................................3

Hình 2.1 Cách thức tổ chức dữ liệu ELasicsearch ........................................................10

Hình 2.2 Sơ đồ cách thức tổ chức dữ liệu Elasticsearch ...............................................12

Hình 2.3: Chuẩn dịch vụ................................................................................................22

Hình 2.4: Mô hình hoạt động của Restful .....................................................................23

Hình 2.5 Cấu trúc một đoạn CSS ..................................................................................31

Hình 3.1 Mô hình kiến trúc hệ thống ............................................................................34

Hình 3.2 Mô hình triển khai phần mềm ........................................................................35

Hình 3.3 Mô hình triển khai vật lý ................................................................................35

Hình 3.4 Sơ đồ mô hình quan hệ CSDL........................................................................38

Hình 3.5 Biểu đồ usecase tổng quát ..............................................................................42

Hình 3.6 Biểu đồ usecase đăng ký tài khoản.................................................................43

Hình 3.7 Biểu đồ usecase tìm kiếm thông tin................................................................44

Hình 3.8 Biểu đồ usecase đăng nhập hệ thống..............................................................45

Hình 3.9 Biểu đồ usecase thư viện của tôi ....................................................................46

Hình 3.10 Biểu đồ usecase quản lý bài viết nghiên cứu................................................47

Hình 3.11 Biểu đồ usecase Quản lý thông tin lĩnh vực .................................................48

Hình 3.12 Biểu đồ usecase quản lý thông tin chuyên ngành.........................................49

Hình 3.13 Biểu đồ usecase quản lý thông tin tác giả ....................................................50

Hình 3.14 Biểu đồ usecase quản lý cơ sở nghiên cứu...................................................51

Hình 3.15 Biểu đồ usecase cấu hình logo......................................................................52

Hình 3.16 Biểu đồ usecase quản lý người dùng............................................................53

Hình 3.17 Biểu đồ trình tự đăng ký tài khoản ...............................................................54

Hình 3.18 Biểu đồ trình tự tìm kiếm thông tin..............................................................54

Hình 3.19 Biểu đô trình tự đăng nhâp ...........................................................................55

Hình 3.20 Biểu đồ trình tự thêm bài viết nghiên cứu....................................................55

Hình 3.21 Biểu đồ trình tự chỉnh sửa thông tin bài viết................................................56

Hình 3.22 Biểu đồ trình tự xóa bài viết nghiên cứu ......................................................56

Hình 3.23 Biểu đồ trình tự tìm kiếm bài viết nghiên cứu..............................................57

Hình 3.24 Biểu đồ hoạt động thêm lĩnh vực .................................................................57

Hình 3.25 Biểu đồ trình tự sửa thông tin lĩnh vực.........................................................58

v

Hình 3.26 Biểu đồ trình tự xóa lĩnh vực........................................................................58

Hình 3.27 Biểu đồ trình tự tìm kiếm lĩnh vực ...............................................................59

Hình 3.28 Biểu đồ trình tự thêm chuyên ngành ............................................................59

Hình 3.29 Biểu đồ trình tự sửa thông tin chuyên ngành ...............................................60

Hình 3.30 Biểu đồ trình tự xóa chuyên ngành...............................................................60

Hình 3.31 Biểu đồ trình tự tìm kiếm chuyên ngành......................................................61

Hình 3.32 Biểu đồ trình tự thêm tác giả ........................................................................61

Hình 3.33 Biểu đồ trình tự sửa thông tin tác giả ...........................................................62

Hình 3.34 Biểu đồ trình tự xóa tác giả ..........................................................................62

Hình 3.35 Biểu đồ trình tự tìm kiếm tác giả..................................................................63

Hình 3.36 Biểu đồ trình tự thêm cơ sở nghiên cứu .......................................................63

Hình 3.37 Biểu đồ trình tự sửa thông tin cơ sở nghiên cứu ..........................................64

Hình 3.38 Biểu đồ trình tự xóa cơ sở nghiên cứu .........................................................64

Hình 3.39 Biểu đồ trình tự tìm kiếm cơ sở nghiên cứu.................................................65

Hình 3.40 Biểu đồ trình tự cấu hình logo......................................................................65

Hình 3.41 Biểu đồ trình tự thêm người dùng ................................................................66

Hình 3.42 Biểu đồ trình tự sửa thông tin người dùng ...................................................66

Hình 3.43 Biểu đồ trình tự xóa người dùng ..................................................................67

Hình 3.44 Biểu đồ trình tự tìm kiếm người dùng..........................................................67

Hình 3.45 Giao diện dành cho người dùng công khai...................................................71

Hình 3.46 Giao diện trên thiết bị di động......................................................................72

Hình 3.47 Giao diện thư viện của tôi ............................................................................72

Hình 3.48 Giao diện quản lý hệ thống...........................................................................73

Hình 3.49 Giao diện quản lý bài viết nghiên cứu..........................................................73

Hình 3.50 Giao diện quản lý người dùng ......................................................................74

Hình 3.51 Giao diện cấu hình logo................................................................................74

vi

DANH MỤC BẢNG BIỂU

Bảng 2.1 Bảng ánh xạ chức năng của SQL và Elasticsearch ........................................12

Bảng 3.1 danh sách tác nhân .........................................................................................36

Bảng 3.2 Danh sách các chức năng ...............................................................................36

Bảng 3.3 Thiết kế chi tiết - Bảng bài báo......................................................................39

Bảng 3.4 Thiết kế chi tiết - bảng tác giả........................................................................39

Bảng 3.5 Thiết kế chi tiết - bảng lĩnh vực .....................................................................39

Bảng 3.6 Thiết kế chi tiết - bảng chuyên ngành............................................................40

Bảng 3.7 Thiết kế chi tiết - bảng cơ sở nghiên cứu.......................................................40

Bảng 3.8 Thiết kế chi tiết - bảng liên kết bài báo và cơ sở nghiên cứu ........................40

Bảng 3.9 Thiết kế chi tiết - bảng liên kết bài báo và tác giả .........................................40

Bảng 3.10 Thiết kế chi tiết - bảng người dùng..............................................................41

Bảng 3.11 Thiết kế chi tiết - bảng phân quyền người dùng ..........................................41

Bảng 3.12 Thiết kế chi tiết - bảng thư viện người dùng................................................41

Bảng 3.13 Thiết kế chi tiết - bảng cấu hình logo ..........................................................41

Bảng 3.14 Đặc tả usecase tìm kiếm thông tin ...............................................................43

Bảng 3.15 Đặc tả usecase tìm kiếm thông tin ...............................................................44

Bảng 3.16 Đặc tả usecase đăng nhập.............................................................................45

Bảng 3.17 Đặc tả usecase thư viện của tôi ....................................................................46

Bảng 3.18 Đặc tả usecase quản lý bài viết nghiên cứu .................................................47

Bảng 3.19 Đặc tả usecase quản lý lĩnh vực ...................................................................48

Bảng 3.20 Đặc tả usecase quản lý thông tin chuyên ngành ..........................................49

Bảng 3.21 Đặc tả usecase quản lý thông tin tác giả ......................................................50

Bảng 3.22 Đặc tả usecase quản lý thông tin cơ sở nghiên cứu .....................................51

Bảng 3.23 Đặc tả usecase tìm kiếm thông tin ...............................................................52

Bảng 3.24 Đặc tả usecase quản lý người dùng..............................................................53