Giải Pháp Xếp Hạng Và Tính Toán Song Song Trên Nền Tảng Apache Spark

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN ĐÔNG ĐỨC

GIẢI PHÁP XẾP HẠNG VÀ TÍNH TOÁN SONG

SONG TRÊN NỀN TẢNG APACHE SPARK

LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN

Hà Nội - 2016

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN ĐÔNG ĐỨC

GIẢI PHÁP XẾP HẠNG VÀ TÍNH TOÁN SONG SONG TRÊN NỀN

TẢNG APACHE SPARK

Ngành: Công Nghệ Thông Tin

Chuyên ngành: Hệ thống Thông Tin

Mã số chuyên ngành: 60480104

LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS. TS. Nguyễn Ngọc Hóa

Hà Nội – 2016

LỜI CAM ĐOAN

“ Tôi xin cam đoan đây là công trình nghiên cứu của bản thân. Các số liệu, kết quả

trình bày trong luận văn này là trung thực và chưa từng được ai công bố trong bất

kỳ công trình luận văn nào trước đây.”

Chữ ký:………………………………………………

PHÊ DUYỆT CỦA GIÁO VIÊN HƯỚNG DẪN

“Tôi xin cam đoan rằng luận án đã đảm bảo đúng yêu cầu của chương trình đào Thạc sĩ Công

nghệ Thông Tin của trường Đại học Công Nghệ.”

Chữ ký:………………………………………………

MỤC LỤC

Lời cảm ơn ......................................................................................................................8

Danh sách các hình .........................................................................................................9

Danh sách các bảng.......................................................................................................10

Danh sách các từ viết tắt ................................................................................................xi

Chương 1. Giới thiệu chung .....................................................................................12

Động lực nghiên cứu......................................................................................12

Mục tiêu và nội dung của luận văn ................................................................12

Tổ chức của luận văn .....................................................................................13

Chương 2. Tổng quan về xếp hạng...........................................................................14

Tổng quan về xếp hạng ..................................................................................14

Mô hình xếp hạng dựa trên độ liên quan........................................................16

Mô hình xếp hạng dựa trên độ quan trọng .....................................................18

Chương 3. Học máy xếp hạng ..................................................................................21

Nền tảng cơ sở của học máy ..........................................................................21

Nền tảng cơ sở của học máy xếp hạng...........................................................22

3.2.1 Hướng tiếp cận Pointwise .................................................................23

3.2.2 Hướng tiếp cận Pairwise.........................................................................23

3.2.3 Hướng tiếp cận Listwise .....................................................................23

Tổng kết chương ............................................................................................24

Chương 4. Giải pháp xếp hạng và tính toán song song trên nền apache spark ........25

Bài toán đặt ra ................................................................................................25

Mô hình đặt ra ................................................................................................25

Apache Spark .................................................................................................27

4.3.1 Tính năng của Apache Spark..................................................................28

4.3.2 Các thành phần của Apache Spark .........................................................28

4.3.3 Resilient Distributed Datasets.................................................................29

Elasticsearch...................................................................................................29

4.4.1 Tính năng tổng quát................................................................................30

4.4.2 Khái niệm cơ bản....................................................................................30