CHUYÊN đề AN NINH MẠNG đề tài tìm hiểu về nền tảng xử lý dữ liệu lớn apache spark và apache storm

BỘ THÔNG TIN VÀ TRUYỀN THÔNG

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

----------

BÁO CÁO CHUYÊN ĐỀ AN NINH MẠNG

Đề tài: Tìm hiểu về nền tảng xử lý dữ liệu

lớn Apache Spark và Apache Storm

Giảng viên hướng dẫn: Thầy Đinh Trường Duy

Nhóm: 10

Đề tài: Tìm hiểu về hệ thống DNS, các dạng

Sinh viên thực hiện: Trần Thị Mai Anh – B18DCAT013

tấn công và cách phòng chống

Đinh Mạnh Hải – B18DCAT069

Trần Trọng Hiếu – B18DCAT090

Nguyễn Quang Huy – B18DCAT110

Phạm Văn Nghị – B18DCAT170

Hà Nội, tháng 11/2022

Mục Lục

Danh mục hình ảnh...........................................................................................................3

Danh mục từ viết tắt.........................................................................................................4

Lời mở đầu........................................................................................................................5

Chương I:Giới thiệu về dữ liệu lớn (Big data)................................................................6

1.1.Giới thiệu Dữ liệu lớn (Big data)............................................................................6

1.1.1.Khái niệm..........................................................................................................6

1.1.2.Đặc trưng..........................................................................................................6

1.2. Các phương thức xử lý dữ liệu lớn (Big data)......................................................7

1.2.1. Xử lý dữ liệu lớn..............................................................................................7

1.2.2.Một số công cụ xử lý dữ liệu lớn:....................................................................9

Chương II:Khái quát về Apache Spark.........................................................................11

2.1.Giới thiệu...............................................................................................................11

2.2. Tính năng..............................................................................................................11

2.3. Kiến trúc của Apache Spark - Spark Architecture............................................12

2.3.1. Spark Eco-System..........................................................................................12

2.3.2. Kiến trúc của Apache Spark.........................................................................13

2.3.3. Quản lý bộ nhớ trong Spark.........................................................................14

2.3.4. Hoạt động của Apache Spark.......................................................................17

Chương III:Khái quát về Apache Storm.......................................................................19

3.1.Giới thiệu...............................................................................................................19

3.1.1. Apache Storm là gì?.......................................................................................19

3.1.2. Đặc điểm.........................................................................................................19

3.2. Các khái niệm.......................................................................................................19

3.2.1. Tuple...............................................................................................................19

3.2.2. Stream............................................................................................................19

3.2.3.Spouts..............................................................................................................20

3.2.4. Bolts................................................................................................................20

3.2.5. Topologies.......................................................................................................21

3.2.6. Tasks (tác vụ).................................................................................................21

3.2.7. Worker............................................................................................................21

1

3.2.8. Stream Grouping...........................................................................................21

3.3. Kiến trúc Cluster..................................................................................................24

3.3.2. Các thành phần khác.....................................................................................25

3.3.3. Luồng thực hiện.............................................................................................25

3.4. Kết luận.................................................................................................................26

Chương IV: So sánh 2 nền tảng xử lý dữ liệu lớn Apache Spark và Apache Storm . 27

4.1. Giống và khác nhau..............................................................................................27

4.2.Ưu và nhược điểm.................................................................................................28

Chương V: Demo xử lý 1 file dữ liệu đủ lớn trên hệ thống Apache Spark..................29

5.1. Kịch bản:...............................................................................................................29

5.2. Thực hiện:.............................................................................................................29

Tài liệu tham khảo..........................................................................................................34

2