Phân tích thành phần chính phục vụ xử lý dữ liệu đào tạo

Lương Thị Thúy Nga Phân tích thành phần chính phục vụ xử lý dữ liệu đào tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

i

MỤC LỤC

MỤC LỤC .............................................................................................................................. i

LỜI CAM ĐOAN ................................................................................................................. iii

LỜI CẢM ƠN....................................................................................................................... iv

DANH MỤC TỪ VIẾT TẮT .................................................................................................v

DANH MỤC HÌNH BẢNG ................................................................................................. vi

MỞ ĐẦU ................................................................................................................................1

CHƢƠNG 1. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU.......................................................3

1.1 Khai phá dữ liệu...........................................................................................................3

1.1.1 Hình thành và định nghĩa bài toán ........................................................................4

1.1.2 Thu thập và tiền xử lý dữ liệu...............................................................................4

1.1.3 Khai phá dữ liệu và rút ra các tri thức ..................................................................5

1.1.4 Phân tích và kiểm định kết quả.............................................................................6

1.1.5. Sử dụng các tri thức phát hiện đƣợc ....................................................................6

1. 2 Quá trình khai phá dữ liệu ..........................................................................................7

1.3 Các phƣơng pháp khai phá dữ liệu ............................................................................10

1.3.1. Phân lớp dữ liệu.................................................................................................10

1.3.2. Phân cụm dữ liệu ...............................................................................................10

1.3.3 Khai phá luật kết hợp..........................................................................................11

1.3.4 Hồi quy ...............................................................................................................11

1.3.5 Giải thuật di truyền .............................................................................................11

1.3.6 Mạng nơron.........................................................................................................11

1.3.7 Cây quyết định....................................................................................................12

1.4 Nhu cầu khai phá dữ liệu ...........................................................................................13

1.5. Kết luận.....................................................................................................................13

CHƢƠNG 2. MỘT SỐ PHƢƠNG PHÁP XỬ LÝ DỮ LIỆU NHỜ THỐNG KÊ...............14

2.1 Phƣơng pháp thống kê toán học.................................................................................14

2.1.1 Biến ngẫu nhiên ..................................................................................................14

2.1.2 Các ví dụ .............................................................................................................15

2.1.3 Các số đặc trƣng .................................................................................................16

2.2. Khai phá dữ liệu với phƣơng pháp thống kê.............................................................17

2.3. Tri thức nền tảng.......................................................................................................18

2.3.1. Các phƣơng pháp quan tâm ...............................................................................19

2.3.2. Trình diễn và trực quan của các mẫu đƣợc khai phá .........................................19

Lương Thị Thúy Nga Phân tích thành phần chính phục vụ xử lý dữ liệu đào tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

ii

2.4. Dữ liệu liên quan tới nhiệm vụ .................................................................................19

2.4.1. Dữ liệu thích hợp với nhiệm vụ.........................................................................19

2.4.2. Kiểu tri thức đƣợc khai phá ...............................................................................20

2.4.3. Kiến thức nền tảng.............................................................................................20

2.4.4. Các phép đo sự hấp dẫn của mẫu.......................................................................20

2.4.5. Hình ảnh hóa của các mẫu đƣợc khai phá .........................................................20

2.5. Các loại tri thức đƣợc khai phá.................................................................................22

2.5.1. Phân cấp khái niệm............................................................................................23

2.5.2. Phân cấp lƣợc đồ................................................................................................26

2.5.3. Phân cấp theo nhóm...........................................................................................26

2.5.4. Phân cấp theo thao tác .......................................................................................27

2.5.5. Phân cấp theo luật..............................................................................................28

2.5.6. Độ đo về tiêu chí quan tâm................................................................................28

2.6. Thể hiện và trực quan của các mẫu đƣợc phát hiện..................................................32

2.7. Phân tích thành phần chính.......................................................................................34

2.8. Kết luận.....................................................................................................................39

CHƢƠNG 3. KHAI PHÁ DỮ LIỆU TẠI TRUNG TÂM....................................................40

3.1. Về cơ sở đào tạo........................................................................................................40

3.2. Công cụ OLAP..........................................................................................................43

3.2.1 Về OLAP ............................................................................................................43

3.2.2. Mô hình dữ liệu đa chiều ...................................................................................43

3.2.3 Giới thiệu dịch vụ OLAP của Microsoft SQL Server.........................................46

3.2.4 So sánh OLAP với OLTP ...................................................................................47

3.2.5 Các mô hình lƣu trữ hỗ trợ OLAP ......................................................................48

3.2.6.Kiến trúc khối của OLAP ...................................................................................52

3.2.7. Mô hình kiến trúc dịch vụ OLAP ......................................................................53

3.3. Dữ liệu về đào tạo.....................................................................................................56

3.3.1. Dữ liệu ...............................................................................................................56

3.3.2. Khai phá dữ liệu.................................................................................................57

3.4. Kết luận.....................................................................................................................58

KẾT LUẬN...........................................................................................................................59

Một số vấn đề đã giải quyết.........................................................................................59

Phƣơng hƣớng tiếp tục nghiên cứu..............................................................................60

TÀI LIỆU THAM KHẢO ....................................................................................................61

Lương Thị Thúy Nga Phân tích thành phần chính phục vụ xử lý dữ liệu đào tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

iii

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn này là kết quả tìm hiểu, nghiên cứu của tôi. Các

số liệu, kết quả trong luận văn là trung thực. Tài liệu sử dụng, trích dẫn trong luận

văn là trung thực chƣa từng công bố trong công trình nghiên cứu khác.

Học viên

Lƣơng Thị Thúy Nga

Lương Thị Thúy Nga Phân tích thành phần chính phục vụ xử lý dữ liệu đào tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

iv

LỜI CẢM ƠN

Trƣớc tiên tôi xin đƣợc trân trọng gửi lời cảm ơn chân thành tới các thầy cô

đã giảng dạy chúng tôi trong các môn chuyên đề sau đại học, cũng nhƣ trong quá

trình thực tập và viết, hoàn thiện luận văn. Đặc biệt, xin cảm ơn thầy Đỗ Trung

Tuấn, đã giúp đỡ, chỉ bảo đối với luận văn này.

Nhân dịp này, xin gửi lời cám ơn đến Trung tâm Giáo dục thƣờng xuyên tỉnh

Yên Bái. Xin chân thành cảm ơn lãnh đạo và đồng nghiệp trong Trung tâm, đã giúp

đỡ tạo mọi điều kiện cho tôi trong quá trình học tập, công tác để tôi có thể làm luận

văn tốt nghiệp, và hoàn thành đề tài nghiên cứu khoa học này.

Trong thời gian vừa qua mặc dù tôi đã cố gắng rất nhiều để hoàn thành tốt đề

tài nghiên cứu này. Song chắc chắn kết quả nghiên cứu không tránh khỏi còn nhiều

thiếu sót, vì vậy tôi rất mong nhận đƣợc sự chỉ bảo góp ý của quý thầy cô và bạn bè

đồng nghiệp để nghiên cứu này đƣợc hoàn thiện hơn.

Chân thành cám ơn chồng tôi và ngƣời thân trong gia đình, đã động viên và

tạo điều kiện tài chính, thời gian, cho tôi có thể học tập sau đại học.

Lương Thị Thúy Nga Phân tích thành phần chính phục vụ xử lý dữ liệu đào tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

v

DANH MỤC TỪ VIẾT TẮT

ADO Microsoft ActiveX Data Objects

API Giao diện cổng chung

City Thành phố

CNTT Công nghệ Thông tin

Country Vùng

CSDL Cơ sở dữ liệu

IT Công nghệ Thông tin

ITEM Mặt hàng

KDD Khai phá tri thức

MOLAP OLAP nhiều chiều

OLAP Xử lí phân tích dữ liệu trực tuyến

OLTP Phân tích trực tuyến

PCA Phân tích thành phần chính

Province Tỉnh

ROLAP OLAP quan hệ

SERVER Máy chủ

State Bang

SV Sinh viên

TV Vô tuyến truyền hình

URL Vị trí tài nguyên Internet

VCR Đầu đọc băng video

Web Trang tin

WWW World Wide Web

Lương Thị Thúy Nga Phân tích thành phần chính phục vụ xử lý dữ liệu đào tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn

vi

DANH MỤC HÌNH BẢNG

Hình 1.1 . Khai phá dữ liệu ......................................................................................... 3

Hình 1.2. Xử lí dữ liệu ................................................................................................ 5

Hình 1.3. Tri thức........................................................................................................ 6

Hình 1.4. Quá trình khai phá dữ liệu........................................................................... 8

Hình 1.5. Kiến trúc hệ thống khai phá dữ liệu ............................................................ 9

Hình 1.6. Phân lớp dữ liệu ........................................................................................ 10

Hình 1.7. Phân cụm dữ liệu....................................................................................... 10

Hình 1.8. Mạng Nơron .............................................................................................. 12

Hình 1.9. Cây quyết định .......................................................................................... 12

Hình 2.1 . Dữ liệu liên quan đến nhiệm vụ ............................................................... 18

Hình 2.2 . Thí dụ về phân phối hàng......................................................................... 24

Hình 2.3. Các mẫu thể hiện....................................................................................... 33

Hình 2.4. Dữ liệu thí dụ cho PCA............................................................................. 36

Hình 2.5. Đƣờng dữ liệu chuẩn hoá (đã trừ trung bình) ........................................... 38

Hình 3.1. Trang tin của Trung tâm............................................................................ 41

Hình 3.2. Kế hoạch dạy và học của Trung tâm......................................................... 42

Hình 3.3. Địa bàn tổ chức đào tạo của Trung tâm .................................................... 42

Hình 3.4. Mô phỏng các chiều trong kinh doanh...................................................... 44

Hình 3.5. Kiến trúc OLAP ........................................................................................ 46

Hình 3.6. Mô hình dữ liệu MOLAP.......................................................................... 48

Hinh 3.7 Mô hình dữ liệu ROLAP............................................................................ 50

Hình 3.8. Mô hình dữ liệu HOLAP........................................................................... 51

Hình 3.9. Kiến trúc dịch vụ OLAP ........................................................................... 54

Hình 3.10. Kiến trúc thành phần Server.................................................................... 54

Hình 3.11. Kiến trúc thành phần Khách.................................................................... 55

Hình 3.12. Dữ liệu gốc .............................................................................................. 57

Hình 3.13. Thí dụ sử dụng OLAP với bảng xoay ..................................................... 57

Hình 3.14. Thí dụ sử dụng nhiều tham số cột xoay .................................................. 58