Báo cáo môn học ứng dụng datamining cho việc phát triển các thuê bao điện thoại cố định ở hà nội

CHƯƠNG I :ĐẶT VẤN ĐỀ

1. Đặt vấn đề

Trong xu thế toàn cầu hóa và tự do hóa thương mại, nền kinh tế thế giới và khu vực tiếp tục

biến đổi nhanh chóng và sâu sắc trên nhiều mặt. Cách mạng khoa học, công nghệ nói chung

và công nghệ thông tin nói riêng tiếp tục phát triển nhanh; cuộc đấu tranh dân tộc, đấu tranh

giai cấp trên toàn thế giới cũng như ở nước ta đang diễn ra hết sức phức tạp, đặt ra yêu cầu

đối với các ngành kinh tế nước ta là phải nắm bắt được các công nghệ hiện đại, chủ động

trong hội nhập, thực hiện công nghiệp hóa, hiện đại hóa theo định hướng xã hội chủ nghĩa.

Đối với nghành Bưu chính Viễn thông, xu thế hội nhập, cạnh tranh, sức ép giảm giá cước

viễn thông, những đòi hỏi xã hội đối với việc nâng cao chất lượng các dịch vụ bưu chính

viễn thông ngày càng cao. Ở một số lĩnh vực, một số dịch vụ, việc cạnh tranh đã trở nên gay

gắt.

Ngành công nghiệp viễn thông lưu trữ một khối lượng dữ liệu khổng lồ, bao gồm chi tiết

cuộc gọi, thông tin cảnh báo tình trạng hệ thống mạng viễn thông và thông tin dữ liệu về

khách hàng. Khả năng ứng dụng kỹ thuật khai phá dữ liệu (Data Mining) để phát hiện các

quy luật ẩn chứa trong khối dữ liệu khổng lồ, giúp đưa ra các quyết định đúng đắn mang lại

cho các doanh nghiệp viễn thông cơ hội để phát triển dựa trên các hoạch định chính xác

mang tính lịch sử và thực tiễn cao. Đây là một hướng đi phù hợp và đã sớm được áp dụng

phổ biến ở nhiều công ty viễn thông lớn trên thế giới.

Chính vì lý do đó Ứng dụng DataMining cho phát triển các thuê bao điện thọai cố định sẽ

giúp phát triển các thuê bao đặc biệt ở Hà Nội.

2. Mục tiêu của nghiên cứu khoa học

Mục tiêu đề tài là sử dụng công cụ SQL 2005 trong ứng dụng DataMining cho việc phát

triển các thuê bao điện thoại cố định ở Hà Nội, bao gồm các vấn đề chính sau:

 Nắm bắt được khái quát lý thuyết về DataMining

 Công cụ sử dụng SQL 2005

1

 Đưa ra được các báo cáo, kết quả bài toán phát triển thuê bao điện thoại cố

định giúp cho việc đưa ra các quyết định nhằm giúp ích cho việc đưa ra chiến

lược phát triển thuê bao ở Hà Nội

CHƯƠNG II: PHƯƠNG PHÁP NGHIÊN CỨU

Để thực hiện Đề tài, em đã sử dụng một số phương pháp nghiên cứu sau:

1. Nghiên cứu lý thuyết Kho dữ liệu và Khai phá dữ liệu

2. Tìm hiểu công cụ SQL 2005 với khả năng hỗ trợ Kho dữ liệu và Khai phá

dữ liệu

3. Tìm hiểu bài toán Phát triển thuê bao

4. Ứng dụng bài toán Phát triển thuê bao để cài đặt Kho dữ liệu trên SQL

2005

CHƯƠNG III: KẾT QUẢ NGHIÊN CỨU

1. Nắm được lý thuyết về kho dữ liệu(DataWareHouse-DW) và lý thuyết về khai phá

dữ liệu(DataMining)

1.1. Kho dữ liệu:

Có thể nói gọn nghành tin học trong ba từ là lưu trữ, xử lý và khác thác

thông tin. Về mặt lưu trữ, các hệ quản trị cơ sở dữ liệu đều thực hiện rất tốt. Tuy

nhiên, khi lượng thông tin cần lưu trữ và khai thác trở nên khổng lồ đặc biệt trong

những nghành như ngân hàng, tài chính…đã làm nảy sinh khái niệm

DataWarehouse hay kho dữ liệu.

Kho dữ liệu là tuyển tập các cơ sở dữ liệu tích hợp, hướng chủ đề, được

thiết kế để hỗ trợ cho chức năng trợ giúp quyết định, mà mỗi đơn vị dữ liệu đều

liên quan tới một khỏang thời gian cụ thể.

Nói cách khác, kho dữ liệu là một tập hợp các cơ sở dữ liệu rất lớn tới hàng

trăm GB hay thậm chí hàng Terabyte dữ liệu từ nhiều phân hệ của hệ thống, lưu

trữ và phân tích phục vụ cho việc cung cấp các dịch vụ thông tin liên quan tới

nghiệp vụ hệ thống.

Mục tiêu chính của kho dữ liệu là giải quyết những vấn đề cơ bản sau:

2

1.1.1. Tích hợp dữ liệu và các siêu dữ liệu từ những nguồn khác nhau

1.1.2. Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tinh lọc dữ

liệu theo những hướng chủ đề nhất định.

1.1.3. Tổng hợp và kết nối dữ liệu

1.1.4. Đồng bộ hóa các nguồn dữ liệu với DW

1.1.5. Phân định và đồng nhất các hệ quản trị cơ sở dữ liệu tác nghiệp như là các

công cụ chuẩn để phục vụ cho DW.

1.1.6. Quản lý những siêu dữ liệu

1.1.7. Cung cấp các thông tin được tích hợp, tóm tắt hoặc được liên kết, được tổ chức

theo các chủ đề.

1.1.8. Dùng trong các hệ thống hỗ trợ quyết đinh.

1.2. Khai phá dữ liệu:

Khai phá dữ liệu (Data mining - DM) là một khái niệm ra đời vào những năm

cuối của thập kỷ 80. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông

tin có giá trị tiềm ẩn trong các tập dữ liệu lớn (các kho dữ liệu). Về bản chất, khai

phá dữ liệu liên quan đến việc phân tích các dữ liệu và sử dụng các kỹ thuật để tìm

ra các mẫu hình có tính chính quy (regularities) trong tập dữ liệu.

Quá trình khai phá dữ liệu sẽ tiến hành qua 6 giai đoạn như hình 1.1

3

Knowledge

Pattern

Discovery

Transformed

Data

Cleansed

Preprocessed

Preparated

Data

Target

Data

Gathering

Data Mining

Selection

Transformati

on

Cleansing Pre￾processing

Preparation

Envalution of

Rule

Interne

t,... t,...

Hình 1.1 Quá trình khai phá dữ liệu 6 giai đoạn

Bắt đầu quá trình là kho dữ liệu thô và kết thúc là tri thức được chiết xuất. Đây là một

quá trình rất phức tạp và khó khăn như: quản lý các tập dữ liệu, phải lặp đi lặp lại toàn bộ

quá trình,.v.v.

 Gom dữ liệu (Gathering)

Tập hợp dữ liệu là bước đầu tiên trong quá trình khai phá dữ liệu. Là bước khai thác

trong một cơ sở dữ liệu, một kho dữ liệu hoặc dữ liệu từ các nguồn ứng dụng Web.

 Trích lọc dữ liệu (Selection)

Dữ liệu được lựa chọn hoặc phân chia theo một số tiêu chuẩn, ví dụ chọn tất cả những

người có tuổi đời từ 25 – 35 và có trình độ đại học.

 Làm sạch, tiền xử lý và chuẩn bị dữ liệu (Cleansing, Pre-processing and

Preparation)

Là bước rất quan trọng trong quá trình khai phá dữ liệu “làm sạch - tiền xử lý - chuẩn

bị trước”.

4