Xây dựng hệ thống Data Warehouse và ứng dụng công nghệ Olap để phân tích dữ liệu kinh doanh của doanh nghiệp

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

---------------------------------------

NGUYỄN KHÁNH DUY

XÂY DỰNG HỆ THỐNG DATA

WAREHOUSE VÀ ỨNG DỤNG CÔNG

NGHỆ OLAP ĐỂ PHÂN TÍCH DỮ LIỆU

KINH DOANH CỦA DOANH NGHIỆP

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

TP. HỒ CHÍ MINH - 2019

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH

---------------------------------------

NGUYỄN KHÁNH DUY

XÂY DỰNG HỆ THỐNG DATA

WAREHOUSE VÀ ỨNG DỤNG CÔNG

NGHỆ OLAP ĐỂ PHÂN TÍCH DỮ LIỆU

KINH DOANH CỦA DOANH NGHIỆP

Chuyên ngành : Khoa học máy tính

Mã số chuyên ngành : 60 48 01 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

HƯỚNG DẪN KHOA HỌC

PGS.TS ĐỖ PHÚC

TP. HỒ CHÍ MINH - 2019

i

LỜI CAM ĐOAN

Tôi cam đoan rằng luận văn “XÂY DỰNG HỆ THỐNG DATA WAREHOUSE VÀ

ỨNG DỤNG CÔNG NGHỆ OLAP ĐỂ PHÂN TÍCH DỮ LIỆU KINH DOANH

CỦA DOANH NGHIỆP” là bài nghiên cứu của chính tôi.

Ngoại trừ những tài liệu tham khảo được trích dẫn trong luận văn này, tôi cam đoan

rằng toàn phần hay những phần nhỏ của luận văn này chưa từng được công bố hoặc

được sử dụng để nhận bằng cấp ở những nơi khác.

Không có sản phẩm/nghiên cứu nào của người khác được sử dụng trong luận văn này

mà không được trích dẫn theo đúng quy định.

Luận văn này chưa bao giờ được nộp để nhận bất kỳ bằng cấp nào tại các trường đại

học hoặc cơ sở đào tạo khác.

TP. Hồ Chí Minh, tháng 11 năm 2019

Nguyễn Khánh Duy

ii

LỜI CẢM ƠN

Sau thời gian học tập và nghiên cứu tại Trường Đại học Mở Thành phố Hồ Chí

Minh, bằng sự biết ơn và kính trọng, tôi xin gửi lời cảm ơn chân thành đến Ban giám

hiệu nhà trường, khoa Công nghệ thông tin cùng các giảng viên đã nhiệt tình giảng

dạy và tạo điều kiện tốt nhất cho tôi hoàn thành đề tài nghiên cứu khoa học này.

Đặc biệt tôi xin gửi lời cảm ơn sâu sắc đến thầy PGS.TS Đỗ Phúc, người đã trực

tiếp hướng dẫn tôi bằng tất cả sự nhiệt huyết của mình và luôn đồng hành cùng tôi

trong suốt quá trình thực hiện đề tài.

Tôi cũng xin chân thành cảm ơn các đồng nghiệp trong công ty đã tạo điều kiện

và giúp đỡ để tôi có thể hoàn thành đề tài nghiên cứu này.

Mặc dù đã rất cố gắng, nhưng do hạn chế về thời gian và một số điều kiện khách

quan nên luận văn không thể tránh khỏi những thiếu sót. Kính mong nhận được sự

đóng góp ý kiến của Quý thầy cô, bạn bè và các đồng nghiệp để đề tài được hoàn

thiện hơn nữa.

iii

TÓM TẮT

Trong thời đại hiện nay, dữ liệu đang trở thành nguồn tài nguyên vô tận để các

cá nhân, tổ chức khai thác ở mọi lĩnh vực. Nguồn tài nguyên này ngày càng trở nên

quan trọng đối với ngành bán lẻ, việc khai thác tốt dữ liệu sẽ giúp các nhà quản trị

đưa ra những quyết định mang tính chiến lược, đột phá nhằm mở rộng quy mô và

nâng cao lợi nhuận trong kinh doanh. Hệ thống Data Warehouse là một trong những

giải pháp hiệu quả nhất để quản lý lượng dữ liệu khổng lồ của doanh nghiệp. Chính

vì vậy mà tác giả lựa chọn thực hiện đề tài “Xây dựng hệ thống Data Warehouse và

ứng dụng công nghệ OLAP khai thác dữ liệu kinh doanh của doanh nghiệp” để giải

quyết 3 vấn đề chính:

− Xây dựng hệ thống Data Warehouse là nơi tập trung dữ liệu để Chuỗi cửa

hàng Retailer khai thác cho nhu cầu tạo báo cáo.

− Rút ngắn tối đa thời gian tạo báo cáo, ứng dụng kỹ thuật OLAP để phân tích

các dữ liệu mà hệ thống Data Warehouse cung cấp.

− Ứng dụng hệ thống Data Warehouse đã xây dựng vào thực tiễn vận hành

của Chuỗi cửa hàng Retailer.

Nội dung của chương 2 trình bày về kiến trúc dòng dữ liệu cũng như một số mô

hình dữ liệu của Data Warehouse; các kiến trúc của tiến trình trích xuất, biến đổi và

chuyển nạp dữ liệu; các thao tác OLAP thực thi phân tích dữ liệu đa chiều. Chương

này cũng đã nêu rõ ưu – khuyết điểm của từng kiến trúc để làm cơ sở cho giai đoạn

thiết kế Data Warehouse.

Chương 3 thực hiện khảo sát hiện trạng hệ thống, các yêu cầu tạo và phân tích

báo cáo làm căn cứ cho việc thiết kế kiến trúc của hệ thống Data Warehouse. Sau khi

hoàn tất khảo sát, tiến hành giai đoạn thiết kế kiến trúc dòng dữ liệu và lựa chọn mô

hình tổ chức dữ liệu phù hợp; xây dựng tiến trình trích xuất, biến đổi, chuyển nạp dữ

liệu; triển khai khối dữ liệu đa chiều thông qua các công cụ SSIS và SSAS của

Microsoft. Khối dữ liệu đa chiều này là đối tượng chính để các thao tác OLAP khai

thác dữ liệu.

iv

Chương 4 tiến hành sử dụng thao tác Drill down, Roll up, Slice, Dice nhằm tổng

hợp dữ liệu thành thông tin giúp nhà quản trị có căn cứ đưa ra những quyết định quan

trọng. Kỹ thuật OLAP tạo ra những báo cáo có khung nhìn linh động, thời gian thực

thi được rút ngắn đáng kể từ đó giải quyết được các mục tiêu ban đầu. Bên cạnh đó,

các hạn chế cũng được chỉ ra và đề xuất hướng giải quyết để dần hoàn thiện hệ thống

Data Warehouse.

v

ABSTRACT

Nowadays, data become an endless resource for individuals and organization to

exploit for their purpose. This resource has an especially important role in retail

industry. Data mining will support business managers making strategic and

breakthrough decisions to expand the organization scale and improve profits. Data

Warehouse system is one of the most effective solutions to manage huge data volume

of enterprises. Therefore, the author decided to choose the project “Builidng Data

Warehouse System And Organization Adoption Of OLAP Technology To Exploid

Data”. This project aim to solve 3 main objectives:

− Building Data Warehouse system that store all data of Retailer Convenience

Store Chain for reporting purpose.

− Increasing performance of creating reports, apply OLAP techniques to

analyze data provided by Data Warehouse system.

− Implementing Data Warehouse system to support operations of Retailer

Convenience Store Chain.

Chapter 2 covers data flow architectures and data models of Data Warehouse

system; the architectures of extraction, transformation and loading process (ETL); the

OLAP operations that analyze data using multidimensional database. This chapter

highlights advantages and disadvantages of each architecture for Data Warehouse

designing phase.

Chapter 3 carries out a system status survey, the requirements for creating and

analyzing reports. The author design data flow architecture and selecting the

appropriate data model base on result of survey; building extraction, transformation

and loading process; deploy OLAP cube by using SSIS and SSAS tools. This OLAP

cube is the main object for OLAP operations to exploit data.

Finally, chapter 4 applies OLAP operations Drill down, Roll up, Slice, Dice to

organize and present data in a given context so that making data become useful

vi

information. OLAP operations create reports with flexible views, shortening

execution time, supporting business managers making decisions. In addition,

limitions of this research were also pointed out and proposed solutions to improve the

Data Warehouse system.