Tự Động Phân Tích Các Nội Dung Giống Nhau Trong Hệ Thống Tổng Hợp Ý Kiến Góp Ý Trong Hội Nghị

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

***

TRẦN THANH TÙNG

TỰ ĐỘNG PHÂN TÍCH CÁC NỘI DUNG

GIỐNG NHAU TRONG HỆ THỐNG TỔNG HỢP

Ý KIẾN GÓP Ý TRONG HỘI NGHỊ

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

HÀ NỘI - 2016

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

TRẦN THANH TÙNG

TỰ ĐỘNG PHÂN TÍCH CÁC NỘI DUNG

GIỐNG NHAU TRONG HỆ THỐNG TỔNG HỢP

Ý KIẾN GÓP Ý TRONG HỘI NGHỊ

Ngành: Công nghệ thông tin

Chuyên ngành: Hệ thống thông tin

Mã số: 60480104

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Người hướng dẫn khoa học

Cán bộ hướng dẫn chính: TS. Bùi Quang Hưng

Cán bộ hướng dẫn phụ: PGS.TS. Vũ Duy Lợi

HÀ NỘI - 2016

LỜI CAM ĐOAN

Tôi xin cam đoan kết quả đạt được trong luận văn là sản phẩm nghiên

cứu, tìm hiểu của riêng cá nhân tôi. Trong toàn bộ nội dung của luận văn,

những điều được trình bày hoặc là của cá nhân tôi hoặc là được tổng hợp

từ nhiều nguồn tài liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ

ràng và được trích dẫn hợp pháp.

Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo

quy định cho lời cam đoan của mình.

Hà Nội, ngày 26 tháng 10 năm 2016

Ngƣời cam đoan

Trần Thanh Tùng

4

LỜI CẢM ƠN

Tôi xin chân thành cảm ơn PGS.TS. Vũ Duy Lợi, chuyên viên cao cấp Văn

phòng Trung ương Đảng và TS. Bùi Quang Hưng, giảng viên trường Đại học

Công nghệ, Đại học Quốc gia Hà Nội đã tận tình giúp đỡ tôi về chuyên môn,

định hướng phát triển trong suốt quá trình làm luận văn.

Tôi xin gửi lời cám ơn tới các Thầy, Cô giáo của Khoa Công nghệ thông

tin, vì đã truyền dạy những kiến thức bổ ích, hiện đại về lĩnh vực Hệ thống

thông tin. Tôi đã được tiếp cận một môi trường học thuật cao, hiểu được sự vất

vả cũng như thành quả đạt được khi tham gia nghiên cứu khoa học.

Tôi xin cảm ơn các bạn trong nhóm Data Mining thuộc Trung tâm Công

nghệ tích hợp liên ngành giám sát hiện trường (FIMO center), Đại học Công

nghệ Hà Nội, TS. Nguyễn Việt Anh và Nhóm Giải pháp dữ liệu, Viện Công

nghệ thông tin, Viện Hàn lâm Khoa học và Công nghệ Việt Nam.

Cuối cùng, với gia đình, tôi xin gửi lời biết ơn sâu sắc vì gia đình đã luôn ở

bên cạnh tôi, mang lại cho tôi nguồn động viên tinh thần to lớn và tạo mọi điều

kiện thuận lợi cho tôi trong quá trình học tập và hoàn thành luận văn này.

Mặc dù đã rất cố gắng nhưng luận văn sẽ không tránh khỏi những thiếu sót.

Rất mong nhận được ý kiến đóng góp quý báu của Thầy, Cô giáo và các bạn để

luận văn được hoàn thiện hơn.

Xin trân trọng cảm ơn!

5

MỤC LỤC

LỜI CAM ĐOAN............................................................................................................ 3

LỜI CẢM ƠN.................................................................................................................. 4

MỤC LỤC....................................................................................................................... 5

BẢNG CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT................................................................ 7

DANH MỤC CÁC HÌNH VẼ......................................................................................... 8

MỞ ĐẦU....................................................................................................................... 10

CHƢƠNG 1: BÀI TOÁN TỔNG HỢP Ý KIẾN GÓP Ý TRONG HỘI NGHỊ.......... 14

1. Tổng quan về bài toán tổng hợp ý kiến góp ý trong Hội nghị..............................14

2. Giới thiệu phần mềm Hỗ trợ tổng hợp ý kiến thảo luận tổ tại Hội nghị Trung

ƣơng...........................................................................................................................15

2.1. Quy trình tổng hợp ý kiến thảo luận.............................................................. 16

2.2. Phần mềm Hỗ trợ tổng hợp ý kiến thảo luận Tổ ........................................... 19

3. Xác định bài toán cần giải quyết .....................................................................23

CHƢƠNG 2: CÁC PHƢƠNG PHÁP TÍNH ĐỘ TƢƠNG ĐỒNG CÂU ............... 25

1. Khái niệm độ tƣơng đồng câu..........................................................................25

2. Các phƣơng pháp tính độ tƣơng đồng câu .....................................................25

2.1. Phương pháp tính độ tương đồng câu dựa vào WordNet.............................. 25

2.2. Phương pháp tính độ tương đồng câu dựa vào Wikipedia............................ 30

2.3. Phương pháp tính độ tương đồng câu dựa vào chủ đề ẩn (Latent Dirichlet

Allocation) ..................................................................................................................... 34

2.4. Phương pháp tính độ tương đồng dựa vào phân tích ngữ nghĩa tiềm ẩn

(Latent Semantic Analysis)............................................................................................ 37

3. Đánh giá và lựa chọn phƣơng pháp ................................................................45

6

CHƢƠNG 3: ĐỀ XUẤT GIẢI PHÁP PHÁT HIỆN NỘI DUNG GIỐNG NHAU

TRONG HỆ THỐNG TỔNG HỢP Ý KIẾN GÓP Ý TRONG HỘI NGHỊ .......... 47

1. Đề xuất giải pháp phát hiện nội dung giống nhau trong phần mềm Hỗ trợ

tổng hợp ý kiến thảo luận tổ ...................................................................................47

2. Xử lý dữ liệu ......................................................................................................48

3. Thực nghiệm......................................................................................................48

3.1. Môi trường thực nghiệm ................................................................................ 48

3.2. Chương trình phần mềm................................................................................ 49

3.3. Dữ liệu thực nghiệm ...................................................................................... 50

3.4. Giao diện chương trình thực nghiệm............................................................. 50

4. Đánh giá kết quả thực nghiệm.........................................................................52

KẾT LUẬN .................................................................................................................. 53

Tài liệu tham khảo....................................................................................................... 55