Giáo trình: Lý thuyết thông tin 1

Giáo trình: Lý thuyết thông tin.

MỤC LỤC

GIỚI THIỆU TỔNG QUAN.............................................................................................................6

1. MỤC ĐÍCH...........................................................................................................................6

2. YÊU CẦU .............................................................................................................................6

3. NỘI DUNG CỐT LÕI...........................................................................................................7

4. KẾT THỨC TIÊN QUYẾT ..................................................................................................7

5. TÀI LIỆU THAM KHẢO.....................................................................................................8

6. PHƯƠNG PHÁP HỌC TẬP.................................................................................................8

CHƯƠNG 1: GIỚI THIỆU...............................................................................................................9

1. Mục tiêu.................................................................................................................................9

2. Đối tượng nghiên cứu............................................................................................................9

3. Mô hình lý thuyết thông tin theo quan điểm Shannon ........................................................10

4. Lượng tin biết và chưa biết .................................................................................................10

5. Ví dụ về lượng tin biết và chưa biết....................................................................................10

6. Định lý cơ sở của kỹ thuật truyền tin ..................................................................................11

7. Mô tả trạng thái truyền tin có nhiễu ....................................................................................11

8. Minh họa kỹ thuật giảm nhiễu.............................................................................................12

9. Chi phí phải trả cho kỹ thuật giảm nhiễu ............................................................................13

10. Khái niệm về dung lượng kênh truyền............................................................................13

11. Vấn đề sinh mã ................................................................................................................13

12. Vấn đề giải mã.................................................................................................................13

CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN...............................................................................................15

BÀI 2.1: ENTROPY .......................................................................................................................15

1. Mục tiêu...............................................................................................................................15

2. Ví dụ về entropy..................................................................................................................15

3. Nhận xét về độ đo lượng tin................................................................................................15

4. Khái niệm entropy...............................................................................................................16

5. Entropy của một sự kiện......................................................................................................16

6. Entropy của một phân phối .................................................................................................16

7. Định lý dạng giải tích của Entropy......................................................................................16

8. Ví dụ minh họa....................................................................................................................17

9. Bài toán về cây tìm kiếm nhị phân-Đặt vấn đề ...................................................................17

10. Bài toán về cây tìm kiếm nhị phân - Diễn giải................................................................17

11. Bài tập .............................................................................................................................18

BÀI 2.2: CÁC TÍNH CHẤT CỦA ENTROPY .............................................................................19

1. Mục tiêu: .............................................................................................................................19

2. Các tính chất cơ bản của Entropy........................................................................................19

3. Minh họa tính chất 1 và 2....................................................................................................19

4. Minh họa tính chất 3 và 4....................................................................................................19

5. Định lý cực đại của entropy ................................................................................................20

6. Chứng minh định lý cực đại của Entropy............................................................................20

7. Bài tập .................................................................................................................................21

BÀI 2.3: ENTROPY CỦA NHIỀU BIẾN .....................................................................................22

1. Mục tiêu...............................................................................................................................22

2. Định nghĩa Entropy của nhiều biến.....................................................................................22

3. Ví dụ Entropy của nhiều biến..............................................................................................22

4. Định nghĩa Entropy có điều kiện.........................................................................................22

Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 1