Lý thuyết thông tin

CH NG 1. GI I THI U CHUNG ƯƠ Ớ Ệ

1.1. S l c v s phát tri n thông tin s ơ ượ ề ự ể ố

- Telegraphy: là h th ng thông tin liên l c b ng đi n tín, đánh d u s phát tri n đ u ệ ố ạ ằ ệ ấ ự ể ầ

tiên c a h th ng truy n thông đi n. Đây là m t h th ng truy n thông s . Truy n ủ ệ ố ề ệ ộ ệ ố ề ố ề

thông đi n báo đ c kh i x ng b i Samuel Morse và đ c công b vào năm 1837. ệ ượ ở ướ ở ượ ố

Morse đã phát minh ra mã nh phân có chi u dài thay đ i b ng cách s d ng chu i các ị ề ổ ằ ử ụ ỗ

d u ch m (∙) và d u g ch (-) (g i là các t mã) đ bi u di n cho các m u t alphabet ấ ấ ấ ạ ọ ừ ể ể ễ ẫ ự

c a Ti ng Anh. V i mã này, các m u t trong b n tin xu t hi n v i t n xu t nhi u ủ ế ớ ẫ ự ả ấ ệ ớ ầ ấ ề

h n s đ c bi u di n b ng các t mã ng n còn cac m u t xu t hi n v i t n xu t ơ ẽ ượ ể ễ ằ ừ ắ ẫ ự ấ ệ ớ ầ ấ

ít s đ c bi u di n b ng các t mã dài h n. Cũng chính vì th mà mã Morse là ti n ẽ ượ ể ễ ằ ừ ơ ế ề

thân c a các ph ng pháp mã hóa ngu n có chi u dài t mã thay đ i. Minh hoa vê ma ủ ươ ồ ề ừ ổ ̣ ̀ ̃

Morse:

- Năm 1875: G n 40 năm, sau th i kỳ c a Morse, Emile Baudot đã đ xu t m t lo i ầ ờ ủ ề ấ ộ ạ

mã dành cho truy n thông đi n tín trong đó các m u t trong b ng Alphabet Ti ng ề ệ ẫ ự ả ế

Anh đ c mã hóa b i các t mã nh phân có chi u dài t mã c đ nh b ng 5. V i mã ượ ở ừ ị ề ừ ố ị ằ ớ

Baudot, các thành ph n c a t mã nh phân này là các bit d u “1” ho c bit tr ng “0”. ầ ủ ừ ị ấ ặ ố

Minh hoa ma Baudot: ̣ ̃

M c dù Morse đã kh i x ng cho s phát tri n c a h th ng truy n thông s ặ ở ướ ự ể ủ ệ ố ề ố

b ng đi n đ u tiên là h th ng đi n tín (Telegraphy), cũng đ c xem nh là truy n ằ ệ ầ ệ ố ệ ượ ư ề

thông s hi n đ i, đăc biêt la b t ngu n cho nghiên c u c a Nyquist năm 1924. ố ệ ạ ̣ ̣ ̀ ắ ồ ứ ủ

Nyquist đã t p trung vào vi c xác đ nh t c đ truy n tín hi u t i đa có th đ t đ c ậ ệ ị ố ộ ề ệ ố ể ạ ượ

qua m t kênh truy n đi n tín v i đ r ng băng kênh cho tr c mà không có nhi u liên ộ ề ệ ớ ộ ộ ướ ễ

ký hi u (ISI). Ông đã đ a ra đ c mô hình toán h c c a m t h th ng truy n thông ệ ư ượ ọ ủ ộ ệ ố ề

đi n tín (Telegraph) trong đó tín hi u phát đi có d ng t ng quát: ệ ệ ạ ổ

( ) ( ) n

n

s t a g t nT = − ∑

Trong đo an la chuôi d liêu nhi phân ́ ̀ ̃ ư ̣ ̣ { ±1} đ c truyên v i tôc đô ượ ̀ ớ ́ ̣ b

1 T bit s . Nyquist

đa xac đinh đ c dang xung tôi u co băng tân gi i han t i W Hz đam bao tôc đô bit tôi ̃ ́ ̣ ượ ̣ ́ ư ́ ̀ ớ ̣ ớ ̉ ̉ ́ ̣ ́

đa ma không gây ra nhiêu ky hiêu (ISI). ̀ ̃ ́ ̣

1.2. H th ng thông tin s ệ ố ố

1.2.1. Khái ni m v thông tin s ệ ề ố

Tr c h t ta c n hi u khái ni m “digital” đây có nghĩa là giá tr r i r c và có ướ ế ầ ể ệ ở ị ờ ạ

hàm ý r ng tín hi u có m t bi n giá tr nguyên đ c l p. Thông tin s bao g m các con ằ ệ ộ ế ị ộ ậ ố ồ

s và các ký hi u (ví d nh các ký t trên bàn phím). Máy tính d a trên d ng th ố ệ ụ ư ự ự ạ ể

hi n s (digital) c a thông tin đ x lý. Các ký hi u (symbols) không có giá tr s và ệ ố ủ ể ử ệ ị ố

m i ký hi u đ c máy tính bi u di n b i m t s duy nh t. Ví d nh mã ASCII bi u ỗ ệ ượ ể ễ ở ộ ố ấ ụ ư ể

di n ký t “a” t ng ng v i giá tr s ễ ự ươ ứ ớ ị ố ( ) 10

97 và ký t “A” t ng ng v i giá tr s ự ươ ứ ớ ị ố

( ) 10

65 .

1.2.2. Mô hình h truy n tin s nói chung ệ ề ố

Hinh 1.1: Cac thanh phân c ban cua môt hê thông thông tin sô ̀ ́ ̀ ̀ ơ ̉ ̉ ̣ ̣ ́ ́

Hình 1.1 minh h a s đ ch c năng và các thành ph n c b n c a h th ng ọ ơ ồ ứ ầ ơ ả ủ ệ ố

truy n thông s . đó, đ u ra c a ngu n phát tin cũng có th là tín hi u t ng t nh ề ố Ở ầ ủ ồ ể ệ ươ ự ư

tín hi u audio hay video ho c tín hi u s ch ng h n nh đ u ra c a máy đi n báo ệ ặ ệ ố ẳ ạ ư ầ ủ ệ

đánh ch (teletype). Trong h th ng truy n thông s , các b n tin đ c t o ra t các ư ệ ố ề ố ả ượ ạ ừ

ngu n phát tin đ c chuy n thành chu i ký hi u nh phân (binary digits). M t cách lý ồ ượ ể ỗ ệ ị ộ

t ng là chúng ta mong mu n b n tin đ u ra ngu n phát tin là có ít hay không có ưở ố ả ở ầ ồ

thành ph n d th a. Quá trình chuy n đ i hi u qu các b n tin đ u ra c a ngu n phát ầ ư ừ ể ổ ệ ả ả ầ ủ ồ

tin t ng t hay s thành m t chu i các ký hi u nh phân đ c g i là mã hóa ngu n ươ ự ố ộ ỗ ệ ị ượ ọ ồ

hay nén d li u. ư ệ

Chu i ký hi u nh phân t o ra b i b mã hóa ngu n mà chúng ta còn g i là ỗ ệ ị ạ ở ộ ồ ọ

chu i thông tin, đ c đ a qua b mã hóa kênh. Chu i nh phân t i đ u ra c a b mã ỗ ượ ư ộ ỗ ị ạ ầ ủ ộ

hóa kênh l i đ c cho qua b đi u ch s đ t o d ng thích h p v i kênh truy n ạ ượ ộ ề ế ố ể ạ ạ ợ ớ ề

thông.

1.2.3. Kênh truy n tin ề

Kênh truy n thông là môi tr ng đ truy n tín hi u t máy phát đ n máy thu. ề ườ ể ề ệ ừ ế

V i truy n d n vô tuy n, kênh có th là áp su t khí quy n (kho ng không t do). V i ớ ề ẫ ế ể ấ ể ả ự ớ

môi tr ng khác nh các kênh tho i h u tuy n, th ng là ch t li u v t lý nh các ườ ư ạ ư ế ườ ấ ệ ậ ư

dây d n kim lo i, cáp s i quang. ẫ ạ ợ

- Kênh s dung dây dân kim loai (wireline) ử ̣ ̃ ̣

- Kênh s dung s i quang (Fiber Optic Channels) ử ̣ ợ

- Kênh vô tuyên s dung điên t tr ng (Wireless Electromagnetic Channels) ́ ử ̣ ̣ ừ ườ

Hình 1.2: Đ ng truyên tin s dung song tr i va song đât: ườ ̀ ử ̣ ́ ờ ̀ ́ ́

- Kênh truyên tin hiêu âm thanh d i n c (underwater acoustic channels) ̀ ́ ̣ ướ ướ

- Kênh l u tr (storage channels). ư ư

1.3. Tín hi u băng c s và tín hi u băng thông d i ệ ơ ở ệ ả

1.3.1. Tín hi u băng c s ệ ơ ở

Thuật ngư băng cơ sở chỉ miền tần số của tín hiệu b nả tin và thường đó là

tin hiệu băng thông thấp. Tín hi uệ băng cơ sở có thể ở dạng số hay tương tự. Đối

với tín hi uệ tương t : ự cả th i ờ gian và biên độ là liên tục. Đối v i ớ tín hiệu số: Th i ờ

gian và biên độ (dạng sóng) đều rời rạc (ví dụ lối ra của máy tính có thể coi là tín

hi uệ số băng cơ s ). ở

1.3.2. Tín hi u băng thông d i ệ ả

Để truyền dẫn, tín hi uệ b nả tin phải được chuyển thành tín hi uệ phát có

tính chất phù hợp với kênh truyền. Trong truyền dẫn băng cơ sở: Băng t nầ kênh hỗ

trợ phù hợp với băng t nầ tín hiệu bản tin nên có thể truyền trực ti pế tín hiệu bản

tin. Trong truyền d nẫ băng thông dải: Băng t nầ của kênh có t nầ số trung tâm lớn

hơn nhiều t nầ số cao nhất c a ủ tín hiệu bản tin. Khi đó tín hiệu được phát đi là tin

hiệu băng thông dải (phù hợp với kênh truyền) mang thông tin của tín hiệu bản

tin. Việc t oạ ra tín hi u ệ băng thông dải này goi là đi uề chế. Khi nghiên cứu tín hi uệ

băng thông dải, thường người ta dùng phương pháp đ a ư về tín hi uệ băng cơ sở

tương.

Liên hệ nghịch đảo giữa th i ờ gian và t nầ số:

Theo nh ng tính ch t c a bi n đ i Fourier trong lý thuy t x lý tín hi u có th ư ấ ủ ế ổ ế ử ệ ể

rút ra nh ng tính ch t căn b n sau: ư ấ ả

- Mô t mi n th i gian c a m t tín hi u thay đ i có chi u ng c v i mô t ả ề ờ ủ ộ ệ ổ ề ượ ớ ả

mi n t n s c a tín hi u: ví d chu kỳ c a tín hi u tăng thì t n s c a nó gi m, xung ề ầ ố ủ ệ ụ ủ ệ ầ ố ủ ả

càng h p thì ph càng r ng… ẹ ổ ộ

- N u tín hi u là gi i h n trên mi n t n s , thì mô t trên mi n th i gian s là ế ệ ớ ạ ề ầ ố ả ề ờ ẽ

vô h n dù biên đ c a nó ngày càng nh (xung sinc(t) là m t ví d ). Ng c l i n u ạ ộ ủ ỏ ộ ụ ượ ạ ế

tín hi u b gi i h n trong mi n th i gian thì ph c a nó r ng vô cùng. ( chú ý là không ệ ị ớ ạ ề ờ ổ ủ ộ

có tín hi u đ ng th i gi i h n c v t n s l n th i gian song l i có th có tín hi u ệ ồ ờ ớ ạ ả ề ầ ố ẫ ờ ạ ể ệ

vô h n c v t n s l n th i gian). ạ ả ề ầ ố ẫ ờ

1.4. u, nh c đi m c a h th ng thông tin s Ư ượ ể ủ ệ ố ố

1.4.1. Nh ng u đi m c a thông tin s ữ ư ể ủ ố

(1). Tăng đ c kh năng truy n d n d li u ượ ả ề ẫ ư ệ

(2). Tăng kh năng tích h p, đ ph c t p và s tin c y c a các h th ng đi n t s ả ợ ộ ứ ạ ự ậ ủ ệ ố ệ ử ố

trong vi c x lý tín hi u, đ ng th i v i giá thành gi m. ệ ử ệ ồ ờ ớ ả

(3). D dàng trong vi c mã hóa đ nén d li u. ễ ệ ể ư ệ

(4). Kh năng mã hóa kênh đ t i thi u hóa các nh h ng c a t p và nhi u. ả ể ố ể ả ưở ủ ạ ễ

(5). D dàng cân đ i công su t, th i gian và đ r ng d i thông đ t i u hóa vi c s ễ ố ấ ờ ộ ộ ả ể ố ư ệ ử

d ng tài nguyên có h n này. ụ ạ

(6). D dàng chu n hóa các tín hi u, b t k ki u, ngu n g c và d ch v mà chúng ễ ẩ ệ ấ ể ể ồ ố ị ụ

cung c p d n t i vi c thi t l p m t m ng s liên k t đa d ch v . ấ ẫ ớ ệ ế ậ ộ ạ ố ế ị ụ

1.4.2. M t s nh c đi m c a thông tin s ộ ố ượ ể ủ ố

(1). H th ng thông tin s th ng ph c t p h n m t h th ng t ng t t ng ệ ố ố ườ ứ ạ ơ ộ ệ ố ươ ự ươ

đ ng. ươ

(2). Chi phí l p đ t l n h n so v i thông tin t ng t do trong thông tin s bao g m ắ ặ ớ ơ ớ ươ ự ố ồ

nhi u thành ph n h n. ề ầ ơ

(3). Yêu c u đ chính xác cao đ c bi t trong các h th ng đ ng b s . ầ ộ ặ ệ ệ ố ồ ộ ố

CH NG 2. TRUY N TIN BĂNG C S ƯƠ Ề Ơ Ở

2.1. Nhi u giao thoa ký hi u (ISI) ễ ệ

2.1.1. Nh ng v n đ v nhi u giao thoa ký hi u ữ ấ ề ề ễ ệ

V i b t kỳ kênh th c t nào, không th tránh kh i hi n t ng tr i r ng các ký ớ ấ ự ế ể ỏ ệ ượ ả ộ

hi u d li u riêng l khi đi qua kênh. V i các ký hi u liên ti p nhau, m t ph n năng ệ ư ệ ẻ ớ ệ ế ộ ầ

l ng ký hi u ch ng l n sang các ký hi u bên c nh, hi n t ng này đ c g i là ượ ệ ồ ấ ệ ạ ệ ượ ượ ọ

nhi u giao thoa gi a các ký hi u (ISI-Intersymbol Interference). Ngoài ra, quá trình l c ễ ư ệ ọ

trong máy phát và máy thu cũng có th t làm suy gi m ISI. Khi các b c thi t k ể ự ả ướ ế ế

đ c th c hi n th n tr ng thì ISI có th suy gi m đáng k , b tách d li u có kh ượ ự ệ ậ ọ ể ả ể ộ ư ệ ả

năng phân bi t đ c m t chu i các ký hi u riêng bi t t m t năng l ng h n h p ệ ượ ộ ỗ ệ ệ ừ ộ ượ ỗ ợ

c a các ký hi u bên c nh. Th m chí, n u t p âm không tham gia vào kênh thì có th ủ ệ ạ ậ ế ạ ể

tách l i g i là t l l i t i gi n và đó ít nh t s gi m b t t s l i bit hay l i ký ỗ ọ ỷ ệ ỗ ố ả ở ấ ẽ ả ớ ỷ ố ỗ ỗ

hi u trong tr ng h p có t p âm. ệ ườ ợ ạ

Hình 2.1: ISI do b l c kênh. ộ ọ

B ng cách đi u ch nh các đ c tính l c c a kênh (v i b t kỳ quá trình thu hay ằ ề ỉ ặ ọ ủ ớ ấ

phát thông tin), có th đi u khi n ISI đ gi m t l l i bit trên đ ng truy n. Nh ng ể ề ể ể ả ỷ ệ ỗ ườ ề ư

k t qu này thu đ c b ng cách đ m b o r ng hàm truy n đ t c a b l c kênh t ng ế ả ượ ằ ả ả ằ ề ạ ủ ộ ọ ổ

th có h s đáp ng t n s Nyquist. ể ệ ố ứ ầ ố