Giáo trình Lỹ thuyết tín hiệu và truyền tin

Giáo trình Lý thuy t tín hi u và truy n tin ế ệ ề

L i nói đ u ờ ầ

Ngay nay, các lĩnh v c khoa h c máy tính và truy n thông đã ự ọ ề

thâm nh p l n nhau và g n k t d n đ n làm thay đ i r t nhi u lĩnh ậ ẫ ắ ế ẫ ế ổ ấ ề

v c công ngh và s n xu t. Chính đi u này đã làm cho r t nhi u ự ệ ả ấ ề ấ ề

lĩnh v c khoa h c công ngh có nh ng đi u ki n c s đ phát ự ọ ệ ữ ề ệ ơ ở ể

tri n m nh m . Trong hoàn c nh đó, vi c nghiên c u tìm hi u v lý ể ạ ẽ ả ệ ứ ể ề

thuy t tín hi u và truy n tin ngày càng tr nên quan tr ng và c n ế ệ ề ở ọ ầ

đ c đ t trong m t tình hình m i. ượ ặ ộ ớ

V i yêu c u c n có m t giáo trình cho sinh viên ngành Đi n t ớ ầ ầ ộ ệ ử

- Vi n thông, giáo trình Lý thuy t tín hi u và truy n tin đã đ c ễ ế ệ ề ượ

biên so n. Trong quá trình biên so n không tránh kh i thi u sót ạ ạ ỏ ế

mong đ c gi góp ý đ giáo trình ngày càng hoàn thi n h n. ọ ả ể ệ ơ

ThS. Đoàn H u Ch c ữ ứ 3 B môn K thu t Đi n t ộ ỹ ậ ệ ử

Giáo trình Lý thuy t tín hi u và truy n tin ế ệ ề

Ch ng 1 ươ

Các khái ni m c b n c a lý thuy t tín hi u và truy n tin ệ ơ ả ủ ế ệ ề

1.1. V trí, vai trò và l ch s phát tri n ị ị ử ể

1.1.1. V trí, vai trò c a lý thuy t thông tin ị ủ ế

Trong cu c s ng con ng i luôn có nhu c u trao đ i, giao ti p ộ ố ườ ầ ổ ế

v i nhau, cái mà m i ng i trao đ i v i nhau g i là thông tin. Nh ớ ỗ ườ ổ ớ ọ ờ

s phát tri n c a khoa h c công ngh , con ng i cũng có th nh n ự ể ủ ọ ệ ườ ể ậ

thông tin t đài, báo, m ng internet, truy n hình ... v.v. Hay đ n gi n ừ ạ ề ơ ả

nh các b n sinh viên nh n thông tin t gi ng viên và ph c t p h n ư ạ ậ ừ ả ứ ạ ơ

n a là s liên l c, thông tin gi a các m ng máy tính v i nhau. Đi u ữ ự ạ ữ ạ ớ ề

đó có nghĩa là thông tin là cái gì đó đ c truy n t đ i t ng này t i ượ ề ừ ố ượ ớ

đ i t ng khác đ chuy n, thông báo m t đi u gì đó. Thông tin s ố ượ ể ể ộ ề ẽ

ch có ý nghĩa khi đi u gì đó mà bên nh n ch a bi t. ỉ ề ậ ư ế

Nh nh ng ví d trên trình bày, thông tin có th đ c ch a ư ữ ụ ể ượ ứ

trong nhi u d ng nh hình nh, âm thanh, văn b n. Nh ng d ng này ề ạ ư ả ả ữ ạ

là v b c v t ch t c a thông tin. V b c có th hi u là ph n xác, ỏ ọ ậ ấ ủ ở ọ ể ể ầ

thông tin là ph n h n. ầ ồ

M t trong nh ng ph ng ti n đ di n đ t thông tin là ngôn ộ ữ ươ ệ ể ễ ạ

ng , thông tin ch có th đ c truy n đ t, hi u n u c hai bên ữ ỉ ể ượ ề ạ ể ế ả

truy n và nh n hi u đ c ng nghĩa c a nhau. ề ậ ể ượ ữ ủ

Thông tin có th đ c truy n ho c l u tr . Môi tr ng th c ể ượ ề ặ ư ữ ườ ự

hi n vi c đó đ c g i là môi tr ng ch a tin hay kênh tin. ệ ệ ượ ọ ườ ứ

ThS. Đoàn H u Ch c ữ ứ 4 B môn K thu t Đi n t ộ ỹ ậ ệ ử

Giáo trình Lý thuy t tín hi u và truy n tin ế ệ ề

Các đ i t ng s ng luôn có nhu c u tìm hi u v th gi i xung ố ượ ố ầ ể ề ế ớ

quang đ thích nghi t n t i và phát tri n. Thông tin tr thành m t ể ồ ạ ể ở ộ

nhu c u c b n, m t đi u ki n c n cho s t n t i và phát tri n. ầ ơ ả ộ ề ệ ầ ự ồ ạ ể

Ngày nay, khi khoa h c phát tri n m nh m thì thông tin ngày càng ọ ể ạ ẽ

tr nên quan tr ng đ i v i m i con ng i. M i hành đ ng c a con ở ọ ố ớ ỗ ườ ỗ ộ ủ

ng i đ u xu t phát t nh ng suy nghĩ c a ng i đó. M i suy nghĩ ườ ề ấ ừ ữ ủ ườ ỗ

đó l i ch u s nh h ng c a nh ng thông tin mà ng i đó có ạ ị ự ả ưở ủ ữ ườ

đ c, do v y hành đ ng c a con ng i ch u s nh h ng c a ượ ậ ộ ủ ườ ị ự ả ưở ủ

thông tin.

Đ ng v khía c nh khoa h c lý thuy t tín hi u và truy n tin ứ ề ạ ọ ế ệ ề

nghiên c u nh m t o ra m t đi u ki n t t cho vi c x lý phân tích ứ ằ ạ ộ ề ệ ố ệ ử

tín hi u và truy n tin nhanh chóng, an toàn và l u tr hi u qu . M t ệ ề ư ữ ệ ả ộ

cách t ng quát lý thuy t tín hi u và truy n tin nghiên c u các v n ổ ế ệ ề ứ ấ

đ v x lý thông tin. ề ề ử

M t s lĩnh v c nghiên c u c a môn h c: ộ ố ự ứ ủ ọ

- Phân tích, t ng h p tín hi u ổ ợ ệ

- Mã hoá ch ng nhi u ố ễ

- Nén d li u ữ ệ

- M t mã hoá ậ

Lý thuy t thông tin đã có nhi u ng d ng trong cu c s ng và ế ề ứ ụ ộ ố

khoa h c k thu t. S bùng n v thông tin đang làm thay đ i di n ọ ỹ ậ ự ổ ề ổ ệ

m o cu c s ng c a con ng i, t o ra s phát tri n m nh m c a ạ ộ ố ủ ườ ạ ự ể ạ ẽ ủ

các ph ng th c truy n thông, truy n tin và l u tr thông tin. Cũng ươ ứ ề ề ư ữ

chính nh thông tin mà con ng i đ c cung c p nh ng c s lý ờ ườ ượ ấ ữ ơ ở

thuy t và cái nhìn tri t h c sâu s c h n v các v n đ con ng i ế ế ọ ắ ơ ề ấ ề ườ

g p ph i hôm nay và trong t ng lai. Lý thuy t thông tin đã đ c áp ặ ả ươ ế ượ

d ng trong h u h t các lĩnh v c công ngh nh truy n thông, nén, ụ ầ ế ự ệ ư ề

b o m t, đ c bi t đã đ c áp d ng vào trong lĩnh v c giáo d c ả ậ ặ ệ ượ ụ ự ụ ở

nhi u khía c nh nh đào t o, nghiên c u và phát tri n công ngh . ề ạ ư ạ ứ ể ệ

ThS. Đoàn H u Ch c ữ ứ 5 B môn K thu t Đi n t ộ ỹ ậ ệ ử

Giáo trình Lý thuy t tín hi u và truy n tin ế ệ ề

V y lý thuy t tín hi u và thông tin đã có l ch s hình thành ậ ế ệ ị ử

phát tri n nh th nào? ể ư ế

1.1.2. L ch s hình thành và phát tri n ị ử ể

Ng i đ t viên g ch đ u tiên đ xây d ng lý thuy t thông tin ườ ặ ạ ầ ể ự ế

là Hartley R.V.L. Năm 1928, ông đã đ a ra s đo l ng thông tin là ư ố ượ

m t khái ni m trung tâm c a lý thuy t thông tin. D a vào khái ni m ộ ệ ủ ế ự ệ

này, ta có th so sánh đ nh l ng các h truy n tin v i nhau. Năm ể ị ượ ệ ề ớ

1933, V.A Kachenhicov ch ng minh m t lo t nh ng lu n đi m quan ứ ộ ạ ữ ậ ể

tr ng c a lý thuy t thông tin trong bài báo “V kh năng thông qua ọ ủ ế ề ả

c a không trung và dây d n trong h th ng liên l c đi n”. ủ ẫ ệ ố ạ ệ

Năm 1935, D.V Ageev đ a ra công trình “Lý thuy t tách tuy n ư ế ế

tính”, trong đó ông phát bi u nh ng nguyên t c c b n v lý thuy t ể ữ ắ ơ ả ề ế

tách các tín hi u. ệ

Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuy t ế

th ch ng nhi u’ đánh d u m t b c phát tri n r t quan tr ng c a ế ố ễ ấ ộ ướ ể ấ ọ ủ

lý thuy t thông tin. ế

Trong hai năm 1948 – 1949, Shanon C.E công b m t lo t các ố ộ ạ

công trình vĩ đ i, đ a s phát tri n c a lý thuy t thông tin lên m t ạ ư ự ể ủ ế ộ

b c ti n m i ch a t ng có. Trong các công trình này, nh vi c đ a ướ ế ớ ư ừ ờ ệ ư

vào khái ni m l ng thông tin và tính đ n c u trúc th ng kê c a tin, ệ ượ ế ấ ố ủ

ông đã ch ng minh m t lo t đ nh lý v kh năng thông qua c a kênh ứ ộ ạ ị ề ả ủ

truy n tin khi có nhi u và các đ nh lý mã hoá. Nh ng công trình này ề ễ ị ữ

là n n t ng v ng ch c c a lý thuy t thông tin. Ngày nay, lý thuy t ề ả ữ ắ ủ ế ế

thông tin phát tri n theo hai h ng ch y u sau: ể ướ ủ ế

Lý thuy t thông tin toán h c: ế ọ Xây d ng nh ng lu n đi m ự ữ ậ ể

thu n tuý toán h c và nh ng c s toán h c ch t ch c a lý thuy t ầ ọ ữ ơ ở ọ ặ ẽ ủ ế

thông tin. C ng hi n ch y u trong lĩnh v c này thu c v các nhà ố ế ủ ế ự ộ ề

bác h c l i l c nh : N.Wiener, A. Feinstain, C.E Shanon, A.N. ọ ỗ ạ ư

Kanmôgorov, A.JA Khintrin.

ThS. Đoàn H u Ch c ữ ứ 6 B môn K thu t Đi n t ộ ỹ ậ ệ ử

Giáo trình Lý thuy t tín hi u và truy n tin ế ệ ề

Lý thuy t thông tin ng d ng: ế ứ ụ (lý thuy t truy n tin) Chuyên ế ề

nghiên c u các bài toán th c t quan tr ng do k thu t liên l c đ t ứ ự ế ọ ỹ ậ ạ ặ

ra có liên quan đ n v n đ ch ng nhi u và nâng cao đ tin c y c a ế ấ ề ố ễ ộ ậ ủ

vi c truy n tin. Các bác h c C.E Shanon, S.O RiCe, D. Midleton, W. ệ ề ọ

Peterson, A.A Khakevich, V. Kachenhicov đã có nh ng công trình ữ

quý báu trong lĩnh v c này. ự

1.2. Tin t c và các khái ni m c b n ứ ệ ơ ả

1.2.1. Các đ nh nghĩa ị

1.2.1.1. Thông tin

Thông tin là m t khái ni m tr u t ng, phi v t ch t và r t khó ộ ệ ừ ượ ậ ấ ấ

đ nh nghĩa. Có nhi u cách đ nh nghĩa v thông tin. D i đây là m t ị ề ị ề ướ ộ

s đ nh nghĩa: ố ị

Thông tin là s c m hi u c a con ng i v th gi i xung ự ả ể ủ ườ ề ế ớ

quanh thông qua vi c ti p xúc v i nó. ệ ế ớ

Thông tin là m t h th ng nh ng tin báo và m nh l nh giúp ộ ệ ố ữ ệ ệ

lo i tr s không ch c ch n c a n i nh n tin. Nói m t cách ng n ạ ừ ự ắ ắ ủ ơ ậ ộ ắ

g n, thông tin là cái mà lo i tr s không ch c ch n. ọ ạ ừ ự ắ ắ

Đ nh nghĩa đ u tiên ch a nêu rõ b n ch t c a thông tin, đ nh ị ầ ư ả ấ ủ ị

nghĩa th hai nói rõ h n v b n ch t c a thông tin và đ c dùng đ ứ ơ ề ả ấ ủ ượ ể

đ nh l ng thông tin trong k thu t. ị ượ ỹ ậ

Ngoài ra có ng i còn đ nh nghĩa thông tin là nh ng tính ch t xác ườ ị ữ ấ

đ nh c a v t ch t mà con ng i (ho c h th ng k thu t) nh n ị ủ ậ ấ ườ ặ ệ ố ỹ ậ ậ

đ c t th gi i v t ch t bên ngoài ho c t nh ng quá trình x y ra ượ ừ ế ớ ậ ấ ặ ừ ữ ả

trong b n thân nó. ả

V i đ nh nghĩa này, m i ngành khoa h c là khám phá ra các ớ ị ọ ọ

c u trúc thông qua vi c thu th p, ch bi n, x lý thông tin. đây ấ ệ ậ ế ế ử Ở

“thông tin” là m t danh t ch không ph i là đ ng t đ ch m t ộ ừ ứ ả ộ ừ ể ỉ ộ

hành vi tác đ ng gi a hai đ i t ng (ng i, máy) liên l c v i nhau. ộ ữ ố ượ ườ ạ ớ

Theo quan đi m tri t h c, thông tin là m t qu ng tính c a th gi i ể ế ọ ộ ả ủ ế ớ

ThS. Đoàn H u Ch c ữ ứ 7 B môn K thu t Đi n t ộ ỹ ậ ệ ử

Giáo trình Lý thuy t tín hi u và truy n tin ế ệ ề

v t ch t (t ng t nh năng l ng, kh i l ng). Thông tin không ậ ấ ươ ự ư ượ ố ượ

đ c t o ra mà ch đ c s d ng b i h th c m. ượ ạ ỉ ượ ử ụ ở ệ ụ ả

Thông tin t n t i m t cách khách quan, không ph thu c vào ồ ạ ộ ụ ộ

h th c m. Trong nghĩa khái quát nh t, thông tin là s đa d ng. S ệ ụ ả ấ ự ạ ự

đa d ng đây có th hi u theo nhi u nghĩa khác nhau: Tính ng u ạ ở ể ể ề ẫ

nhiên, trình đ t ch c,… ộ ổ ứ

1.2.1.2. Tin

Tin là d ng v t ch t c th đ bi u di n ho c th hi n thông ạ ậ ấ ụ ể ể ể ễ ặ ể ệ

tin. Có hai d ng là tin r i r c và tin liên t c. ạ ờ ạ ụ

Ví d các b c nh, b n nh c, bài nói, b ng s li u, ...v.v là ụ ứ ả ả ạ ả ố ệ

các tin.

1.2.1.3. Tín hi uệ

Thông tin là m t hi n t ng v t lý, nó th ng t n t i và đ c ộ ệ ượ ậ ườ ồ ạ ượ

truy n đi d i d ng v t ch t nào đó. ề ướ ạ ậ ấ

Nh ng d ng v t ch t đ mang thông tin đ c g i là tín hi u. ữ ạ ậ ấ ể ượ ọ ệ

Trong k thu t có th hi u, tín hi u là các đ i l ng v t lý ỹ ậ ể ể ệ ạ ượ ậ

bi n thiên, ph n ánh tin c n truy n. ế ả ầ ề

C n chú ý r ng không ph i b n thân quá trình v t lý là tín hi u ầ ằ ả ả ậ ệ

mà s bi n đ i các tham s riêng c a quá trình v t lý m i là tín ự ế ổ ố ủ ậ ớ

hi u. Các đ c tr ng v t lý có th là dòng đi n, đi n áp, ánh sáng, ệ ặ ư ậ ể ệ ệ

âm thanh, ...v.v.

1.2.2. S đ kh i h th ng thông tin ơ ồ ố ệ ố

Ngay nay, v i s phát tri n m nh m c a công ngh đi n t ớ ự ể ạ ẽ ủ ệ ệ ử

vi n thông, có r t nhi u các h th ng thông tin khác nhau đã đ c ễ ấ ề ệ ố ượ

hình thành và phát tri n. Khi đó vi c phân lo i các h th ng thông ể ệ ạ ệ ố

tin có th đ c d a trên nhi u c s khác nhau. Ví d nh d a trên ể ượ ự ề ơ ở ụ ư ự

ThS. Đoàn H u Ch c ữ ứ 8 B môn K thu t Đi n t ộ ỹ ậ ệ ử

Giáo trình Lý thuy t tín hi u và truy n tin ế ệ ề

c s v năng l ng mang tin có th chia các h th ng truy n tin ơ ở ề ượ ể ệ ố ề

thành các lo i nh : ạ ư

- H th ng thông tin vô tuy n dùng sóng đi n t ệ ố ế ệ ừ

- H th ng thông tin quang h u tuy n dùng ánh sáng ệ ố ữ ế

- H th ng thông tin dùng sóng âm, siêu âm (năng l ng c ệ ố ượ ơ

h c)... ọ

Hay d a vào các bi u hi n bên ngoài mà ta chia thành các h ự ể ệ ệ

th ng nh : ố ư

- H th ng truy n s li u ệ ố ề ố ệ

- H th ng truy n hình ệ ố ề

- H th ng đi n tho i c đ nh công c ng ệ ố ệ ạ ố ị ộ

- H th ng thông tin di đ ng,...v.v. ệ ố ộ

Chúng ta cũng có th chia h th ng thông tin thành hai lo i h ể ệ ố ạ ệ

th ng: ố

- H th ng truy n tin r i r c ệ ố ề ờ ạ

- H th ng truy n tin liên t c ệ ố ề ụ

Tuy nhiên, m t cách t ng quát h th ng thông tin có th đ c ộ ổ ệ ố ể ượ

bi u di n b i s đ kh i sau: ể ễ ở ơ ồ ố

1.2.2.1. Ngu n tin ồ

Ngu n tin là n i s n sinh ra hay ch a các tin c n truy n đi. ồ ơ ả ứ ầ ề

Khi m t đ ng truy n tin đ c thi t l p đ truy n tin t ngu n tin ộ ườ ề ượ ế ậ ể ề ừ ồ

đ n n i nh n tin, m t dãy các ph n t c s (các tin) c a ngu n s ế ơ ậ ộ ầ ử ơ ở ủ ồ ẽ

đ c truy n đi v i m t phân b xác su t nào đó. Dãy này đ c g i ượ ề ớ ộ ố ấ ượ ọ

là m t b n tin. Do đó có th đ nh nghĩa: ộ ả ể ị

ThS. Đoàn H u Ch c ữ ứ 9 B môn K thu t Đi n t ộ ỹ ậ ệ ử

Ngu n tin ồ Kênh tin Nh n tin ậ

Nhi uễ

Hình 1.1. S đ kh i h th ng thông tin ơ ồ ố ệ ố