Tài liệu Luận án cao học - chương 2

Luaän aùn Cao hoïc

Chöông 2 - Maïng neuron nhaân taïo 2.1

2

Maïng neuron Nhaân taïo

Noä

äi Dung

2.1 Lòch söû phaùt trieån vaø caùc öùng duïng cuûa maïng Neuron...............................2.2

2.2 Boä naõo ngöôøi vaø Neuron sinh hoïc ................................................................2.5

2.3 Moâ hình Neuron nhaân taïo ............................................................................2.8

2.3.1 Moâ hình neuron 1 ngoõ vaøo............................................................................... 2.8

2.3.2 Moâ hình neuron nhieàu ngoõ vaøo ..................................................................... 2.11

2.4 Maïng Neuron ...............................................................................................2.11

2.4.1 Phaân loaïi maïng neuron ................................................................................. 2.11

2.4.2 Maïng neuron 1 lôùp ......................................................................................... 2.12

2.4.3 Maïng neuron nhieàu lôùp.................................................................................. 2.13

2.5 Huaán luyeän maïng ........................................................................................2.15

2.5.1 Hoïc coù giaùm saùt .............................................................................................. 2.15

2.5.2 Hoïc khoâng giaùm saùt ....................................................................................... 2.15

2.5.3 Hoïc taêng cöôøng............................................................................................... 2.18

2.6 Moät soá Giaûi thuaät huaán luyeän thoâng duïng.................................................2.20

2.6.1 Giaûi thuaät gradient descent ............................................................................ 2.22

2.6.2 Giaûi thuaät gradient descent with momentum ................................................ 2.24

2.6.3 Giaûi thuaät gradient descent with adaptive learning rate............................... 2.25

2.6.4 Giaûi thuaät gradient descent with momentum & adaptive lr.......................... 2.26

2.6.5 Giaûi thuaät truyeàn ngöôïc Resilient.................................................................. 2.27

2.6.6 Giaûi thuaät BFGS Quasi-Newton .................................................................... 2.28

2.6.7 Giaûi thuaät Levenberg-Marquardt................................................................... 2.29

2.6.8 So saùnh caùc giaûi thuaät.................................................................................... 2.30

2.7 Qui trình thieát keá maïng Neuron öùng duïng.................................................2.32

2.8 Vaøi kyõ thuaät phuï trôï.....................................................................................2.33

2.8.1 Tieàn xöû lyù döõ lieäu............................................................................................ 2.33

2.8.2 Khaû naêng toång quaùt hoùa cuûa maïng............................................................... 2.35

2.8.3 Kích thöôùc toái öu cuûa maïng........................................................................... 2.36

2.9 Toùm taét .........................................................................................................2.38

Taøi lieäu tham khaûo chöông 2 ............................................................................2.39

2

Luaän aùn Cao hoïc

Chöông 2 - Maïng neuron nhaân taïo 2.2

2.1 Lòch söû phaùt trieån vaø Caùc öùng duïng cuûa maïng Neuron

Lòch söû phaùt trieån cuûa maïng neuron ñöôïc toùm taét nhö hình 2.1, [1].

Naêm 1890, nhaø taâm lyù hoïc William James ñaõ ñöa ra nhaän xeùt: Khi hai

quaù trình cô baûn cuûa boä naõo taùc ñoäng laãn nhau hoaëc xaûy ra laàn löôït thì moät

trong chuùng seõ truyeàn kích thích ñeán quaù trình coøn laïi.

Naêm 1936, Alan Turing laø ngöôøi ñaàu tieân söû duïng boä naõo nhö moät moâ

hình xöû lyù thoâng tin. Naêm 1943, Warren McCulloch vaø Walter Pitts ñaõ ñeà xuaát

caùch thöùc hoaït ñoäng cuûa caùc neuron, hoï ñaõ taïo ra moät maïng neuron ñôn giaûn

baèng caùc maïch ñieän. Töø ñoù caùc nhaø khoa hoïc lao vaøo nghieân cöùu cheá taïo caùc

boä maùy thoâng minh.

Hình 2.1 Lòch söû phaùt trieån cuûa maïng neuron

Naêm 1949, Donald Hebb ñeà xuaát moät giaûi thuaät huaán luyeän maïng neuron

raát noåi tieáng, maø ngaøy nay noù vaãn coøn ñöôïc söû duïng.

Thaäp nieân 50 laø thôøi kyø maø maïng neuron phaùt trieån caû phaàn cöùng laãn

phaàn meàm. Nathaniel Rochester vaø moät soá ngöôøi khaùc töø caùc phoøng thí nghieäm

cuûa IBM ñaõ xaây döïng phaàn meàm moâ phoûng maïng neuron döïa treân giaûi thuaät

cuûa Hebb.

Cuoái 1980s -nay: ÖÙng duïng trong nhieàu lónh vöïc

1982: Maïng Hopfield 1 lôùp, caùc nghieân cöùu ñöôïc tieáp tuïc

1970s: Caùc nghieân cöùu ñoät nhieân laéng dòu

1969: Caùc baøi baùo cuûa Minsky & Papert, Perceptrons

Cuoái 50s-60s: Nhieàu noå löïc, AI & Neural Computing Fields ñöôïc

thaønh laäp

1956: Dartmouth Summer Research Project

1950s: Phaàn meàm phaùt trieån maïnh

1949: Giaûi thuaät huaán luyeän cuûa Donald Hebb

1943: Mcculloch & Pitts coâng boá veà moâ hình neuron ñôn giaûn

1936: Turing duøng boä naõo nhö moâ hình xöû lyù thoâng tin

1890: Khaùi nieäm cuûa William James.

2

Luaän aùn Cao hoïc

Chöông 2 - Maïng neuron nhaân taïo 2.3

Naêm 1957, Frank Rosenblatt baét ñaàu nghieân cöùu veà maïng Perceptron vaø

ñaõ thaønh coâng trong vieäc thieát keá Mark I Perceptron neurocomputer, ñoù laø

maïng neuron coå ñieån nhaát vaãn coøn söû duïng tôùi ngaøy nay [11].

Naêm 1959, Bernard Widrow vaø Marcian Hoff ñaõ xaây döïng maïng

ADALINE, noù laø aùp duïng ñaàu tieân cuûa maïng neuron vaøo thöïc teá ñeå daäp tieáng

voïng treân ñöôøng daây ñieän thoaïi. Naêm 1967, Avalanche aùp duïng caùc maïng

neuron vaøo vieäc nhaän daïng gioïng noùi, ñieàu khieån motor vaø moät soá öùng duïng

khaùc.

Töø naêm 1969 ñeán 1981 maïng neuron rôi vaøo traïng thaùi im laëng caû veà

nghieân cöùu vaø öùng duïng. Tuy nhieân, coù theå keå ñeán caùc baøi baùo cuûa Marvin

Minsky vaø Seymour Papert bình luaän veà maïng Perceptron, caùc nghieân cöùu veà

quaù trình hoïc cuûa maïng nhieàu lôùp, maïng töï toå chöùc (Self Organization) cuûa

Teuvo Kohonen, maïng kieåu boä nhôù keát hôïp (BAM – Bidirectional Associative

Memory) cuûa Anderson vaø maïng ART (Adaptive Resonance Theory neural

networks) cuûa Capenter [2].

Naêm 1982, John Hopfield coâng boá moät coâng trình veà maïng neuron moät

lôùp treân National Academy of Sciences, noù ñöôïc coi laø moät ñoäng cô ñeå loâi keùo

caùc nhaø khoa hoïc quay trôû laïi nghieân cöùu veà maïng neuron. Ñaây laø thôøi kyø

phuïc höng cuûa caùc nghieân cöùu vaø öùng duïng maïnh meõ cuûa maïng neuron vôùi caùc

nghieân cöùu veà giaûi thuaät lan truyeàn ngöôïc sai soá (backpropagation of error),

maïng Boltzmann, maïng Neocognitron cuûa Fukushima.

Töø cuoái thaäp nieân 80, ñaàu thaäp nieân 90 ñeán ngaøy nay, maïng neuron ñaõ

khaúng ñònh ñöôïc vò trí cuûa mình trong nhieàu öùng duïng khaùc nhau. Caùc lónh vöïc

öùng duïng cuûa maïng neuron coù theå toùm taét nhö sau [3]:

♦ Khoâng gian vuõ truï:

Phi thuyeàn khoâng ngöôøi laùi, moâ phoûng ñöôøng bay, taêng cöôøng khaû

naêng ñieàu khieån, moâ phoûng caùc chi tieát trong maùy bay, phi thuyeàn,

döï baùo hoûng hoùc …

♦ Giao thoâng:

Höôùng daãn löu thoâng töï ñoäng, phaân tích caûnh baùo tình traïng giao

thoâng, xaùc ñònh ñöôøng ñi toái öu.

♦ Ngaân haøng:

Kieåm soaùt caùc hoùa ñôn chöùng töø vaø caùc taøi lieäu khaùc, döï baùo chöùng

khoaùn, kieåm tra theû tín duïng, …

2