Thư viện tri thức trực tuyến
Kho tài liệu với 50,000+ tài liệu học thuật
© 2023 Siêu thị PDF - Kho tài liệu học thuật hàng đầu Việt Nam
Một thuật toán huấn luyện mạng neuron dựa trên phương pháp Newton
Nội dung xem thử
Mô tả chi tiết
Trường ĐHCN Tp. HCM – Hội nghị Khoa học Công nghệ & Đào tạo lần thứ II 35
THUẬT TOÁN THÍCH NGHI HUẤN LUYỆN
MẠNG NEURON
Nguyễn Sĩ Dũng1
, Lê Hoài Quốc
2
1
Trường ĐH Công nghiệp Tp.HCM
2Sở KH-CN và MT TP. HCM
Tóm tắt
Mạng neuron nhân tạo (ANN) được ứng dụng có hiệu quả
trong nhiều lĩnh vực khác nhau. Có nhiều thuật toán về huấn
luyện ANN phát triển trên cơ sở cực tiểu hoá khai triển Taylor
hàm sai lệch tín hiệu ra Er(W). Có thể phân làm ba nhóm
chính: nhóm Gradient Decent (GD), nhóm Conjugate Gradient
(CG) và nhóm Newton (NT). Bài báo giới thiệu hai thuật toán
mới mang tên thuật toán TT* và thuật toán TT** về huấn luyện
mạng neuron dựa trên phương pháp Conjugate Gradient (CG)
với mục tiêu đặt ra là tăng tốc độ hội tụ của quá trình huấn
luyện mạng. Thuật toán TT** giúp quá trình tìm kiếm điểm cực
tiểu hàm sai số cuả thuật toán TT* vượt khỏi các điểm cực trị
địa phương nhằm tiệm cận tới điểm cực trị toàn cục. Kết quả
kiểm chứng cho thấy các thuật toán mới cải thiện tốt tốc độ
hội tụ và tính ổn định cuả CG chuẩn. Hiệu quả của hai thuật
toán càng được thể hiện rõ khi vector trọng số W của mạng
lớn. Nghiên cứu này là sự phát triển tiếp theo cuả [5], trong đó
trình bày giải pháp xác định vector hệ số thích nghi .