Giảm ảnh hưởng của Outliers trong hồi qui sử dụng mạng Neural truyền thẳng

398

GIẢM ẢNH HƯỞNG CỦA OUTLIERS TRONG HỒI QUI SỬ DỤNG

MẠNG NEURAL TRUYỀN THẲNG

TS. Huỳnh Trung Hiếu, ThS. Nguyễn Thị Hồng Minh

Khoa Công Nghệ Thông Tin, Đại học Công Nghiệp Tp. HCM

Email: [email protected], [email protected]

Tóm tắt

Mạng neural nhân tạo được sử dụng phổ biến trong rất nhiều ứng dụng khác nhau

bao gồm cả các bài toán hồi quy hay xấp xỉ hàm. Tuy nhiên trong quá trình thu thập dữ

liệu để huấn luyện mạng có thể tồn tại các outliers, nó ảnh hưởng rất lớn đến kết quả xử

lý của mạng. Trong bài báo này, tác giả đề nghị một tiếp cận để giảm ảnh hưởng của các

outliers từ đó nâng cao độ chính xác trong xấp xỉ hàm cho các mạng neural truyền thẳng.

Mạng neural được sử dụng bao gồm một lớp ẩn được huấn luyện bằng thuật toán “máy học

cực độ” với hai giai đoạn. Ở giai đoạn một, các trọng số của mạng được ước lượng với

tập huấn luyện đầy đủ. Các giá trị đầu ra tương ứng với các mẫu huấn luyện được xác định,

nếu sai biệt giữa giá trị này với giá trị kỳ vọng của nó lớn hơn một ngưỡng nào đó thì mẫu

huấn luyện đó có thể được xem là oulier và bị loại bỏ khỏi tập huấn luyện. Sau khi loại bỏ

các outliers, mạng neural được huấn luyện lại trong giai đoạn hai. Hiệu quả của phương

pháp đề nghị đã được thể hiện qua kết quả thực nghiệm.

Summary

In this paper, authors proposed an effective method for reducing effects of outliers in

regression using single hidden layer feedforward neural networks (SLFNs). The

processes of training networks and detecting outliers consist of single steps, it does not

require the iterative process as other popular methods which results in very fast speed. It

does not depend on the distribution of data set. Experimental results showed that the

proposed method offers the good performance for regression problems existing outliers.

1. Giới thiệu

Phân tích hồi qui là một trong những công việc rất quan trọng trong học máy, nó dùng

đề xác định mối quan hệ giữa một hay nhiều biến nhập với các dự đoán. Một trong những

công cụ rất mạnh để giải quyết vấn đế này là mạng neural nhân tạo, nó được sử dụng rất phổ

biến trong nhiều ứng dụng khác nhau do khả năng giải quyết các bài toán phức tạp mà các

kỹ thuật có tham số không thể giải quyết được. Nhiều mô hình mạng neural đã được nghiên

cứu và phát triển. Tuy nhiên người ta chứng minh được rằng, mạng neural truyền thẳng một

lớp ẩn (SLFN) có thể xấp xỉ một hàm bất kỳ với lỗi vô cùng nhỏ [1]. Do đó trong bài báo

này mô hình SLFN sẽ được tập trung nghiên cứu.

Tiếp cận học phổ biến nhất của mạng neural là học có giám sát, trong đó mỗi mẫu

huấn luyện gồm hai phần; các giá trị nhập và giá trị xuất kỳ vọng của nó. Tuy nhiên trong quá

trình thu thập dữ liệu để huấn luyện mạng có thể xuất hiện các outliers, nó ảnh hưởng rất lớn

đến hiệu quả hồi qui của mạng neural.

Có nhiều tiếp cận khác nhau để xác định và phân tích các outliers [2-5]. Những