Kỹ thuật xử lý vùng quan sát và phát triển bất thường của các đối tượng trong hệ thống camera giám sát

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

_______________________________________________

NGÔ ĐỨC VĨNH

KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT VÀ PHÁT HIỆN

BẤT THƯỜNG CỦA CÁC ĐỐI TƯỢNG TRONG

HỆ THỐNG CAMERA GIÁM SÁT

LUẬN ÁN TIẾN SĨ TOÁN HỌC

HÀ NỘI – 2016

VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

_______________________________________________

NGÔ ĐỨC VĨNH

KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT VÀ PHÁT

HIỆN BẤT THƯỜNG CỦA CÁC ĐỐI TƯỢNG

TRONG HỆ THỐNG CAMERA GIÁM SÁT

LUẬN ÁN TIẾN SĨ TOÁN HỌC

Chuyên ngành: Cơ sở Toán học cho Tin học

Mã số: 62.46.01.10

Người hướng dẫn khoa học:

PGS.TS. Đỗ Năng Toàn

Hà Nội – 2016

LỜI CAM ĐOAN

Tôi xin cam đoan về nội dung trong bản luận án tiến sĩ với tên đề tài “Kỹ

thuật xử lý vùng quan sát và phát hiện bất thường của các đối tượng trong

hệ thống camera giám sát” là không sao chép nội dung cơ bản từ các luận án

hay công trình khác, mà là công trình nghiên cứu thực sự của bản thân nghiên

cứu sinh, được thực hiện trên cơ sở nghiên cứu lý thuyết, kiến thức kinh điển,

nghiên cứu khảo sát tình hình thực tiễn và dưới sự hướng dẫn khoa học của

PGS.TS. Đỗ Năng Toàn.

Các kỹ thuật và những kết quả trong luận án là trung thực, đưa ra xuất

phát từ những yêu cầu ứng dụng, chưa từng được công bố dưới bất cứ hình

thức nào trước khi trình, bảo vệ và công nhận bởi “Hội đồng đánh giá luận án

Tiến sĩ”.

Tác giả luận án

Ngô Đức Vĩnh

LỜI CẢM ƠN

Luận án được thực hiện tại Viện Công nghệ thông tin, Học viện Khoa

học và Công nghệ - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, dưới sự

hướng dẫn của PGS.TS. Đỗ Năng Toàn – Viện Công nghệ thông tin ĐH Quốc

Gia Hà Nội.

Tôi xin bày tỏ lòng biết ơn sâu sắc đến PGS.TS. Đỗ Năng Toàn, Thầy đã

có những định hướng quý báu giúp tôi thành công trong công việc nghiên cứu

của mình. Thầy cũng động viên chỉ bảo cho tôi vượt qua những khó khăn và

cho tôi nhiều kiến thức quý báu về nghiên cứu khoa học. Nhờ sự chỉ bảo của

Thầy, tôi mới có thể hoàn thành luận án.

Tôi xin chân thành cảm ơn các Thầy, Cô thuộc Viện Công nghệ thông

tin, các anh chị em cán bộ trong phòng Công nghệ Thực tại ảo đã tạo mọi điều

kiện thuận lợi và đóng góp ý kiến cho tôi trong quá trình làm nghiên cứu sinh.

Đặc biệt tôi xin chân thành cảm ơn lãnh đạo Viện Công nghệ thông tin,

Học viện Khoa học và Công nghệ – Viện Hàn lâm Khoa học và Công nghệ

Việt Nam, Viện Công nghệ thông tin – ĐH Quốc gia Hà Nội, Trường Đại học

Công nghiệp Hà Nội đã tạo điều kiện thuận lợi và hỗ trợ tôi trong quá trình

học tập và làm luận án.

Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, đã tạo

cho tôi điểm tựa vững chắc để có được kết quả như hôm nay.

5

MỤC LỤC

LỜI CAM ĐOAN ......................................................................................... 3

LỜI CẢM ƠN ............................................................................................... 4

MỤC LỤC ............................................................................................... 5

DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT................................... 8

DANH MỤC CÁC BẢNG ........................................................................... 9

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ..................................................... 10

MỞ ĐẦU ............................................................................................. 12

CHƯƠNG 1: TỔNG QUAN VỀ CHUYỂN TIẾP VÀ PHÁT HIỆN BẤT

THƯỜNG TRONG CÁC HỆ THỐNG CAMERA GIÁM SÁT

............................................................................................. 20

1.1. Hệ thống camera giám sát tự động .................................................... 20

1.1.1. Giới thiệu ................................................................................. 20

1.1.2. Các vấn đề cơ bản trong hệ thống camera giám sát tự động... 23

1.2. Chuyển tiếp camera và phát hiện bất thường..................................... 27

1.2.1. Theo vết đối tượng với với nhiều camera................................ 27

1.2.2. Bài toán chuyển tiếp camera.................................................... 34

1.2.3. Phát hiện bất thường trong giám sát video .............................. 36

1.3. Kết luận và vấn đề nghiên cứu........................................................... 41

CHƯƠNG 2: MỘT SỐ KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT TRONG

CHUYỂN TIẾP CAMERA.................................................. 43

2.1. Giới thiệu ........................................................................................... 43

6

2.2. Phân vùng giám sát ............................................................................ 44

2.2.1. Giới thiệu ................................................................................. 44

2.2.2. Giao cắt của hai đa giác ........................................................... 46

2.2.3. Phân chia vùng quan sát của hệ thống camera ........................ 48

2.2.4. Thực nghiệm............................................................................ 52

2.3. Chuyển tiếp camera dựa vào đường ranh giới ảo .............................. 55

2.3.1. Đường ranh giới ảo.................................................................. 55

2.3.2. Tính toán va chạm của đối tượng với đường ranh giới ảo ...... 59

2.3.3. Kỹ thuật đề xuất....................................................................... 65

2.3.4. Thực nghiệm............................................................................ 66

2.4. Chọn lựa camera dựa trên hướng chuyển động của đối tượng.......... 70

2.4.1. Dự đoán vị trí và hướng chuyển động của đối tượng.............. 71

2.4.2. Biểu diễn mối quan hệ giữa các vùng quan sát của hệ thống.. 74

2.4.3. Thuật toán chọn lựa camera dựa vào hướng chuyển động...... 75

2.4.4. Thực nghiệm............................................................................ 78

2.5. Kết luận chương 2.............................................................................. 80

CHƯƠNG 3: PHÁT HIỆN BẤT THƯỜNG DỰA VÀO QUỸ ĐẠO TRONG

CÁC VIDEO GIÁM SÁT .................................................... 82

3.1. Giới thiệu ........................................................................................... 82

3.1.1. Tiếp cận dựa trên phân tích hình ảnh dòng video.................... 83

3.1.2. Tiếp cận dựa vào phân tích quỹ đạo ........................................ 86

3.2. Một số khái niệm, định nghĩa trong mô hình đề xuất........................ 91

3.3. Phân đoạn quỹ đạo............................................................................. 96

7

3.4. Phát hiện bất thường dựa trên phân đoạn tuyến đường ..................... 98

3.5. Thực nghiệm .................................................................................... 101

3.5.1. Thực nghiệm với quỹ đạo cho trước...................................... 101

3.5.2. Thực nghiệm với dữ liệu thu nhận từ video giám sát............ 107

3.6. Kết luận chương 3............................................................................ 109

KẾT LUẬN ........................................................................................... 110

DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ......................................... 112

TÀI LIỆU THAM KHẢO......................................................................... 113

8

DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT

AABB Axis Aligned Bounding Boxes

BTF Brightness transfer function

COR Co-occurrence Ratio

FOV Field of View

FSOM fuzzy self-organized map

GMM Gaussian mixture model

HMM Hiden Markov Model

HOG Histogram of oriented gradients

MDT Mixtures of Dynamic Textures

MRF Markov Random Field

NOVL Non – Overlapping

OBB Oriented Bounding Boxes

OVL Overlapping

PCA Principal Component Analysis

RGB Red Green Blue

SRA Sparse Reconstruction Analysis

VSAM Video Surveillance and Monitoring

9

DANH MỤC CÁC BẢNG

Bảng 2.1. Các giá trị R, R0, R1..................................................................... 65

Bảng 3.1. Kết quả phân đoạn các đường đại diện của tuyến đường........... 104

Bảng 3.2. Khảo sát độ tương tự từ quỹ đạo 254 tới các tuyến đường ........ 105

Bảng 3.3. Kết quả đo độ chính xác phát hiện bất thường trên dữ liệu video

............................................................................................................. 108

10

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1. Phòng điều khiển trong Trung tâm giám sát bằng camera .............. 14

Hình 2. Hệ thống giám sát với nhiều camera có vùng quan sát bị chồng chéo

[43]........................................................................................................ 16

Hình 1.1. Sơ đồ hệ thống camera giám sát tự động [97] .............................. 23

Hình 1.2. Mô hình xử lý trong bài toán phát hiện đối tượng chuyển động .. 24

Hình 1.3. Quy trình theo vết đối tượng........................................................ 26

Hình 1.4. Các phương pháp tiếp cận trong phát hiện bất thường [12] ......... 41

Hình 2.1. Một số hình thức phân vùng giám sát........................................... 46

Hình 2.2. Các trường hợp giao nhau của hai đa giác.................................... 47

Hình 2.3. Với giao cắt đơn, số điểm giao cắt không quá 2........................... 48

Hình 2.4. Chia cắt phần giao giữa hai đa giác .............................................. 50

Hình 2.5. Phân chia vùng quan sát của hệ thống camera giám sát ............... 53

Hình 2.6. Phân vùng giám sát cho các camera của hệ thống giám sát ......... 54

Hình 2.7. Đường ranh giới ảo ....................................................................... 55

Hình 2.8. Đường ranh giới ảo và khu vực giám sát của mỗi camera............ 56

Hình 2.9. Vị trí của đối tượng với đường ranh giới ảo ................................. 57

Hình 2.10. Phép biến đổi homography ......................................................... 58

Hình 2.11. Đối tượng chuyển động và đường ranh giới ảo trong môi trường 3D

............................................................................................................... 58

Hình 2.12. Mặt phẳng tách và trục tách ........................................................ 60

Hình 2.13. Hình chiếu A lên đường thẳng d với tâm chiếu C0. ................... 61

Hình 2.14. Chiếu 8 đỉnh của hình hộp lên trục tách d .................................. 61

Hình 2.15. Kết quả chiếu 2 hình hộp lên trục tách d .................................... 63

11

Hình 2.16. Mô hình cấu trúc của hệ thống.................................................... 66

Hình 2.17. Sơ đồ thực hiện chương trình của hệ thống ................................ 67

Hình 2.18. Sơ đồ mặt bằng bố trí camera ..................................................... 68

Hình 2.19. Chuyển tiếp giữa 2 camera.......................................................... 69

Hình 2.20. Biểu đồ so sánh giá trị Precision ở mỗi camera.......................... 70

Hình 2.21. Biểu diễn mối quan hệ giữa các vùng quan sát của hệ thống ..... 74

Hình 2.22. Chọn lựa camera dựa vào hướng chuyển động của đối tượng ... 76

Hình 2.23. Biểu diễn mối quan hệ giữa vùng quan sát của hệ thống ........... 78

Hình 2.24. Kết quả thực hiện giải thuật chọn lựa camera............................. 79

Hình 3.1. Phát hiện bất thường dựa vào phân cụm quỹ đạo......................... 89

Hình 3.2. Quỹ đạo chuyển động của đối tượng ............................................ 92

Hình 3.3. Tuyến đường ................................................................................. 95

Hình 3.4. Quỹ đạo được chia thành các giai đoạn ........................................ 97

Hình 3.5. Sơ đồ khối phát hiện bất thường dựa vào các phân đoạn của tuyến

đường..................................................................................................... 99

Hình 3.6. Tập 200 quỹ đạo bình thường ..................................................... 102

Hình 3.7. Phân nhóm các quỹ đạo .............................................................. 103

Hình 3.8. Đường đại diện của mỗi tuyến đường......................................... 103

Hình 3.9. Kết quả phân đoạn đường đại diện của tuyến đường.................. 104

Hình 3.10. Phát hiện các quỹ đạo bất thường ............................................. 105

Hình 3.11. Các tuyến đường trong khu vực giám sát ................................. 107

Hình 3.12. Phát hiện bất thường trên dữ liệu video.................................... 108

12

MỞ ĐẦU

1. Tính cấp thiết của luận án

Xuất hiện từ những năm 1940, ban đầu hệ thống camera giám sát được

dùng vào mục đích quân sự. Từ đó đến nay, trải qua 3 thế hệ, từ camera tương

tự, đến camera kỹ thuật số và giờ đây là camera IP, hệ thống camera giám sát

đã trở nên phổ biến và đang được sử dụng rộng rãi trong nhiều lĩnh vực. Trong

giao thông, người ta lắp đặt các camera giám sát ở các ngã ba, ngã tư, đường

hầm, nhà ga và các vị trí quan trọng để giám sát giao thông, cảnh báo tình

trạng ùn tắc, phát hiện các vi phạm luật giao thông của các phương tiện…

Trong các bảo tàng, người ta sử dụng hệ thống camera trong việc giám sát các

vật trưng bày để tránh trường hợp bị mất cắp. Tại các vùng nhạy cảm về an

ninh, các hệ thống giám sát được thiết lập để có thể cảnh báo kịp thời những

hành vi khả nghi liên quan đến khủng bố, trộm cắp, hỏa hoạn…

Mặc dù không có thống kê chính thức, tuy vậy theo một nghiên cứu gần

đây [33], ước tính có khoảng 1.85 triệu camera giám sát tại Vương quốc Anh,

trong đó xấp xỉ 30.000 tại các điểm công cộng, số lượng camera giám sát gia

tăng nhanh, điều này đòi hỏi cần thiết phải quản lý chúng và đây là một lĩnh

vực nghiên cứu được nhiều nhà khoa học quan tâm nhằm đáp ứng nhu cầu của

thực tiễn [9].

Hệ thống camera giám sát có thể được thực hiện thủ công, bán tự động,

hoặc hoàn toàn tự động. Trong các hệ thống giám sát video thủ công truyền

thống, thường có một trung tâm điều khiển với một bức tường có gắn các màn

hình hiển thị thông tin thu nhận từ các camera (Hình 1), các luồng video được

quan sát bởi các giám sát viên trong thời gian thực, cho phép họ can thiệp

nhanh chóng nếu có một sự kiện quan tâm được phát hiện. Việc xử lý trực tiếp

của tất cả các luồng video là rất khó khăn do số lượng camera được triển khai