Xử Lý Ảnh Video Theo Thời Gian Thực Trên Kit Stm 32

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

ĐỖ MINH PHƯƠNG

Xử lý ảnh video theo thời gian thực trên kit STM32

Ngành: Công nghệ Kỹ thuật Điện tử, Truyền thông

Chuyên ngành: Kỹ thuật Điện tử

Mã ngành: 60520203

LUẬN VĂN THẠC SỸ NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ

TRUYỀN THÔNG

NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. TRẦN QUANG VINH

HÀ NỘI - 2016

2

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của bản thân, được xuất phát từ

yêu cầu phát sinh trong quá trình làm luận văn. Các tài liệu có nguồn gốc rõ ràng, tuân

thủ đúng nguyên tắc, kết quả trình bày trong luận văn là kết quả quá trình nghiên cứu

trung thực, chưa từng được ai công bố trước đây.

Hà Nội, tháng 12 năm 2016

Tác giả luận văn

Đỗ Minh Phương

3

MỤC LỤC

LỜI CAM ĐOAN .............................................................................................. 2

MỤC LỤC ......................................................................................................... 3

DANH MỤC CÁC BẢNG................................................................................. 5

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ............................................................. 6

MỞ ĐẦU ........................................................................................................... 8

CHƯƠNG I: TỔNG QUAN VỀ HỆ THỐNG THU THẬP VÀ XỬ LÝ ẢNH

DÙNG VI ĐIỀU KHIỂN STM32 .................................................................... 10

1.1. Giới thiệu .................................................................................... 10

1.1.1 Khái niệm về vi điều khiển .................................................... 10

1.1.2 Giới thiệu dòng vi điều khiển STM32 [1].............................. 11

1.1.3 Giới thiệu kit STM32F4 Discovery........................................ 14

1.2. Giới thiệu Camera OV7670......................................................... 15

1.2.1. Giới thiệu chung ................................................................... 15

1.2.2 Tín hiệu hình ảnh của Camera OV7670 [11].......................... 17

1.2.3. Bus điều khiển camera tuần tự SCCB................................... 22

1.2.4 Cấu hình hoạt động của Camera OV7670.............................. 28

1.3. Module màn hình LCD 3,2” ILI9341........................................... 35

1.3.1 Đặc điểm kỹ thuật.................................................................. 35

1.3.2 RESET màn hình................................................................... 36

1.3.3 Ghi dữ liệu vào thanh ghi ILI9341......................................... 36

1.3.4 Bảng các thanh ghi lệnh của ILI9341..................................... 39

1.3.5 Cấu hình đèn nền LED_A...................................................... 40

1.3.6 Hiển thị dữ liệu ra LCD ......................................................... 40

CHƯƠNG II: THỰC NGHIỆM GHÉP NỐI HỆ THỐNG ............................... 43

2.1. Ghép nối STM32F4 – OV7670.................................................... 43

2.1.1 Sơ đồ ghép nối....................................................................... 43

2.1.2 Tạo xung clock đến chân XCLK của OV7670....................... 43

2.1.2 Lập trình SCCB qua I2C........................................................ 44

2.1.3 Bắt ảnh từ Camera ................................................................. 47

2.1.4 Cấu hình hoạt động Camera OV7670 .................................... 50

4

2.2. Ghép nối STM32F4 – LCD 3,2” ILI9341.................................... 51

2.2.1 Sơ đồ ghép nối....................................................................... 51

2.2.2 Lập trình RESET màn hình.................................................... 52

2.2.3 Điều khiển độ sáng màn hình bằng PWM.............................. 52

2.2.4 Lập trình ghi dữ liệu với LCD 3.2” ILI9341 .......................... 52

2.2.5 Xuất hình ảnh ra LCD............................................................ 53

2.3. Ghép nối STM32F4 – Máy tính................................................... 58

2.3.1 Cấu hình hoạt động khối USART .......................................... 58

2.3.2 Truyền dữ liệu về máy tính qua USART................................ 58

2.3.3 Nhận dữ liệu bằng Matlab...................................................... 59

CHƯƠNG III: KẾT QUẢ THỰC NGHIỆM.................................................... 61

3.1. Ảnh chụp toàn bộ hệ thống.......................................................... 61

3.2. Lập trình thanh ghi Camera ......................................................... 61

3.3. Đo tần số xung clock XCLK cấp cho Camera OV7670 ............... 62

3.4. Camera OV7670 hoạt động ở chế độ QQVGA, RGB565 ............ 63

3.5. Camera OV7670 hoạt động ở chế độ QVGA, RGB565 ............... 64

3.6. Camera OV7670 hoạt động ở chế độ QVGA, YUV422............... 66

3.7. Truyền hình ảnh về máy tính qua USART................................... 68

KẾT LUẬN...................................................................................................... 69

TÀI LIỆU THAM KHẢO................................................................................ 70

Phụ lục 1: Chương trình đọc giá trị thanh ghi Camera OV7670 [4].................. 71

Phụ lục 2: Cấu hình chế độ QQVGA, RGB565 [7, 12, 16, 17]......................... 73

Phụ lục 3: Cấu hình chế độ QVGA, RGB565 [7, 17, 20].................................. 77

Phụ lục 4: Cấu hình chế độ QVGA, YUV [7, 12, 13, 17]................................. 81

Phụ lục 5: Cấu hình đèn nền LED_A................................................................ 85

Phụ lục 6: Chương trình khởi động LCD [9, 10, 15]......................................... 86

Phụ lục 7: Cấu hình chế độ hoạt động khối USART1....................................... 89

5

DANH MỤC CÁC BẢNG

Bảng 1.1: Chức năng các chân tín hiệu của Camera OV7670........................... 16

Bảng 1.2: Dữ liệu ảnh được lưu trữ thành từ (4 byte) ....................................... 19

Bảng 1.3: Thứ tự dữ liệu đến dạng YCbCr422 ................................................. 19

Bảng 1.4: Các điểm ảnh YCbCr422 ................................................................. 20

Bảng 1.5: Các thanh ghi cài đặt tần số dao động nội Camera ........................... 28

Bảng 1.6: Thiết lập định dạng ảnh cho Camera OV7670.................................. 30

Bảng 1.7: Thứ tự tín hiệu YUV........................................................................ 31

Bảng 1.8: Thiết lập độ phân giải QVGA, CIF, QCIF........................................ 31

Bảng 1.9: Các thanh ghi thiết lập cửa sổ........................................................... 32

Bảng 1.10: Thanh ghi điều khiển tín hiệu đồng bộ của Camera........................ 33

Bảng 1.11: Các thanh ghi cài đặt tỷ lệ hình ảnh [6] .......................................... 34

Bảng 1.12: Thanh ghi điều khiển co giãn ảnh [6] ............................................. 34

Bảng 1.12: Các chân giao tiếp màn hình LCD 3,2” ILI9341 ............................ 35

Bảng 1.13: Một số thanh ghi của ILI9341 ........................................................ 39

Bảng 1.14: Cấu hình hiển thị hình ảnh từ bộ nhớ ra màn hình.......................... 41

6

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1: Sơ đồ khối hệ thống thu thập xử lý ảnh............................................. 10

Hình 1.2: Kiến trúc của STM32 nhánh Performance và Access [1].................. 11

Hình 1.3: Kit STM32F407VG Discovery......................................................... 14

Hình 1.4: Hình ảnh Camera OV7670 no FIFO ................................................. 16

Hình 1.5: Ảnh 5x5 pixel................................................................................... 17

Hình 1.6: Mô hình màu RGB (hình ảnh từ wikipedia)...................................... 18

Hình 1.7: Phân giải của một hình ảnh thành các thành phần Y, Cb và Cr......... 18

Hình 1.8: Đồng bộ dòng................................................................................... 21

Hình 1.9: Mô tả tín hiệu một frame ảnh VGA (640x480)................................. 22

Hình 1.10: Sơ đồ khối chức năng SCCB tổng quát sử dụng 3 dây.................... 22

Hình 1.11: Sơ đồ khối chức năng SCCB tổng quát sử dụng 2 dây.................... 23

Hình 1.12: Quá trình truyền dữ liệu của SCCB 3 dây....................................... 24

Hình 1.13: Tín hiệu báo hiệu Start.................................................................... 24

Hình 1.14: Tín hiệu báo hiệu Stop.................................................................... 24

Hình 1.15: Tín hiệu báo hiệu Start/Stop của I2C .............................................. 25

Hình 1.16: Pha truyền dữ liệu trong SCCB....................................................... 25

Hình 1.17: Chu kỳ ghi dữ liệu 3 pha trong SCCB............................................. 26

Hình 1.18: Chu kỳ ghi dữ liệu 2 pha trong SCCB............................................. 26

Hình 1.19: Chu kỳ đọc dữ liệu 2 pha trong SCCB............................................ 26

Hình 1.20: Ghi dữ liệu vào thanh ghi OV7670 ................................................. 27

Hình 1.21: Đọc dữ liệu thanh ghi OV7670 ....................................................... 28

Hình 1.22: Ví dụ về cửa sổ 320x240 ................................................................ 32

Hình 1.23: Mạch điều khiển tỷ lệ hình ảnh....................................................... 33

Hình 1.24: Sơ đồ chân giao tiếp màn hình LCD 3,2” ILI9341.......................... 35

Hình 1.25: Giao tiếp 16 bit với ILI9341 ........................................................... 36

Hình 1.26: Tín hiệu Reset................................................................................. 36

Hình 1.27: Chu kỳ ghi dữ liệu với ILI9341 ...................................................... 37

Hình 1.28: Quá trình ghi dữ liệu với ILI9341................................................... 37

Hình 1.29: Giản đồ thời gian tín hiệu của ILI9341 ........................................... 38

Hình 1.30: Tham số thời gian tín hiệu của ILI9341 .......................................... 39

Hình 2.1: Sơ đồ ghép nối chân tín hiệu OV7670 với STM32F407VG.............. 43

Hình 2.2: Lưu đồ thuật toán ghi dữ liệu thanh ghi camera OV7670.................. 45

Hình 2.3: Lưu đồ thuật toán đọc dữ liệu thanh ghi camera OV7670................. 47

Hình 2.4: Giản đồ thời gian tín hiệu RGB565 .................................................. 48

Hình 2.5: Lưu đồ cấu hình chế độ hoạt động của Camera OV7670 .................. 50

7

Hình 2.6: Sơ đồ ghép nối STM32F4 – LCD 3,2” ILI9341................................ 51

Hình 2.7: Sơ đồ ghép nối PC - STM32F4......................................................... 58

Hình 3.1: Hình ảnh hệ thống ghép nối.............................................................. 61

Hình 3.2: Sử dụng STMStudio quan sát giá trị đọc từ thanh ghi OV7670 ........ 62

Hình 3.3: Xung clock XCLK cấp cho Camera.................................................. 62

Hình 3.4: Tín hiệu PCLK ở chế độ QQVGA.................................................... 63

Hình 3.5: Tín hiệu HREF ở chế độ QQVGA.................................................... 63

Hình 3.6: Tín hiệu đồng bộ HREF và PCLK ở chế độ QQVGA....................... 64

Hình 3.7: Tín hiệu PCLK ở chế độ QVGA, RGB565....................................... 64

Hình 3.8: Tín hiệu HREF ở chế độ QVGA, RGB565....................................... 65

Hình 3.9: Tín hiệu HREF và PCLK ở chế độ QVGA, RGB565 ....................... 65

Hình 3.10: Hiển thị ảnh màu RGB lên màn hình LCD 3,2”.............................. 66

Hình 3.11: Tín hiệu PCLK ở chế độ QVGA, YUV .......................................... 66

Hình 3.12: Tín hiệu HREF ở chế độ QVGA, YUV .......................................... 67

Hình 3.13: Tín hiệu HREF và PCLK ở chế độ QVGA, YUV........................... 67

Hình 3.14: Hình ảnh đa mức xám ở chế độ QVGA, YUV................................ 68

Hình 3.15: Truyền dữ liệu ảnh về máy tính qua USART.................................. 68

8

MỞ ĐẦU

1. Đặt vấn đề

Hệ thống xử lý ảnh số dùng vi điều khiển có nhiều ứng dụng trong thực tế

ở hầu hết các lĩnh vực như truyền hình, nhận dạng chữ viết, vân tay, y học, viễn

thám, quân sự, nghiên cứu khoa học… Xây dựng một hệ thống xử lý ảnh số đòi

hỏi một phạm vi rộng các kiến thức về phần cứng, phần mềm. Cùng với sự phát

triển của khoa học kỹ thuật, công nghệ xử lý ảnh ngày càng được phát triển cả

về thiết bị phần cứng và các giải pháp phần mềm.

Cùng với sự phát triển của công nghệ vi điện tử, các vi điều khiển đã có

nhiều cải tiến về cấu trúc, thiết kế hệ thống, khả năng xử lý, tái lập trình hệ

thống giúp giảm chi phí sản xuất, rút ngắn thời gian cải tiến, nâng cấp, sản xuất

hệ thống.

Cấu trúc vi xử lý ARM (viết tắt từ tên gốc là Advanced RISC Machine) là

một loại cấu trúc vi xử lý 32 bit và 64 bit kiểu RISC được sử dụng rộng rãi trong

các thiết kế hệ thống nhúng. Do có đặc điểm tiết kiệm năng lượng, các bộ vi xử

lý ARM chiếm ưu thế trong các sản phẩm điện tử di động, mà với các sản phẩm

này việc tiêu thụ công suất thấp là một mục tiêu thiết kế quan trọng hàng đầu.

Ngày nay, hơn 75% CPU nhúng 32-bit là thuộc họ ARM, điều này khiến

ARM trở thành cấu trúc 32-bit được sản xuất nhiều nhất trên thế giới. Giải pháp

hệ thống trên chip (System-On-Chip) dựa trên bộ vi xử lý nhúng ARM được

ứng dụng vào rất nhiều thị trường khác nhau bao gồm các ứng dụng doanh

nghiệp, các hệ thống ô tô, mạng gia đình và công nghệ mạng không dây. Nhiều

thiết bị xử lý ảnh chuyên dụng đã được thiết kế sử dụng vi điều khiển ARM.

Dòng vi xử lý ARM Cortex dựa trên một kiến trúc chuẩn đủ để đáp ứng

hầu hết các yêu cầu về hiệu năng làm việc trong tất cả các lĩnh vực trên. Thêm

vào đó là việc lập trình được đơn giản hóa đáng kể giúp kiến trúc ARM trở

thành một lựa chọn tốt cho ngay cả những ứng dụng đơn giản nhất.

Những đặc điểm nổi trội của dòng ARM Cortex đã thu hút các nhà sản

xuất IC, hơn 240 dòng vi điều khiển dựa vào nhân Cortex đã được giới thiệu.

Không nằm ngoài xu hướng đó, hãng sản xuất chip ST Microelectronic đã nhanh

chóng đưa ra dòng STM32 là vi điều khiển dựa trên nền tảng lõi ARM Cortex®-

M thế hệ mới do hãng ARM thiết kế.

Khả năng kết hợp trong thiết kế hệ thống vi điều khiển STM32 và các giải

thuật phần mềm cho phép xây dựng một hệ thống xử lý luồng ảnh video thời

gian thực đáp ứng yêu cầu cụ thể cần thiết kế.