Khóa luận xây dựng ứng dụng phát hiện lửa dựa trên mô hình học sâu trên jetson nano

  • 94 trang
  • file .pdf
lOMoARcPSD|16911414
ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
KHOA MẠNG MÁY TÍNH VÀ TRUYỀN THÔNG
VŨ HÀ ANH
KHÓA LUẬN TỐT NGHIỆP
XÂY DỰNG ỨNG DỤNG PHÁT HIỆN LỬA DỰA TRÊN
MÔ HÌNH HỌC SÂU TRÊN JETSON NANO
Fire Detection Application Based on Deep Learning for Jetson Nano
KỸ SƯ NGÀNH MẠNG MÁY TÍNH VÀ TRUYỀN THÔNG
TP. HỒ CHÍ MINH, NĂM 2021
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
KHOA MẠNG MÁY TÍNH VÀ TRUYỀN THÔNG
VŨ HÀ ANH – 17520258
KHÓA LUẬN TỐT NGHIỆP
XÂY DỰNG ỨNG DỤNG PHÁT HIỆN LỬA DỰA TRÊN
MÔ HÌNH HỌC SÂU TRÊN JETSON NANO
Fire Detection Application Based on Deep Learning for Jetson Nano
KỸ SƯ NGÀNH MẠNG MÁY TÍNH VÀ TRUYỀN THÔNG
GIẢNG VIÊN HƯỚNG DẪN
TS. Lê Kim Hùng
TP. HỒ CHÍ MINH, NĂM 2021
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
THÔNG TIN HỘI ĐỒNG CHẤM KHÓA LUẬN TỐT NGHIỆP
Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số
…………………… ngày ………………….. của Hiệu trưởng Trường Đại học Công
nghệ Thông tin.
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc
CÔNG NGHỆ THÔNG TIN
TP. HCM, ngày … tháng … năm 2021
NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP
(CỦA CÁN BỘ HƯỚNG DẪN)
Tên khóa luận:
XÂY DỰNG ỨNG DỤNG PHÁT HIỆN LỬA DỰA
TRÊN MÔ HÌNH HỌC SÂU TRÊN JETSON NANO
FIRE DETECTION APPLICATION BASED
ON DEEP LEARNING FOR JETSON NANO
Nhóm SV thực hiện: Cán bộ hướng dẫn:
Vũ Hà Anh 17520258 TS. Lê Kim Hùng
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
Đánh giá Khóa luận
1. Về cuốn báo cáo:
Số trang Số chương
Số bảng số liệu Số hình vẽ
Số tài liệu tham khảo Sản phẩm
Một số nhận xét về hình thức cuốn báo cáo:
2. Về nội dung nghiên cứu:
3. Về chương trình ứng dụng:
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
4. Về thái độ làm việc của sinh viên:
Đánh giá chung: Khóa luận đạt/không đạt yêu cầu của một
khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung
bình.
Điểm từng sinh viên:
Vũ Hà Anh ........................../10
Người nhận xét
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc
CÔNG NGHỆ THÔNG TIN
TP. HCM, ngày … tháng … năm 2021
NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP
(CỦA CÁN BỘ PHẢN BIỆN)
Tên khóa luận:
XÂY DỰNG ỨNG DỤNG PHÁT HIỆN LỬA DỰA
TRÊN MÔ HÌNH HỌC SÂU TRÊN JETSON NANO
FIRE DETECTION APPLICATION BASED
ON DEEP LEARNING FOR JETSON NANO
Nhóm SV thực hiện: Cán bộ phản biện:
Vũ Hà Anh 17520258 TS. Phan Xuân Thiện
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
Đánh giá Khóa luận
4. Về cuốn báo cáo:
Số trang Số chương
Số bảng số liệu Số hình vẽ
Số tài liệu tham khảo Sản phẩm
Một số nhận xét về hình thức cuốn báo cáo:
5. Về nội dung nghiên cứu:
6. Về chương trình ứng dụng:
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
4. Về thái độ làm việc của sinh viên:
Đánh giá chung: Khóa luận đạt/không đạt yêu cầu của một
khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung
bình.
Điểm từng sinh viên:
Vũ Hà Anh .......................... /10
Người nhận xét
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
Lời Cảm Ơn
Lời đầu tiên, nhóm xin trân trọng cảm ơn quý thầy, cô đang công tác và giảng
dạy tại khoa Mạng máy tính và Truyền thông, cũng như toàn thể thầy, cô khác công
tác tại trường Đại học Công nghệ Thông tin – ĐHQG HCM đã truyền đạt những kiến
thức, bài học, kinh nghiệm quý báu cho nhóm trong suốt quãng thời gian bốn năm
vừa qua. Và đã sắp xếp thời gian, chương trình hợp lý để nhóm có cơ hội hoàn thành
khóa luận tốt nghiệp tốt nhất. Nhóm xin kính chúc khoa Mạng máy tính và Truyền
thông nói riêng và trường Đại học Công nghệ Thông tin nói chung luôn thành công
rực rỡ trên con đường giảng dạy đào tạo nhân tài, sẽ mãi là niềm tin vững chắc cho
các thế hệ sinh viên trên con đường giáo dục.
Đặc biệt, nhóm xin gửi lời cảm ơn chân thành nhất đến giảng viên hướng dẫn,
TS. Lê Kim Hùng. Nhờ những kinh nghiệm, bài học quý báu được chia sẻ từ thầy,
thầy đã luôn quan tâm và giúp đỡ nhóm giải quyết những vấn đề phát sinh, khó khăn
trong quá trình thực hiện. Nhờ có thầy, nhóm đã có cơ hội hoàn thành tốt khóa luận
tốt nghiệp này.
Tiếp theo, nhóm xin cảm ơn về phía gia đình đã luôn luôn tin tưởng, động viên
nhóm trong suốt quá trình học tập tại trường Đại học Công nghệ Thông tin – ĐHQG
HCM, giúp nhóm có thêm nguồn năng lượng để đi đến được như ngày hôm nay.
Cuối cùng, nhóm nhóm xin gửi lời cảm ơn đến các anh, chị và các bạn sinh
viên tại trường Đại học Công nghệ Thông tin – ĐHQG HCM đã luôn nhiệt tình hỗ
trợ, chia sẻ ý kiến và góp ý cho nhóm trong quãng thời gian thực hiện khóa luận.
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc
CÔNG NGHỆ THÔNG TIN
ĐỀ CƯƠNG CHI TIẾT
TÊN ĐỀ TÀI:
- Tiếng Việt: Xây dựng ứng dụng phát hiện lửa dựa trên mô hình học sâu trên
thiết bị Jetson Nano
- Tiếng Anh: Fire detection application based on deep learning for Jetson Nano
Cán bộ hướng dẫn: TS. Lê Kim Hùng
Thời gian thực hiện: Từ ngày: 01/03/2021 đến ngày: 03/07/2021
Sinh viên thực hiện:
Vũ Hà Anh – 17520258 - 0366765835
Nội dung đề tài:
o Đề tài thực hiện xây dựng úng dụng nhận dạng và phát hiện lửa, giải quyết phương
pháp bằng thuật toán học sâu. Ứng dụng được xây dựng dựa trên mô hình được
huấn luyện từ tập dữ liệu phổ biến được cung cấp từ nhiều nguồn tin cậy. Khi
camera hoạt động, sẽ nhận diện được các ngọn lửa đang cháy.
o Trong đề tài này, nhóm em sẽ phân tích và đánh giá các mô hình nhận diện lửa đang
phổ biến hiện nay. Từ đó, lựa chọn mô hình có hiệu suất cao và đáng tin cậy để tối
ưu hóa và thực hiện trên thiết bị nhúng.
o Đối tượng nghiên cứu: Mô hình Deep Learning, thiết bị nhúng Jetson Nano và
camera
o Kết quả mong muốn đạt được: Giải quyết được bài toán nhận diện lửa trên các máy
tính có cấu hình thấp. Tối ưu hóa mô hình một cách hoàn thiện nhất để tiết kiệm tài
nguyên máy tính. Mô hình có khả năng phát hiện lửa trong thời gian thực.
Kế hoạch thực hiện:
1. Giai đoạn 1 (03/2021 - 04/2021): Chuẩn bị dữ liệu đầu vào, nghiên cứu các model
phổ biến cho bài toán Object Detection, từ đó tìm ra model tối ưu nhất để triển khai.
Giai đoạn này chủ yếu triển khai trên Laptop.
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
2. Giai đoạn 2 (04/2021 – 05/2021): Tối ưu hóa model bằng các định dạng .tflite,
TensorRT, sử dụng giải pháp Deepstream để chạy trong thời gian thực. Thực thi
Model trên thiết bị Jetson Nano.
3. Giai đoạn 3 (05/2021 – 06/2021): Triển khai hệ thống phát hiện lửa lên Web Server
bằng thư viện Flask của python. Tổng hợp tài liệu để chuẩn bị báo cáo khóa luận.
4. Giai đoạn 4 (07/2021): Viết báo cáo, chuẩn bị báo cáo khóa luận tốt nghiệp trước
hội đồng.
Xác nhận của CBHD TP. HCM, ngày 05 tháng 04 năm 2021
(Ký tên và ghi rõ họ tên) Sinh viên
(Ký tên và ghi rõ họ tên)
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
MỤC LỤC
TÓM TẮT ĐỀ TÀI......................................................................................................... 1
CHƯƠNG 1 : MỞ ĐẦU ................................................................................................ 2
1.1 Đặt vấn đề ............................................................................................................ 2
1.2 Mục tiêu của đề tài.............................................................................................. 3
1.3 Đối tượng nghiên cứu và kết quả mong muốn ................................................. 3
1.4 Các đề tài liên quan đến nghiến cứu ................................................................. 4
CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT .............................................................................. 5
2.1 Các khái niệm về thị giác máy tính và máy học .............................................. 5
2.1.1 Bài toán phát hiện vật thể (Object Detection) ............................................... 5
2.1.1.1 Giới thiệu về thị giác máy tính ............................................................... 5
2.1.1.2 Định nghĩa Object Detection .................................................................. 6
2.1.2 Khái niệm về Deep Learning và Machine Learning ..................................... 7
2.1.2.1 Machine Learning (Máy học) ................................................................. 7
2.1.2.2 Deep Learning ( Học sâu )...................................................................... 9
2.2 Các thuật ngữ cơ bản trong đề tài .................................................................. 11
2.3 Mô hình Yolo ..................................................................................................... 13
2.3.1 Giới thiệu về mạng Yolo ( Yolo Network ) ................................................ 13
2.3.2 Lịch sử phát triển của Yolo ......................................................................... 13
2.3.3 Các đánh giá về Yolo .................................................................................. 14
2.3.4 Kiến trúc mạng Yolo ................................................................................... 15
2.3.5 Nguyên lý hoạt động Yolo .......................................................................... 18
2.3.5.1 Các công thức tính toán trong Yolo ..................................................... 19
2.4 Tensorflow – TensorRT ................................................................................... 23
2.4.1 Giới thiệu về Tensorflow ............................................................................. 23
2.4.2 TensorRT ..................................................................................................... 24
2.4.2.1 Định nghĩa TensorRT ........................................................................... 24
2.4.2.2 Chu trình chuyển đổi sang TensorRT ................................................... 25
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
2.5 Thiết bị Jetson Nano ......................................................................................... 26
2.5.1 Giới thiệu chung .......................................................................................... 26
2.5.2 Cấu hình chi tiết ........................................................................................... 27
2.6 Giao thức MQTT ( Message Queuing Telnhómetry) .................................... 27
2.6.1 Khái niệm về MQTT ................................................................................... 27
2.6.2 Tính năng và đặc điểm nổi bật .................................................................... 28
2.6.3 Mô hình hoạt động của MQTT .................................................................... 29
2.6.3.1 Thành phần và cơ chế hoạt động .......................................................... 29
2.6.3.2 Kiến trúc MQTT ................................................................................... 30
2.7 Điện toán biên (Edge Computing)................................................................... 31
2.7.1 Giới thiệu về Edge Computing .................................................................... 31
2.7.2 Nguyên lý hoạt động ................................................................................... 32
2.8 Thingsboard ...................................................................................................... 33
CHƯƠNG 3 : MÔ HÌNH ỨNG DỤNG ...................................................................... 35
3.1 Mô tả mô hình ................................................................................................... 35
3.1.1 Cách thành phần chính ................................................................................ 35
3.1.2 Nguyên lý hoạt động ................................................................................... 36
3.1.3 Lý do thực hiện ứng dụng trên thiết bị nhúng ............................................. 37
3.2 Cài đặt các thư viện và môi trường cần thiết ................................................. 38
3.2.1 Cài đặt các thư viện tiên quyết .................................................................... 38
3.2.2 Darknet ........................................................................................................ 39
3.3 Chuẩn bị và gán nhãn dữ liệu đầu vào ........................................................... 40
3.3.1 Gán nhãn dữ liệu.......................................................................................... 41
3.4 Cấu hình và huấn luyện mô hình .................................................................... 41
3.4.1 Nguyên lý hoạt động của quá trình huấn luyện mô hình............................. 41
3.4.2 Cấu hình mô hình huấn luyện ...................................................................... 42
3.4.3 Kiểm thử mô hình ........................................................................................ 45
3.5 Thiết lập cho Jetson Nano ................................................................................ 46
3.5.1 Cài đặt hệ điều hành .................................................................................... 46
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
3.6 Tối ưu hóa mô hình .......................................................................................... 47
3.6.1 Các bước thực hiện tối ưu hóa mô hình ...................................................... 47
3.6.2 Kết quả đạt được sau khi tối ưu ................................................................... 49
3.7 Cài đặt Dashboard dựa trên nền tảng Thingsboard ..................................... 52
CHƯƠNG 4 : TRIỂN KHAI THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ........... 53
4.1 Sơ đồ triển khai ứng dụng trên thiết bị .......................................................... 53
4.2 Thiết lập Streaming Server .............................................................................. 54
4.3 Thiết lập trên Thingsboard.............................................................................. 55
4.4 Thiết lập Rule chain ( điều kiện để phát cảnh báo ) ...................................... 57
4.5 Đánh giá kết quả các mô hình ......................................................................... 58
4.5.1 Chạy thử nghiệm các mô hình ..................................................................... 58
4.5.2 Thông số chi tiết các mô hình thử nghiệm .................................................. 64
4.6 Chạy thực nghiệm ............................................................................................. 70
CHƯƠNG 5 : TỔNG KẾT QUÁ TRÌNH VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI ..... 73
5.1 Kết quả đạt được .............................................................................................. 73
5.2 Hướng phát triển .............................................................................................. 73
TÀI LIỆU THAM KHẢO ............................................................................................ 75
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
Danh mục hình ảnh
Hình 2.1 Sơ đồ tác vụ thị giác máy tính ......................................................................... 7
Hình 2.2 Luồng hoạt động của Machine Learning ......................................................... 8
Hình 2.3 Biểu diễn mạng neural của Deep Learning ................................................... 10
Hình 2.4 Biểu đồ đánh giá các mô hình phổ biến ........................................................ 14
Hình 2.5 Kiến trúc mạng Yolo ..................................................................................... 15
Hình 2.6 Biểu diễn mô hình hoạt dộng của Yolo ......................................................... 18
Hình 2.7 Mô phỏng các tham số của đầu ra và đầu vào ............................................... 19
Hình 2.8 Công thức tính IoU ........................................................................................ 20
Hình 2.9 Định vị các tham số Localization Loss.......................................................... 22
Hình 2.10 Quá trình hình thành sản phẩm dựa trên TensorRT .................................... 25
Hình 2.11 Thiết bị Jetson Nano .................................................................................... 26
Hình 2.12 Ví dụ về luồng hoạt động của MQTT ......................................................... 29
Hình 2.13 Kiến Trúc MQTT ........................................................................................ 30
Hình 2.14: Sơ đồ hoạt động Edge Computing.............................................................. 32
Hình 2.15 Kiến trúc Thingsboard ................................................................................. 33
Hình 3.1 Mô hình ứng dụng triển khai ......................................................................... 35
Hình 3.2: Nội dung của file Makefile và ý nghĩa các dòng lệnh cài đặt ...................... 39
Hình 3.3: Dữ liệu huấn luyện đầu vào .......................................................................... 40
Hình 3.4 Phần mềm gán nhãn hình ảnh ........................................................................ 41
Hình 3.5 Liên kết đường dẫn các hình ảnh dữ liệu đầu vào ......................................... 42
Hình 3.6 Nội dung file cấu hình mô hình huấn luyện .................................................. 43
Hình 3.7 Kết quả thu được sau khi huấn luyện mô hình .............................................. 45
Hình 3.8 Kết quả kiểm thử mô hình bằng Camera ....................................................... 45
Hình 3.9 Kết quả kiểm thử mô hình trên tập Test Set .................................................. 46
Hình 3.10 Hệ điều hành Jetpack ................................................................................... 47
Hình 3.11 File .onnx ..................................................................................................... 48
Hình 3.12 File .trt ......................................................................................................... 48
Hình 3.13 So sánh kích thước giữa các mô hình .......................................................... 49
Hình 3.14 Thử nghiệm mô hình TensorRT .................................................................. 49
Hình 3.15 Kiến trúc của mô hình chưa được tối ưu ..................................................... 50
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
Hình 3.16 Kiến trúc của mô hình đã được tối ưu ......................................................... 51
Hình 3.17 Giao diện Thingsboard sau khi cài đặt thành công ..................................... 52
Hình 4.1 Mô hình triển khai thực nghiệm .................................................................... 53
Hình 4.2 Hình ảnh Streaming Server ........................................................................... 54
Hình 4.3 Khởi tạo thiết bị trên Thingsboard ................................................................ 55
Hình 4.4 Khởi tạo thiết bị trên Thingsboard 2 ............................................................. 55
Hình 4.5 Lấy mã Token trên Thingsboard ................................................................... 56
Hình 4.6 Dashboard quản lý ứng dụng phát hiện lửa ................................................... 57
Hình 4.7 Rule Chain ..................................................................................................... 57
Hình 4.8 Thiết lập điều kiện Rule chain ....................................................................... 58
Hình 4.9 Kết quả huấn luyện của YOLOv3-tiny.......................................................... 59
Hình 4.10 Thử nghiệm YOLOv3-tiny .......................................................................... 60
Hình 4.11 Kết quả huấn luyện của YOLOv4-tiny........................................................ 61
Hình 4.12 Kết quả thử nghiệm YOLOv4-tiny.............................................................. 61
Hình 4.13 Kết quả huấn luyện YOLOv5 ...................................................................... 62
Hình 4.14 Kết quả thử nhiệm trên YOLOv5 ................................................................ 63
Hình 4.15 Kiến trúc YOLOv5 ...................................................................................... 68
Hình 4.16 Khởi động hệ thống ..................................................................................... 70
Hình 4.17 Kết quả thử nghiệm 1 .................................................................................. 71
Hình 4.18 Kết quả thử nghiệm 2 .................................................................................. 71
Hình 4.19 Thingsboard phát cảnh bảo .......................................................................... 72
Hình 4.20 Email cảnh báo ............................................................................................ 72
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
Danh mục bảng
Bảng 2.1 Bảng phân lớp của kiến trúc Yolo................................................................. 17
Bảng 3.1 Danh sách thư viện cần cài đặt ...................................................................... 38
Bảng 3.2 Diễn giải các tham số trong file cấu hình ..................................................... 44
Bảng 4.1 Các thông số thu được trên Laptop ............................................................... 64
Bảng 4.2 Các thông số thu được trên Jetson Nano ....................................................... 65
Bảng diễn giải thuật ngữ viết tắt
TỪ NỘI DUNG DIỄN GIẢI
AI Artificial Intelligence Trí tuệ nhân tạo
CUDA Compute Unified Device Architecture Kiến trúc tính toán song song của
NVDIA trong các GPU.
FPS Frames per second Tốc độ khung hình (Số khung hình
hiển thị trong một giây)
MQTT Message Queueing Telnhómetry Giao thức truyền thông điệp qua
Transport mạng
Yolo You only look once Mô hình nhận dạng vật thể
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
TÓM TẮT ĐỀ TÀI
Trong đề tài này, nhóm tập trung vào các vấn đề chính như sau: xây dựng mô hình
phát hiện đám cháy áp dụng công nghệ học sâu, phát hiện vật thể trong thời gian thực
qua Camera, đánh giá hiệu năng giữa các mô hình nhận diện vật thể và triển khai ứng
dụng lên bảng quản lý trên Web Server. Các mô hình được sử dụng để phát hiện lửa
trong đề tài này bao gồm: các phiên bản của Yolo (YOLOv3, YOLOv4, YOLOv5)
và các bản tối ưu hóa về định dạng TensorRT, Tflite. Tuy nhiên, các mô hình này chỉ
thích hợp chạy trên các thiết bị có cấu hình cao với CPU và GPU mạnh, để đưa vào
chạy trên các thiết bị cấu hình thấp ta cần phải qua các bước tối ưu, cấu hình và thiết
lập khác nhau, các phương pháp sẽ được trình bày sau trong bản báo cáo này.
Thiết bị Jetson Nano phiên bản 2Gb được sử dụng để thực thi các mô hình trong đề
tài. Với bộ nhớ RAM chỉ có 2Gb nên thiết bị luôn xảy ra tình trạng thiếu bộ nhớ trong
quá trình phát hiện lửa. Để đảm bảo quá trình này được diễn ra thông suốt, khóa luận
đã sử dụng một số cấu trúc rút gọn của các mô hình tuy nhiên vẫn đảm bảo độ chính
xác ở trong mức ổn định khi đào tạo đưa dữ liệu vào. Đồng thời, việc chuẩn bị và gán
nhãn dữ liệu huấn luyện cũng phải được đảm bảo cẩn thận, nhằm tránh các trường
hợp mô hình nhận diện sai các vật thể. Ví dụ như khi thực thi mô hình phát hiện lửa,
ánh đèn của bóng đèn điện thường bị nhận diện nhầm, vì thế việc lựa chọn hình ảnh
cần lựa chọn kỹ càng, tránh đi những hình ảnh khiến mô hình bị hiểu nhầm trong khi
tìm kiếm vật thể.
Sau khi thực hiện xây dựng những mô hình được nói trên, kết luận được đưa ra là giải
pháp sử dụng mô hình TensorRT trên thiết bị Jetson Nano là phương án thích hợp
nhất trong việc phát triển ứng dụng phát hiện lửa trên thiết bị Jetson Nano và Tflite
có thể chạy tốt trên các thiết bị nhúng của các hãng khác ngoài Nvdia.
1
Downloaded by Nguynhavy Ha Vy ([email protected])
lOMoARcPSD|16911414
CHƯƠNG 1 : MỞ ĐẦU
1.1 Đặt vấn đề
Hiện nay để phát hiện lửa có rất nhiều phương pháp, ví dụ như: quan sát bằng mắt
thường của con người, hệ thống vệ tinh, cảm biến không khí MQ-135, hệ thống xử lý
hình ảnh,… Quan sát bằng mắt thường là một trong những phương pháp truyền thống,
tuy nhiên không thiết thực khi có hỏa hoạn xảy ra. Hệ thống vệ tinh cần thời gian quét
dài và không thể cung cấp hình ảnh đám cháy theo thời gian thực. Cảm biến MQ-135
mang lại sự nhầm lẫn giữa khói bụi từ môi trường bình thường và khói của đám cháy,
hơn nữa việc phân biến số lượng cảm biến lớn ngoài tự nhiên không phù hợp với tính
chất tiết kiệm chi phí. Từ các phương pháp này ta có thể thấy, kỹ thuật xử lý hình ảnh
đem lại ưu điểm vượt trội, chỉ cần một máy quay chất lượng cao, người dùng có thể
giám sát một cánh rừng vài hecta, đồng thời phương pháp này còn cung cấp chi tiết
về ba yếu tố của đám cháy là màu sắc, chuyển động và kết cấu.
Trong đề tài này, nhóm đã đánh giá hiệu năng khi xây dụng mô hình Deep Learning
phát hiện lửa của ba phiên bản mô hình nhận diện vật thể Yolo. Sau khi lựa chọn
được mô hình có hiệu suất cao nhất, một bước tối ưu hóa nữa sẽ được thực hiện, mô
hình ban đầu sẽ hoạt động dưới định dạng TensorRT- một định dạng hỗ trợ tốt cho
các thiết bị của hãng Nvdia.
Yolo là mô hình phát hiện vật thể nổi tiếng và khá phổ biến với khả năng xử lý hình
ảnh trong thời gian thực, nhưng đối với vật thể nhỏ, nó luôn có tỷ lệ phát hiện chính
xác thấp hơn. Tuy nhiên ở đề tài này, nhóm đã có khắc phục nhược điểm này bằng
cách đưa hình ảnh ngọn lửa có kích thước nhỏ vào tệp huấn luyện, điều chỉnh các
thông số về kích thước, độ lọc ảnh. Ngoài ra, việc tối ưu mô hình mang đến hiệu quả
đáng kể trong việc tiết kiệm tài nguyên máy tính nhúng.
2
Downloaded by Nguynhavy Ha Vy ([email protected])