Thử nghiệm dự đoán mức độ bụi mịn PM2.5 bằng phương pháp học máy trên nền tảng Monre.AI

03/01/2024

TN&MTTriển khai các mô hình mới về kiểm soát ô nhiễm môi trường, thích ứng biến đổi khí hậu và nước biển dâng là nhiệm vụ quan trọng đã được Chính phủ giao Bộ TN&MT tại Nghị quyết số 50/NQ-CP. Ngày nay, với sự bùng nổ của thông tin và dữ liệu lớn, công tác dự báo, cảnh báo trong lĩnh vực môi trường cần có các mô hình mới nhằm triển khai tốt hơn các nhiệm vụ về kiểm soát ô nhiễm môi trường. Ứng dụng Trí tuệ nhân tạo và các phương pháp học máy để giải quyết các bài toán về cảnh báo, dự báo mô hình là hướng nghiên cứu, ứng dụng mới hiện đang được quan tâm trong lĩnh vực môi trường.

Trong bài báo này, chúng tôi sẽ giới thiệu tổng quan về ứng dụng các phương pháp học máy trong lĩnh vực môi trường, các kết quả thử nghiệm ứng dụng một số phương pháp học máy cho bài toàn dự đoán mức độ bụi mịn PM2.5 khu vực Hà Nội trên Nền tảng Trí tuệ nhân tạo dùng chung ngành TN&MT (Monre.AI) đang được thử nghiệm xây dựng.

Tổng quan các bài toán cảnh báo, dự báo lĩnh vực môi trường

Các phương pháp học máy hiện nay được ứng dụng, sử dụng trong nhiều bài toán phân tích, giám sát, cảnh báo, dự báo môi trường, được phân thành 4 nhóm chính: Cảnh báo, dự báo; nhận dạng độ quan trọng đặc trưng; phát hiện bất thường và khám phá vật liệu và hóa chất mới.

Hình 1: Các ứng dụng phổ biến của học máy trong lĩnh vực môi trường [1]
Thử nghiệm dự đoán mức độ bụi mịn PM2.5 bằng phương pháp học máy trên nền tảng Monre.AI

Các thuật toán học máy đang được sử dụng nhiều, bao gồm cả nhóm học giám sát và học không giám sát như: Máy véc-tơ hỗ trợ (SVM); Rừng ngẫu nhiên (Random Forest - RM); Phân cụm K-means; Mạng nơ-ron nhân tạo (ANN, CNN); Học sâu (Deep Learning) và các phương pháp lai ghép (Hybrid Methods).

Bài toán dự đoán mức độ bụi mịn PM2.5

Theo Báo cáo Hiện trạng môi trường Quốc gia năm 2021 [2]: Giai đoạn 2016 - 2021, môi trường không khí tại các đô thị lớn như: TP. Hà Nội, TP. Hồ Chí Minh và các đô thị phát triển công nghiệp như Phú Thọ, Bắc Ninh,… tiếp tục ghi nhận bị ô nhiễm ở một số thời điểm trong năm, chủ yếu là ô nhiễm bụi. Mức độ ô nhiễm tại các đô thị miền Bắc cao hơn miền Trung, miền Nam. Theo số liệu quan trắc môi trường không khí tự động liên tục ở TP. Hà Nội, tính trung bình 4 năm (2018 - 2021) có 28,45% số ngày quan trắc có giá trị AQI đạt mức tốt, 47,10% ở mức trung bình, 5,70% ở mức xấu, thậm chí một số ngày chất lượng không khí ở ngưỡng rất xấu (VN_AQI = 201 - 300).

Hình 2: Diễn biến giá trị VN_AQI tại trạm Minh Khai, Hà Nội

Thử nghiệm dự đoán mức độ bụi mịn PM2.5 bằng phương pháp học máy trên nền tảng Monre.AI

Các yếu tố chính làm tham số đầu vào cho dự báo bụi mịn PM2.5 bao gồm dữ liệu về điều kiện khí tượng (nhiệt độ, áp suất, khả năng bốc hơi, bức xạ, độ ẩm và gió), yếu tố bề mặt (đường cao tốc, đường quốc lộ, tỉnh lộ và độ che phủ rừng) và yếu tố về vùng địa lý [1]. Với các phương pháp truyền thống, dự báo bụi mịn PM2.5 thông thường đạt độ chính xác khoảng 60%, nhưng với một số phương pháp học máy độ chính xác có thể đạt 74% [1].

Một trong số những thuật toán được sử dụng phổ biến trong việc dự đoán chất lượng không khí là SVM. SVM sử dụng các hàm biến đổi (kernel) để biến đổi dữ liệu gốc thành một không gian nhiều chiều hơn để tạo ra ranh giới phân loại [3]. Bên cạnh SVM, RF cũng là thuật toán được nghiên cứu áp dụng và cho kết quả khá tốt, nhóm nghiên cứu của ĐHQG TP. Hồ Chí Minh đã đạt độ chính xác trên 80% dự báo nồng độ PM2.5 trước hai ngày. Mạng nơ-ron nhân tạo (ANN) cũng được áp dụng trong việc dự đoán bụi PM2.5, nghiên cứu tại tại khu vực Hợp Phì (Trung Quốc) đã cho độ chính xác cao khi dự đoán mật độ bụi PM2.5 trong ngày tiếp theo [4]. Một số nghiên cứu áp dụng thuật toán XGBoost [5] đã cho độ chính xác vượt trội hơn so với RF, Perceptron đa lớp (MLP). Chính những ưu điểm này mà thuật toán XGBoost được áp dụng ngày càng nhiều trong các bài toán dự đoán bên cạnh các thuật toán học sâu.

Thử nghiệm dự đoán mức độ bụi mịn PM2.5 khu vực Hà Nội bằng một số phương pháp học máy

Mô tả bài toán: Dự đoán mức độ bụi mịn PM2.5 khu vực Hà Nội sẽ thực hiện dự báo mức độ ô nhiễm môi trường qua chỉ số bụi mịn PM2.5 giờ tiếp theo khu vực thành phố Hà Nội. Phạm vi thử nghiệm là dự báo tại vị trí trạm quan trắc môi trường không khí.

Dữ liệu đầu vào: Thu thập từ trạm quan trắc môi trường không khí khu vực TP. Hà Nội và một số dữ liệu khác có liên quan (Trạm 556 Nguyễn Văn Cừ, Hà Nội).

Kết quả đầu ra: Dự báo mức độ ô nhiễm không qua chỉ số bụi mịn PM2.5 1 giờ tiếp theo tại vị trí trạm quan trắc.

Phương pháp sử dụng: Ba phương pháp học máy đang được sử dụng phổ biến bao gồm: Perceptron đa lớp (MLP); Rừng ngẫu nhiên (RF) và Tăng cường độ dốc cực cao (XGBoost).

Quy trình thử nghiệm: Quy trình thử nghiệm bài toán “Dự đoán mức độ bụi mịn PM2.5 khu vực TP. Hà Nội” bao gồm các bước theo hình dưới (Hình 3):

Hình 3: Quy trình thử nghiệm dự đoán mức độ bụi mịn PM2.5 khu vực TP. Hà Nội
Thử nghiệm dự đoán mức độ bụi mịn PM2.5 bằng phương pháp học máy trên nền tảng Monre.AI

Thu thập dữ liệu (Bước 1): Dữ liệu thu thập gồm dữ liệu quan trắc liên tục thu thập từ Trạm quan trắc 556 Nguyễn Văn Cừ, Hà Nội và một số dữ liệu khác có liên quan trong thời gian 46 tháng (1/2020 - 10/2023). Kết quả tệp dữ liệu đầu vào (.csv) bao gồm các giá trị quan trắc và một số trường dữ liệu bổ sung (nhiệt độ, độ ẩm, ánh sáng,...), mỗi bản ghi là giá trị tại một thời điểm đo (định kỳ 5 phút).

Tiền xử lý dữ liệu (Bước 2): Dữ liệu sau khi thu thập tại Bước 1, thực hiện rà soát, đánh giá loại bỏ các dữ liệu nhiễu. Kết quả là tập các bản ghi đã được chuẩn hóa bao gồm các trường dữ liệu đáp ứng được yêu cầu.

Trích xuất đặc trưng (bước 3): Dữ liệu sau khi tiền xử lý tại bước 2, thực hiện bổ sung thêm các trường thông tin, trích rút các đặc trưng là đầu vào cho các mô hình học máy. Kết quả là tệp dữ liệu đầu vào (.csv) sẽ được chia thành các tập dữ liệu huấn luyện và kiểm tra.

Thiết lập môi trường thử nghiệm (Bước 4): Cài đặt, cấu hình các thành phần và nền tảng Monre.AI để triển khai các mô hình học máy đã lựa chọn.

Triển khai các mô hình học máy (Bước 5): Huấn luyện các mô hình học máy trên nền tảng Monre.AI với tập dữ liệu huấn luyện, lựa chọn các tham số tối ưu của mô hình, thực hiện dự báo với tập dữ liệu kiểm tra.

Đánh giá kết quả thử nghiệm (Bước 6): Đánh giá, so sánh kết quả dự đoán của các mô hình học máy.

Kết quả thử nghiệm
Thu thập dữ liệu:
Mỗi bản ghi trong tập dữ liệu thu thập bao gồm các trường thông tin: Thời gian, nhiệt độ, NOx, SO2, O3, PM10, PM2.5, NO, NO2, áp suất, PM1, chỉ số bức xạ, độ ẩm, hướng gió và tốc độ gió. Thời gian quan trắc định kỳ 5 phút, do đó tổng số bản ghi của dữ liệu thu thập được khoảng 397.000 bản ghi. Kết quả là tệp dữ liệu thu thập QTKK_556nvc_raw_data.csv.
Tiền xử lý dữ liệu: Qua phân tích tệp dữ liệu thu thập QTKK_556nvc_raw_data.csv, thấy rằng một số bản ghi giá trị của một số thông số quan trắc quan trọng bị khuyết (giá trị null), có giá trị nhiễu (giá trị đặc biệt, ngoài các giới hạn ngưỡng bình thường),… do đó cần thực hiện loại bỏ các bản ghi này ra khỏi dữ liệu đầu vào. Kết quả là tập dữ liệu QTKK_556nvc_standardized_data.csv đã được chuẩn hóa để đưa vào trích chọn đặc trưng.
Trích chọn đặc trưng: Qua phân tích, các đặc trưng có thể ảnh hưởng đến kết quả dự đoán bao gồm: mùa (f1 - f2), ngày nghỉ (f3), giờ (f4), giá trị chỉ số PM2.5 hiện tại (f5), giá trị chỉ số PM10 hiện tại (f6), giá trị nhiệt độ hiện tại (f7), giá trị độ ẩm hiện tại (f8), giá trị ánh sáng hiện tại (f9), giá trị chỉ số CO2 hiện tại (f10), lần lượt các giá trị chỉ số PM2.5 trong 1 → 24 giờ trước đó (f11→f35), lần lượt là giá trị lớn nhất, nhỏ nhất, trung bình chỉ số PM2.5 trong 24 giờ trước đó (f36→f38), lần lượt là giá trị lớn nhất, nhỏ nhất, trung bình nhiệt độ trong 24 giờ trước đó (f39→f41), lần lượt là giá trị lớn nhất, nhỏ nhất, trung bình độ ẩm trong 24 giờ trước đó (f42→f44).

Hình 4: Biểu đồ mối quan hệ tương quan giữa các thông số quan trắc và PM2.5
Thử nghiệm dự đoán mức độ bụi mịn PM2.5 bằng phương pháp học máy trên nền tảng Monre.AI

Kết quả là tệp dữ liệu QTKK_556nvc_processed_ data.csv (khoảng 33.000 bản ghi). Tệp dữ liệu này sẽ được tách thành 2 tập dữ liệu huấn luyện và kiểm tra mô hình tương ứng theo tỷ lệ 80% và 20% (lấy ngẫu nhiên).

Thiết lập môi trường thử nghiệm

Thực hiện cài đặt, cấu hình các phần mềm, giải pháp nền tảng và nền tảng Monre.AI phục vụ triển khai các bài toán học máy đã lựa chọn.

Hình 5: Thiết lập nền tảng Monre.AI phục vụ thử nghiệm
Thử nghiệm dự đoán mức độ bụi mịn PM2.5 bằng phương pháp học máy trên nền tảng Monre.AI

Kết quả dự đoán: Để đánh giá kết quả dự đoán, chúng tôi sử dụng các độ đo sau: Sai số tuyệt đối trung bình (MAE); Sai số toàn phương trung bình (RMSE) và Hệ số xác định (R2-score) lần lượt theo các công thực dưới:

Thử nghiệm dự đoán mức độ bụi mịn PM2.5 bằng phương pháp học máy trên nền tảng Monre.AI

Trong đó, gi và g’i lần lượt là các giá trị thực tế và dự đoán của mẫu thứ i; là giá trị trung bình của tất cả các giá trị thực tế (gi), n là tổng số mẫu.

Kết quả độ so khớp giữa giá trị dự đoán PM2.5 và giá trị thực tế quan trắc của 03 mô hình theo hình dưới:

Thử nghiệm dự đoán mức độ bụi mịn PM2.5 bằng phương pháp học máy trên nền tảng Monre.AI

Như vậy, dựa trên bảng kết quả trên có thể thấy rằng: Kết quả độ đo R2 cho thấy thuật toán XGBoost cho tỷ lệ phù hợp với tập dữ liệu cao nhất (96,97%). Dựa trên kết quả độ đo RMSE, thuật toán XGBoost sẽ cho ra mô hình dự đoán khớp với tập dữ liệu nhiều nhất có thể. Về thời gian huấn luyện: Mô hình XGBoost có thời gian ngắn nhất, cho thấy mô hình này có thể phù hợp trong triển khai các ứng dụng thực tiễn.

Kết luận

Trong phạm vi đề tài nghiên cứu KH&CN cấp Bộ “Nghiên cứu xây dựng công nghệ nền tảng trí tuệ nhân tạo phục vụ chuyển đổi số ngành TN&MT” (mã số: TNMT.2022.04.03), nhóm tác giả đã thử nghiệm bài toán dự đoán mức độ bụi mịn PM2.5 khu vực TP. Hà Nội bằng một số phương pháp học máy. Kết quả chỉ ra rằng, có thể triển khai các mô hình học máy này trên nền tảng Monre.AI và các kết quả thử nghiệm cũng đã cho thấy các phương pháp học máy đã cho độ chính xác khá cao, có thể ứng dụng được trong thực tiễn.

Tài liệu tham khảo

1. Zhong et al (2021): Machine Learning: New Ideas and Tools in Environmental Science and Engineering. Environmental Science & Technology 2021;

2. Bộ Tài nguyên và Môi trường (2022): Báo cáo Hiện trạng môi trường Quốc gia 2021;

3. C.-M. Vong et al (2012): Short-Term Prediction of Air Pollution in Macau Using Support Vector Machines. Journal of Control Science and Engineering;

4. A. Li and X. Xu (2018): A New PM2.5 Air Pollution Forecasting Model Based on Data Mining and BP Neural Network Model. Advances in Computer Science Rese;

5. M. Z. Joharestani et al (2019): PM2.5 Prediction Based on Random Forest, XGBoost, and Deep Learning Using Multisource Remote Sensing Data. Atmosphere.

NGUYỄN NGỌC VŨ1, HOÀNG THU TRANG1, NGUYỄN TIẾN HƠN1
    VĂN HÙNG VỸ2, HOÀNG CÔNG HUY2

    Cục Chuyển đổi số và Thông tin dữ liệu tài nguyên môi trường
    Trung tâm Quan trắc Môi trường Miền Bắc, Cục Kiểm soát Ô nhiễm môi trường

Nguồn: Tạp chí Tài nguyên và Môi trường số 21 (Kỳ 1 tháng 10) năm 2023

Where you can buy Louis Vuitton Replica :

hermes pas cher louis vuitton neverfull replica louis vuitton scarf replica gucci backpack replica louis vuitton outlet nederland dior tasche replica replica chanel wallet louis vuitton duffle bag replica Replica chanel replica chanel wallet louis vuitton messenger bag replica dior tasche replica fake Louis Vuitton shoes replica gucci shoes van cleef replica chanel imitazioni replica celine Louis Vuitton Taschen replica hermes pas cher louis vuitton messenger bag replica LOUIS VUITTON sunglasses replica replica cartier love bracelet replica louis vuitton m40780 louis vuitton imitate kaufen fake louis vuitton tas kopen fake louis vuitton wallet louis vuitton scarf replica chanel imitazioni perfette replica louboutin replica celine replica Louis Vuitton shoes goyard replica cartier love imitazione fake Louis Vuitton shoes gucci scarf replica borse louis vuitton replica replica Louis Vuitton supreme Backpack Louis Vuitton replica replique Sac Louis Vuitton chanel replica louis vuitton keepall replica zaino louis vuitton falso replica Jordan 1 cartier love ring replica dior replica chanel replica fake louis vuitton shoes louis vuitton shoes replica replica louis vuitton wallet imitazioni louis vuitton

Tin tức

Thủ tướng: Không bao giờ quên những người làm nên 'cột mốc vàng' lịch sử Điện Biên Phủ

Tăng cường hợp tác với Úc về khí hậu - năng lượng - môi trường

Sớm hoàn thiện quy định về giá đất

Lãnh đạo Đảng, Nhà nước dâng hương tưởng niệm Tổng Bí thư Trần Phú

Tài nguyên

Cát biển - Vật liệu xây dựng trong tương lai

Ủy ban Khoa học, Công nghệ và Môi trường của Quốc hội thẩm tra Dự án Luật Địa chất và Khoáng sản

Xử phạt vi phạm hành chính trong lĩnh vực đất đai góp phần đưa công tác quản lý, sử dụng đất đi vào nền nếp

Hoàn thiện, đồng bộ chính sách, pháp luật về đất đai

Môi trường

Long An công bố khẩn cấp thiên tai xâm nhập mặn

Quảng Nam: Giải cứu thành công sơn dương quý hiếm bị mắc bẫy

Tận dụng rác thải nhựa: Tại sao không?

Hoàn thiện hành lang pháp lý về các công cụ kinh tế trong quản lý môi trường 

Video

Kỷ niệm 20 năm Tạp chí Tài nguyên và Môi trường và ra mắt kỷ ra mắt chuyên trang tiếng Anh

Tình yêu Môi trường

Thế giới lo sợ vì biến đổi khí hậu đã “Ngoài tầm kiểm soát” và kêu gọi hành động toàn cầu

Dự án Luật địa chất và khoáng sản sửa đổi khắc phục hạn chế để phát huy nguồn lực khoáng sản

Khoa học

Đánh giá tổng lượng nước trên mặt của khu vực vành đai kinh tế ven biển vịnh Bắc Bộ

Giải pháp phục hồi sông đô thị ở nước ta nhìn từ kinh nghiệm quốc tế

Đánh giá tổng lượng nước trên mặt lưu vực sông Lô Chảy

Ứng dụng mô hình mạng nơ-ron nhân tạo dự báo mực nước dưới đất trong các tầng chứa nước khe nứt lưu vực sông Nhuệ - Đáy

Chính sách

Bắc Giang: Một doanh nghiệp bị xử phạt về tài nguyên nước và khoáng sản

Hà Nội yêu cầu xe vận chuyển chất thải phải có camera hành trình, GPS

Thanh Hóa: Cao ốc đa chức năng 50 tầng sau hơn 2 năm tìm được chủ vẫn là bãi đất trống

Chính sách vượt trội “đẩy lui” ô nhiễm

Phát triển

Cần chính sách cho doanh nghiệp phát triển kinh tế tuần hoàn

Chợ đêm tại Phú Quốc có gì khiến phóng viên Hàn Quốc “phải lòng”?

Hội Văn nghệ sĩ - Nhà báo xứ Thanh tại Hà Nội: Gặp mặt đầu Xuân và khởi động chương trình 60 năm “ký ức Hàm Rồng”

Thúc đẩy thực hành giảm nhựa trong các siêu thị và nhà bán lẻ

Diễn dàn

Nâng cao năng lực dự báo, cảnh báo thiên tai trước tác động của biến đổi khí hậu

Thời tiết ngày 18/4: Miền Bắc sáng mưa dông, trưa chiều trời nắng

Thời tiết ngày 17/4: Nhiều tỉnh, thành phố nắng nóng đổ lửa

Thời tiết ngày 16/4: Miền Bắc gia tăng nắng nóng