Giải pháp thu thập và phân tích logs tập trung của ngành Tài nguyên và Môi trường

02/01/2024

TN&MTNhật ký (logs) là bản ghi các sự kiện xảy ra trong hệ thống và mạng của tổ chức. Nhật ký chứa các mục, mỗi mục chứa thông tin liên quan đến một sự kiện xảy ra trong hệ thống phần mềm hoặc mạng. Nhật ký được sử dụng để phân tích, phát hiện các hành vi bất thường, đưa ra cảnh báo kịp thời, cung cấp dữ liệu hữu ích để điều tra các hoạt động tấn công mạng và tối ưu hóa hiệu suất hệ thống.

Thông tư số 31/2017/TT-BTTTT ngày 15/11/2017 của Bộ TT&TT quy định hoạt động giám sát an toàn hệ thống thông tin, theo đó các tổ chức phải giám sát toàn bộ các hoạt động trong hệ thống thông tin, thu nhận đầy đủ các thông tin logs để phát hiện ra các dấu hiệu tấn công, rủi ro, sự cố an toàn thông tin (ATTT) mạng. Căn cứ Thông tư số 12/2022/TT-BTTTT ngày 12/8/2022 quy định chi tiết và hướng dẫn một số điều của Nghị định số 85/2016/NĐ-CP về bảo đảm an toàn hệ thống thông tin theo cấp độ và Tiêu chuẩn quốc gia TCVN 11930:2017 về yêu cầu cơ bản đảm bảo an toàn HTTT theo cấp độ, an ninh thông tin cho các hệ thống thông tin theo cấp độ, các hệ thống cấp độ 3 trở lên phải có hệ thống lưu trữ và quản lý logs tập trung và nhật ký của hệ thống phải được lưu trữ tối thiểu 3 tháng, đối với các hệ thống cấp độ 4 trở lên phải lưu trữ logs tối thiểu 1 năm. 

Như vậy, hệ thống quản lý logs tập trung là thành phần không thể thiếu trong công tác đảm bảo ATTT cho các hệ thống thông tin, đóng vai trò rất quan trọng trong việc thu thập và phân tích để đưa ra các cảnh báo sớm các sự cố mất ATTT, hỗ trợ cung cấp dấu vết số phục vụ công tác điều tra và khắc phục sự cố mất ATTT.

Hiện trạng và nhu cầu quản lý logs tập trung phục vụ giám sát an toàn thông tin ngành Tài nguyên và Môi trường

Bộ TN&MT hiện đã đầu tư, vận hành 03 Trung tâm dữ liệu (TTDL) đặt tại Hà Nội và TP. Hồ Chí Minh. Hệ thống thu thập logs đang sử dụng là HP ArcSight được đầu tư từ năm 2017 có năng lực thu nhận 500 sự kiện trong 1 giây (EPS) và lưu trữ 500 GB dữ liệu. Năng lực này đủ thu nhận một cách hạn chế log của hệ thống tường lửa vì toàn bộ log của hệ thống tường lửa cần năng lực lớn hơn 4000 EPS, chưa kể nhu cầu cần thiết phải quản lý logs của toàn bộ các thiết bị mạng, máy chủ, ứng dụng,… tại các TTDL của Bộ. Hơn nữa, để nâng cao năng lực thu nhận cần đầu tư thiết bị mới có năng lực cao với chi phí dự kiến là rất lớn, khả năng tùy biến, chia sẻ log với các hệ thống thông tin khác tương đối khó khăn do phụ thuộc vào dịch vụ của hãng.

Trong khi đó, Bộ TN&MT hiện đang vận hành 71 hệ thống thông tin với tổng số máy chủ là 741 chiếc, tổng số máy trạm là 6.243 chiếc, cùng với hàng trăm thiết bị mạng khác. Do đó, việc nghiên cứu xây dựng mô hình quản lý logs tập trung đáp ứng yêu cầu về quản lý, với chi phí hợp lý là nhiệm vụ cấp thiết. 

Đề xuất mô hình quản lý logs tập trung phục vụ giám sát an toàn thông tin ngành Tài nguyên và Môi trường

Mô hình Kiến trúc tổng thể

Trên cơ sở các nghiên cứu về tổng quan cũng như phân tích các giải pháp quản lý logs tập trung phổ biến trên thế giới và Việt Nam, chúng tôi đề xuất mô hình Kiến trúc tổng thể của hệ thống quản lý logs tập trung phục vụ giám sát ATTT mạng tại Bộ TN&MT bao gồm các thành phần như sau:

Mô hình tổng thể của hệ thống sẽ bao gồm 6 lớp như sau:

Hình 1: Mô hình Kiến trúc tổng thể hệ thống quản lý logs tập trung ngành TN&MT

Giải pháp thu thập và phân tích logs tập trung của ngành Tài nguyên và Môi trường

1.    Người sử dụng: Bao gồm Người sử dụng, Đội Ứng cứu sự cố và Người quản trị.

2.    Kênh giao tiếp: Người sử dụng có thể sử dụng trực tiếp hệ thống thông qua trình duyệt web, ứng dụng trên thiết bị di động và thư điện tử.

3.    Nghiệp vụ: Hệ thống có 5 nghiệp vụ gồm Thu thập dữ liệu logs; lưu trữ và truy xuất dữ liệu logs; phân tích và xử lý logs ứng dụng học máy, cảnh báo bất thường; hiển thị, quản lý, truy vấn logs và quản lý chia sẻ logs.

4.    Dịch vụ, ứng dụng: Hệ thống sẽ bao gồm bốn ứng dụng cung cấp các dịch vụ tương ứng bao gồm:

Ứng dụng thu thập logs: Thu thập logs từ các thiết bị mạng, phần mềm ứng dụng, máy chủ,… Các ứng dụng này có thể được cài đặt riêng hoặc trực tiếp trên các máy chủ dưới dạng agent.

Ứng dụng quản lý và lưu trữ logs tập trung: Các logs sau khi được thu thập được quản lý và lưu trữ tập trung tại đây, đồng thời cung cấp các dịch vụ truy xuất, tra cứu,… dữ liệu logs qua API.

Ứng dụng phân tích logs bằng AI: Cung cấp các tính năng để phân tích logs bằng AI phục vụ phát hiện bất thường, cảnh báo sự cố.

Ứng dụng trích xuất và chia sẻ logs: Được sử dụng để quản lý và trích chọn, chia sẻ logs theo quy định cho các hệ thống bên ngoài.

5.    Cơ sở dữ liệu: Bao gồm CSDL quản lý logs tập trung, CSDL phân tích logs, CSDL quản lý chia sẻ logs.

6.    Hạ tầng kỹ thuật: Là hạ tầng kỹ thuật phục vụ triển khai và duy trì hệ thống như hạ tầng mạng tại trung tâm dữ liệu, hạ tầng an toàn, bảo mật,…

7.    Chính sách, chỉ đạo, quản lý: Là các chính sách, chỉ đạo, quy định quản lý nhằm triển khai và vận hành hiệu quả hệ thống.

Mô hình Quy trình nghiệp vụ

Quy trình nghiệp vụ của hệ thống quản lý logs tập trung như sau:

Hình 2: Mô hình Quy trình nghiệp vụ hệ thống quản lý logs tập trung ngành TN&MT

Giải pháp thu thập và phân tích logs tập trung của ngành Tài nguyên và Môi trường

1.    Thu thập, trích chọn dữ liệu logs: là nghiệp vụ thu thập logs từ các nguồn khác nhau như hệ điều hành, ứng dụng, tường lửa,… Các logs thu thập có thể áp dụng bộ lọc để trích chọn dữ liệu cần thiết.

2.    Lưu trữ và truy xuất dữ liệu logs: Tất cả các logs sau khi thu thập, trích chọn sẽ được lưu vào CSDL quản lý logs tập trung để lưu trữ và tra cứu. 

3.    Phân tích và xử lý logs ứng dụng học máy, cảnh báo bất thường: ứng dụng AI để phân tích logs nhằm phát hiện bất thường, tấn công xâm nhập mạng,…

4.    Hiển thị, quản lý, truy vấn logs: Cung cấp giao diện qua web hoặc giao diện lập trình API để hiển thị, truy vấn và cảnh báo các bất thường.

5.    Quản lý chia sẻ logs: Là thành phần quản lý chia sẻ logs từ CSDL nhật ký tập trung cho các hệ thống giám sát an toàn không gian mạng quốc gia (NCSC) hoặc các hệ thống giám sát ATTT khác của Bộ.

Mô hình đề xuất công nghệ cho hệ thống quản lý logs tập trung

Hình 3: Mô hình đề xuất công nghệ cho hệ thống quản lý logs tập trung ngành TN&MT
Giải pháp thu thập và phân tích logs tập trung của ngành Tài nguyên và Môi trường

Trên cơ sở phân tích về các giải pháp công nghệ quản lý logs tập trung và hiện trạng hạ tầng của Bộ, các giải pháp công nghệ được đề xuất sử dụng như sau:

Thu nhận, trích chọn dữ liệu logs: Beats: Là phần mềm agent có nhiệm vụ thu nhận logs của thiết bị mạng (Router, switch, firewall,…); máy chủ (hệ điều hành, ứng dụng, dịch vụ); thiết bị đầu cuối (PC, Laptop, Camera, máy in,...).

Logstash: Có nhiệm vụ xử lý, chuẩn hóa logs được gửi từ Beats, hoặc qua giao thức syslog… Sau đó, Logstash gửi logs tới ElasticSearch để lưu trữ.

 CSDL quản lý logs tập trung: Thực hiện lưu trữ log nhận được từ Logstash, Beat, ... Công nghệ đề xuất sử dụng là ElasticSearch để lưu trữ và tra cứu logs qua API.

 Phân tích và xử lý logs ứng dụng học máy: Là thành phần ứng dụng AI để phân tích logs. Các chức năng chính như tiền xử lý dữ liệu để trích chọn và đưa dữ liệu về các dạng máy học, sau đó sử dụng các thư viện phân tích AI phổ biến để huấn luyện mô hình. Trong nghiên cứu này, nhóm đề xuất sử dụng thư viện TensorFlow và các công cụ khác như Airflow, Jupyter, Zeppelin để tiến hành phân tích và đào tạo mô hình học máy cho một số bài toán cụ thể. Các dữ liệu phục vụ phân tích logs được lưu trong CSDL phân tích logs sử dụng Postgre.

Hiển thị, quản lý, truy vấn logs: Kibana được đề xuất sử dụng để cung cấp giao diện thực hiện các tác vụ khai thác log, truy vấn, hiển thị log lưu trữ tại CSDL quản lý logs tập trung.

Quản lý chia sẻ logs: Là ứng dụng web được xây dựng để phục vụ chia sẻ thông tin logs giám sát với bên thứ 3. Công nghệ đề xuất sử dụng là .NET Core, ReactJS, và lưu trong CSDL quản lý chia sẻ logs dùng SQL Server.

Mô hình triển khai đề xuất cho hệ thống quản lý logs tập trung

Hình 4: Mô hình triển khai đề xuất cho hệ thống  quản lý logs tập trung ngành TN&MT
Giải pháp thu thập và phân tích logs tập trung của ngành Tài nguyên và Môi trường

Để đảm bảo chức năng, hiệu năng, cũng như đảm bảo các yêu cầu về ATTT cho hệ thống quản lý logs tập trung ngành TN&MT, hệ thống được triển khai site chính ở TTDL tại trụ sở Bộ, site phụ ở TTDL tại trụ sở Cục. Các máy chủ web, thu thập, phân tích logs bằng AI sẽ được triển khai tại vùng DMZ. Các máy chủ CSDL được triển khai tại vùng FARM. Các vùng này đều được bảo vệ bởi các tường lửa thế hệ mới để ngăn ngừa mọi sự xâm nhập từ bên ngoài. CSDL elasticsearch thì sẽ được triển khai phân tán dưới dạng cluster để đảm bảo vận hành hiệu năng cao. Các máy chủ của hệ thống đều là các máy chủ ảo hóa trên hạ tầng ảo hóa đám mây của Bộ, cho phép thực hiện sao lưu và khôi phục nhanh chóng nếu có sự cố.

Kết luận

Trên cơ sở phân tích hiện trạng và nhu cầu xây dựng hệ thống thu nhập logs tập trung trong ngành TN&MT là rất cấp thiết để đáp ứng các yêu cầu về giám sát và chia sẻ logs tập trung theo quy định của pháp luật. Bộ TN&MT đang tích cực triển khai cung cấp các dịch vụ công thiết yếu về đất đai trong phạm vi đề án phát triển ứng dụng dữ liệu về dân cư, trong đó yêu cầu về một hệ thống thu thập và quản lý logs tập trung là một trong những điều kiện bắt buộc theo yêu cầu tại Công văn 1552/BTTTT-THH ngày 26/4/2022 về việc hướng dẫn kỹ thuật triển khai Đề án 06 (phiên bản 1.0). Hiện tại, hệ thống thu thập logs tập trung của Bộ TN&MT xây dựng theo mô hình kiến trúc được đề xuất trong khuôn khổ đề tài này đã được đưa vào vận hành, đáp ứng các tiêu chí về đảm bảo ATTT do Tổ công tác triển khai đề án phát triển ứng dụng dữ liệu về dân cư đánh giá. Trong thời gian tới, nhóm thực hiện sẽ nghiên cứu và thử nghiệm các mô hình AI cụ thể cho từng bài toán cụ thể như phân tích phát hiện bất thường trong tấn công mạng, xâm nhập mạng để có thể phát huy tối đa khả năng giám sát và cảnh báo sớm sự cố gây mất ATTT.

BÙI CÔNG THỊNH, TRẦN THỊ MAI THU, NGUYỄN VĂN HIỆU

Cục Chuyển đổi số và Thông tin dữ liệu tài nguyên môi trường

Nguồn: Tạp chí Tài nguyên và Môi trường số 20 (Kỳ 2 tháng 10) năm 2023

Gửi Bình Luận

code

Tin liên quan

Tin tức

Thủ tướng: Chống chạy chọt, lợi ích cá nhân trong tinh gọn bộ máy

Bộ trưởng Đỗ Đức Duy gửi thư chúc mừng ngày truyền thống Ngành Đo đạc và Bản đồ Việt Nam

Bộ Tài nguyên và Môi trường tổ chức Hội nghị triển khai ‘Kế hoạch định hướng sắp xếp, tinh gọn tổ chức bộ máy của Chính phủ’ 

Thông cáo báo chí Chương trình phiên họp thứ 40 của Ủy ban Thường vụ Quốc hội

Tài nguyên

Việt Nam - Phần Lan chia sẻ kinh nghiệm về quản lý bổ cập nước dưới đất

Bộ TN&MT phổ biến Luật Đất đai 2024 cho toàn ngành Tòa án Nhân dân

Thanh Hóa: Tạm dừng khai thác khoáng sản tại 3 dự án xây dựng công trình

TP. Vũng Tàu: Rà soát, kiểm tra vi phạm về đất đai

Môi trường

Diễn đàn “Công nhân lao động vì môi trường 2024”: Lan tỏa sáng kiến xanh, bảo vệ môi trường

Kết nối các Vườn Di sản ASEAN: Hành trình bảo tồn đa dạng sinh học tại Việt Nam

Ninh Thuận: Ra quân thu dọn hàng trăm khối rác thải ở đầm Nại

Lãnh đạo tỉnh Quảng Ngãi yêu cầu chủ động xử lý sạt lở bờ biển ở huyện Bình Sơn

Video

Nâng cao công tác quản lý nhà nước về môi trường và hỗ trợ các doanh nghiệp

Phụ nữ tiên phong trong phát triển kinh tế tuần hoàn

Chuyển đổi năng lượng xanh, hướng tới mục tiêu Net Zero

Dương Kinh (Hải Phòng): Đi tìm lời giải trong việc thu hồi đất tại phường Hòa Nghĩa

Khoa học

Giải pháp thúc đẩy phân loại chất thải rắn sinh hoạt theo luật Bảo vệ môi trường năm 2020

Ứng dụng công nghệ khoáng, vi sinh và nước xử lý ô nhiễm môi trường chăn nuôi

Đánh giá ảnh hưởng môi trường của một số ao nuôi tôm khu vực phía Nam huyện Nhà Bè

Khảo sát quá trình lên men nghệ mật ong ở một số môi trường khác nhau

Chính sách

Từ 1/1/2025, xe ô tô kinh doanh chở trẻ em mầm non, học sinh phải sơn màu vàng đậm

Vi phạm hành chính lĩnh vực khí tượng thủy văn bị phạt tới 100 triệu đồng

Phấn đấu đến 2030, mở rộng diện tích, thành lập mới, quản lý hiệu quả 27 khu bảo tồn biển

Giải pháp trọng tâm đẩy mạnh tăng trưởng xanh giai đoạn 2021 - 2030, tầm nhìn 2050

Phát triển

“Nhà của ông già Noel” bất ngờ xuất hiện tại khu đô thị của nhà sáng lập Ecopark

Supe Lâm Thao tổ chức Chương trình trồng hoa mừng xuân Ất Tỵ tại Khu Di tích lịch sử Đền Hùng

Công ty CP Than Hà Tu: Đẩy mạnh hoàn thành các chỉ tiêu kế hoạch năm 2024

Tổng công ty Công nghiệp mỏ Việt Bắc TKV: Sơ kết công tác sản xuất kinh doanh 9 tháng đầu năm

Diễn đàn

Tin Gió mùa Đông Bắc tăng cường ngày 13/12: Bắc Bộ và Bắc Trung Bộ trời rét đậm, có nơi rét hại

Thời tiết ngày 12/12: Bắc Bộ trời rét, vùng núi rét đậm

Tin mới nhất về Gió mùa Đông Bắc ngày 12/12

Thời tiết ngày 11/12: Miền Bắc chiều tối rét đậm kèm mưa

Kinh tế xanh

Cam 3T Farm Cao Phong: Mô hình tiêu biểu trong xây dựng thương hiệu nông sản và chuyển đổi số

Diễn đàn Kinh tế tuần hoàn Việt Nam 2024 “Cần ưu tiên 4 con đường chính"

Organic Green Nut - Đậu phụ Quê Mình: Đem nông sản Việt chất lượng cho người Việt

Miến Dong sạch Trung Kiên: Sản phẩm sạch, an toàn cho sức khỏe và môi trường