Thu thập dữ liệu quan trắc môi trường được thực hiện thế nào?

Tại Việt Nam, Thông tư 10/2021/TT-BTNMT quy định riêng các yêu cầu đối với việc nhận, truyền và quản lý dữ liệu của hệ thống quan trắc môi trường tự động, liên tục. Văn bản này hiện vẫn được Cơ sở dữ liệu quốc gia về văn bản pháp luật ghi nhận là còn hiệu lực.

Quy trình dữ liệu đi từ thiết bị đo đến hệ thống trung tâm

Một chuỗi thu thập dữ liệu quan trắc tự động có thể hình dung qua sáu bước:

1.    Thiết bị đo tiếp xúc với mẫu hoặc dòng môi trường và tạo kết quả đo

2.    Bộ điều khiển hoặc data logger nhận trực tiếp tín hiệu từ thiết bị

3.    Data logger gắn thông tin thời gian, đơn vị, trạng thái thiết bị và lưu dữ liệu tại trạm

4.    Dữ liệu được đóng thành tệp hoặc bản tin theo cấu trúc đã quy định

5.    Hệ thống truyền tệp qua mạng Internet tới máy chủ tiếp nhận

6.    Hệ thống trung tâm xác thực, lưu vào cơ sở dữ liệu, hiển thị và thực hiện các chức năng giám sát

Điểm quan trọng là quá trình này vừa có phần đo lường vừa có phần quản trị dữ liệu. Một giá trị nồng độ hoặc thông số môi trường chỉ thực sự có ý nghĩa khi đi kèm thời gian đo, đơn vị, trạng thái của thiết bị và thông tin giúp hệ thống trung tâm xác định nguồn phát sinh dữ liệu.

Chuỗi trên chủ yếu áp dụng cho quan trắc tự động, liên tục. Quan trắc định kỳ bằng lấy mẫu thủ công có quy trình khác: mẫu được lấy tại hiện trường, bảo quản, phân tích tại phòng thí nghiệm rồi kết quả mới được tổng hợp và đưa vào hệ thống dữ liệu.

Thiết bị đo và data logger thu thập dữ liệu như thế nào?

Tại trạm quan trắc, cảm biến hoặc thiết bị phân tích là nơi sinh ra dữ liệu ban đầu. Tùy đối tượng quan trắc, hệ thống có thể đo các thông số của nước, không khí, nước thải hoặc khí thải. Kết quả từ thiết bị sau đó được chuyển tới data logger.

Theo Điều 39 Thông tư 10/2021/TT-BTNMT, hệ thống nhận, truyền và quản lý dữ liệu tại trạm phải kết nối trực tiếp với thiết bị đo, thiết bị phân tích, bộ điều khiển và hệ thống lấy mẫu tự động nếu có, thay vì đưa dữ liệu qua một thiết bị trung gian khác. Tín hiệu đầu ra của hệ thống phải ở dạng số.

Yêu cầu kết nối trực tiếp có ý nghĩa đối với tính toàn vẹn của chuỗi dữ liệu. Nếu một giá trị phải đi qua nhiều lớp thiết bị không được kiểm soát trước khi đến data logger, sẽ khó xác định dữ liệu đã được biến đổi ở đâu khi xảy ra sai lệch.

Data logger cũng không chỉ nhận một con số. Với mỗi kết quả, hệ thống cần quản lý tối thiểu các thành phần như:

·         Thông số đo

·         Kết quả đo

·         Đơn vị đo

·         Thời gian đo

·         Trạng thái thiết bị

Trạng thái thiết bị đặc biệt quan trọng. Một kết quả xuất hiện trong thời gian thiết bị đang hiệu chuẩn hoặc báo lỗi không nên được hiểu giống một kết quả được tạo ra khi thiết bị đang ở trạng thái đo bình thường.

Dữ liệu được chuẩn hóa và lưu tại trạm trước khi truyền ra sao?

Sau khi nhận kết quả từ thiết bị đo, data logger thực hiện vai trò như bộ nhớ và điểm quản lý dữ liệu cục bộ. Theo quy định hiện hành đối với hệ thống quan trắc tự động, liên tục, data logger phải có khả năng lưu giữ liên tục ít nhất 60 ngày dữ liệu gần nhất.

Việc lưu cục bộ tạo ra một lớp dự phòng quan trọng. Internet có thể mất kết nối trong khi thiết bị đo vẫn hoạt động. Nếu dữ liệu chỉ tồn tại trên đường truyền mà không được lưu tại trạm, sự cố mạng có thể biến thành mất dữ liệu quan trắc.

Đối với phương thức truyền được quy định tại Thông tư 10/2021/TT-BTNMT, dữ liệu quan trắc được tổ chức dưới dạng tệp .txt. Nội dung tệp bao gồm năm nhóm thông tin chính: thông số đo, kết quả, đơn vị, thời gian và trạng thái thiết bị; cấu trúc cũng như quy tắc đặt tên tệp được quy định tại Phụ lục 15 của Thông tư.

Như vậy, chuẩn hóa dữ liệu không đơn thuần là đổi tất cả kết quả sang một định dạng số. Mục tiêu là tạo ra một cấu trúc mà máy chủ tiếp nhận có thể biết giá trị nào được đo, tại thời điểm nào, bằng đơn vị nào và trong trạng thái vận hành nào.

Dữ liệu được truyền về máy chủ trung tâm như thế nào?

Sau khi được data logger tiếp nhận và tổ chức, dữ liệu phải được truyền qua hạ tầng mạng tới hệ thống tiếp nhận.

Đối với hệ thống quan trắc tự động, liên tục thuộc phạm vi Điều 39 Thông tư 10/2021/TT-BTNMT, phương thức được quy định là FTP, FTPs hoặc sFTP tới địa chỉ máy chủ bằng tài khoản do cơ quan tiếp nhận cung cấp. Đường truyền Internet tại hệ thống được yêu cầu tối thiểu 30 Mb/s. Quy định cũng cho phép khuyến khích phương thức truyền hiện đại hơn nếu bên truyền và bên nhận đáp ứng được điều kiện kỹ thuật.

Dữ liệu không được tích lại trong thời gian dài rồi mới gửi một lần. Kết quả phải được truyền theo thời gian thực, chậm nhất 5 phút sau khi hệ thống trả ra kết quả quan trắc, mỗi lần một tệp dữ liệu. Hệ thống đồng thời phải đồng bộ thời gian theo múi giờ Việt Nam GMT 7.

Đối với hệ thống quan trắc nước thải và khí thải tự động, liên tục, dữ liệu truyền về cơ quan tiếp nhận còn gắn với địa chỉ IP tĩnh đã thông báo. IP và tài khoản truy cập giúp máy chủ xác định nguồn gửi, thay vì chỉ tiếp nhận một tệp không rõ xuất phát từ hệ thống nào.

Nếu hệ thống có camera giám sát, luồng camera là một loại dữ liệu khác với tệp kết quả đo. Thông tư quy định thông tin camera được truyền bằng RTSP, còn dữ liệu camera phải được lưu tối thiểu 3 tháng.

Hệ thống trung tâm xử lý dữ liệu sau khi tiếp nhận thế nào?

Máy chủ trung tâm không chỉ làm nhiệm vụ nhận tệp. Khi dữ liệu đến, hệ thống phải xác định đúng nguồn truyền trước khi đưa kết quả vào cơ sở dữ liệu.

Theo yêu cầu đối với hệ thống tiếp nhận tại cơ quan quản lý cấp tỉnh trong Thông tư 10/2021/TT-BTNMT, dữ liệu từ cơ sở được xác thực dựa trên địa chỉ IP tĩnh và tài khoản truy cập đã cấp. Cơ sở dữ liệu phải quản lý tối thiểu tên trạm hoặc hệ thống, thông số đo, kết quả, đơn vị, thời gian và trạng thái thiết bị.

Sau khi được tiếp nhận và lưu trữ, dữ liệu có thể phục vụ các lớp xử lý tiếp theo như hiển thị bảng và biểu đồ, tính giá trị lớn nhất hoặc nhỏ nhất, tính trung bình, đối chiếu kết quả với quy chuẩn kỹ thuật môi trường và phát hiện gián đoạn truyền dữ liệu.

Ở hệ thống quản lý cấp trung ương, phần mềm theo quy định còn phải hỗ trợ theo dõi và cảnh báo trực tuyến khi kết quả vượt giá trị giới hạn theo QCVN hoặc khi việc truyền dữ liệu bị gián đoạn.

Vì vậy, “hệ thống trung tâm” nên được hiểu là một chuỗi chức năng gồm:

Tiếp nhận → xác thực → kiểm tra cấu trúc → lưu vào cơ sở dữ liệu → xử lý → hiển thị → cảnh báo

Máy chủ nhận tệp chỉ là một mắt xích trong chuỗi này.

Điều gì xảy ra khi đường truyền hoặc thiết bị gặp sự cố?

Truyền dữ liệu theo thời gian thực không có nghĩa là mọi kết quả đều phụ thuộc vào việc Internet phải hoạt động liên tục. Data logger lưu dữ liệu tại chỗ chính là cơ chế giúp tách sự cố truyền dẫn khỏi quá trình đo.

Khi đường truyền bị gián đoạn, hệ thống phải giữ lại dữ liệu đã phát sinh. Sau khi kết nối được phục hồi, dữ liệu của khoảng thời gian gián đoạn phải được tự động truyền bù về hệ thống tiếp nhận. Nếu việc truyền dữ liệu bị gián đoạn quá 12 giờ, đơn vị vận hành phải thông báo nguyên nhân và biện pháp khắc phục cho cơ quan tiếp nhận theo yêu cầu của Thông tư 10/2021/TT-BTNMT.

Cơ chế này cho thấy cần phân biệt ba dạng sự cố:

Sự cố đường truyền xảy ra khi thiết bị vẫn đo và data logger vẫn lưu dữ liệu nhưng máy chủ trung tâm chưa nhận được dữ liệu. Trường hợp này có thể phục hồi bằng truyền bù.

Sự cố data logger có thể ảnh hưởng đến khâu nhận, lưu hoặc đóng gói dữ liệu ngay tại trạm. Khi đó, chỉ khôi phục Internet chưa chắc đủ.

Sự cố thiết bị đo ảnh hưởng đến bản thân kết quả quan trắc. Dữ liệu vẫn có thể được truyền bình thường về trung tâm nhưng trạng thái thiết bị phải cho phép nhận biết kết quả được tạo ra khi thiết bị đang báo lỗi, hiệu chuẩn hay vận hành bình thường.

Đây cũng là lý do một hệ thống giám sát tốt không nên chỉ kiểm tra câu hỏi “máy chủ có nhận được dữ liệu hay không”. Nó còn phải kiểm tra tính liên tục theo thời gian, trạng thái thiết bị, nguồn truyền, định dạng và sự đầy đủ của từng thông số.

Từ dữ liệu tại trạm đến cơ sở dữ liệu quản lý có hai cấp truyền khác nhau

Trong mô hình quản lý theo Thông tư 10/2021/TT-BTNMT, cần phân biệt dữ liệu truyền từ trạm/cơ sở tới hệ thống tiếp nhận cấp tỉnh và dữ liệu được truyền tiếp từ cấp tỉnh tới hệ thống quản lý trung ương.

Ở chặng đầu, dữ liệu từ trạm được yêu cầu truyền theo thời gian thực, chậm nhất 5 phút sau khi có kết quả. Ở chặng từ hệ thống cấp tỉnh về hệ thống của Bộ, dữ liệu quan trắc tự động được quy định truyền với tần suất một lần mỗi giờ, sử dụng giá trị trung bình một giờ theo giờ chẵn. Việc truyền phải đáp ứng tối thiểu 80% tổng số kết quả quan trắc đối với từng thông số theo yêu cầu tương ứng của hệ thống.

Hai mốc này không mâu thuẫn nhau vì chúng thuộc hai chặng khác nhau của kiến trúc dữ liệu. Nếu chỉ nói “dữ liệu quan trắc được truyền 5 phút một lần” hoặc “mỗi giờ một lần” mà không xác định điểm gửi và điểm nhận thì rất dễ hiểu sai.

Về bản chất, thu thập dữ liệu quan trắc môi trường là một chuỗi có kiểm soát từ phép đo đến cơ sở dữ liệu: thiết bị tạo kết quả, data logger tiếp nhận trực tiếp và lưu dữ liệu, hệ thống đóng gói thông tin theo cấu trúc thống nhất, đường truyền chuyển dữ liệu tới máy chủ, còn hệ thống trung tâm xác thực nguồn, lưu trữ, xử lý và giám sát.

Điểm quyết định chất lượng của chuỗi này không nằm ở riêng cảm biến hay riêng phần mềm trung tâm. Dữ liệu chỉ đáng tin cậy khi toàn bộ đường đi — đo đúng, ghi đúng, gắn đúng thời gian và trạng thái, truyền đủ, xác thực đúng nguồn và khôi phục được khi gián đoạn — đều được kiểm soát.