Những nguyên nhân gây mất dữ liệu quan trắc môi trường

Vì vậy, khi xuất hiện khoảng thời gian không có số liệu, cần xác định dữ liệu chưa được tạo ra, đã được tạo nhưng chưa ghi, đã ghi nhưng chưa truyền hay đã truyền nhưng không được máy chủ lưu nhận. Cách phân biệt này quyết định nguyên nhân thực sự của sự cố.

Mất dữ liệu do thiết bị đo hoặc hệ thống lấy mẫu

Nhóm nguyên nhân đầu tiên nằm ngay tại điểm phát sinh số liệu. Cảm biến, máy phân tích hoặc hệ thống lấy mẫu không hoạt động thì dữ liệu có thể không được tạo ra ngay từ đầu.

Đối với trạm quan trắc tự động, thiết bị đo thường phụ thuộc vào nhiều thành phần phụ trợ như bơm lấy mẫu, đường ống, buồng đo, bộ lọc, hóa chất hoặc khí chuẩn. Một bộ phận trong chuỗi này gặp sự cố có thể khiến máy phân tích không nhận được mẫu phù hợp dù bản thân thiết bị điện tử vẫn đang bật.

Các tình huống thường gặp gồm:

·         Cảm biến hoặc máy phân tích lỗi, treo hoặc tự khởi động lại

·         Bơm lấy mẫu dừng hoạt động

·         Đường lấy mẫu tắc, rò rỉ hoặc không có dòng mẫu

·         Đầu đo bị bám bẩn, ngập nước hoặc chịu điều kiện môi trường ngoài phạm vi vận hành

·         Hóa chất, thuốc thử hoặc khí phục vụ phép đo bị thiếu

·         Thiết bị đang hiệu chuẩn, kiểm tra hoặc bảo dưỡng nên không tạo dữ liệu đo bình thường

Một số trường hợp không tạo ra khoảng trống hoàn toàn mà sinh trạng thái lỗi hoặc giá trị không hợp lệ. Nếu phần mềm trung tâm được cấu hình loại bỏ những giá trị này, người vận hành có thể nhìn thấy một khoảng trống và nhầm rằng dữ liệu đã bị mất trong quá trình truyền.

Do đó, bước kiểm tra đầu tiên nên là trạng thái của thiết bị đo tại chính thời điểm xảy ra khoảng trống, thay vì kết luận ngay rằng đường truyền có vấn đề.

Mất điện hoặc nguồn điện không ổn định có thể làm gián đoạn toàn bộ chuỗi

Nguồn điện ảnh hưởng đồng thời đến cảm biến, máy phân tích, bộ ghi dữ liệu, modem, router, máy tính công nghiệp và các thiết bị phụ trợ. Vì vậy, mất điện tại trạm có thể làm biến mất dữ liệu của nhiều thông số cùng một thời điểm.

Không chỉ mất điện hoàn toàn mới gây sự cố. Sụt áp, điện áp dao động, xung điện hoặc chuyển nguồn không ổn định cũng có thể khiến datalogger, modem hay thiết bị đo reset. Sau khi nguồn điện trở lại, từng thiết bị còn có thời gian khởi động và ổn định khác nhau, làm khoảng trống dữ liệu kéo dài hơn chính thời gian mất điện.

Dấu hiệu điển hình là nhiều kênh quan trắc cùng ngừng tại một thời điểm, sau đó cùng xuất hiện trở lại. Nhật ký khởi động của datalogger, modem và thiết bị đo thường giúp xác nhận hiện tượng này.

Các trạm cần nguồn dự phòng phù hợp như UPS hoặc hệ thống cấp điện dự phòng cho những thành phần phải duy trì liên tục. Tuy nhiên, nguồn dự phòng cũng không loại bỏ hoàn toàn nguy cơ nếu ắc quy suy giảm, UPS quá tải hoặc thời gian mất điện vượt khả năng duy trì của hệ thống.

Bộ ghi dữ liệu có thể không thu hoặc không lưu được số liệu

Giữa thiết bị đo và hệ thống truyền nhận thường có datalogger, PLC hoặc máy tính công nghiệp chịu trách nhiệm đọc tín hiệu, đóng gói và lưu dữ liệu. Đây là một điểm lỗi độc lập.

Thiết bị đo vẫn có thể hoạt động bình thường nhưng dữ liệu không được ghi nếu mất kết nối giữa cảm biến và datalogger. Nguyên nhân có thể nằm ở cáp tín hiệu, cổng giao tiếp, bộ chuyển đổi tín hiệu hoặc cấu hình giao thức truyền thông.

Ngoài lỗi kết nối vật lý, một số nguyên nhân khác gồm:

·         Datalogger treo hoặc tự reset

·         Bộ nhớ đầy hoặc phương tiện lưu trữ lỗi

·         Tệp dữ liệu bị lỗi trong quá trình ghi

·         Sai địa chỉ thiết bị hoặc thông số giao tiếp

·         Thay đổi cấu hình khiến một kênh không còn được thu nhận

·         Đồng hồ hệ thống sai làm dữ liệu được gắn thời gian không chính xác

Sai thời gian đặc biệt dễ gây nhầm lẫn. Dữ liệu có thể vẫn tồn tại nhưng được ghi vào một mốc thời gian khác, tạo khoảng trống ở thời điểm người vận hành đang kiểm tra.

Việc kiểm tra dữ liệu gốc trong datalogger giúp phân biệt hai trường hợp quan trọng: số liệu chưa từng được ghi và số liệu đã được ghi nhưng chưa đến được máy chủ.

Sự cố đường truyền khiến dữ liệu không đến được hệ thống trung tâm

Dữ liệu đã được tạo và lưu tại trạm vẫn có thể không xuất hiện trên phần mềm giám sát nếu kết nối truyền thông bị gián đoạn.

Đường truyền có thể phụ thuộc vào mạng di động, internet cố định, VPN, router, modem, gateway, dịch vụ mạng hoặc các thiết lập kết nối tới máy chủ. Lỗi ở bất kỳ thành phần nào trong chuỗi này đều có thể làm trạm mất liên lạc với trung tâm.

Các nguyên nhân phổ biến gồm:

·         Mất kết nối internet hoặc mạng di động

·         Sóng yếu hoặc chất lượng kết nối không ổn định

·         Modem hoặc router treo

·         SIM hoặc dịch vụ dữ liệu gặp vấn đề

·         Lỗi VPN, firewall hoặc cổng kết nối

·         Địa chỉ máy chủ, tài khoản hoặc thông số truyền bị thay đổi

·         Máy chủ đích tạm thời không thể tiếp nhận kết nối

Cần phân biệt mất truyền dữ liệu với mất dữ liệu thực sự. Nếu datalogger vẫn lưu dữ liệu cục bộ trong thời gian mất mạng và có cơ chế truyền bù sau khi kết nối phục hồi, số liệu chỉ tạm thời không hiển thị ở trung tâm.

Thông tư 10/2021/TT-BTNMT về kỹ thuật quan trắc môi trường đã thể hiện chính nguyên tắc này khi yêu cầu hệ thống trong trường hợp truyền dữ liệu bị gián đoạn phải thực hiện truyền lại dữ liệu của khoảng thời gian gián đoạn sau khi kết nối được phục hồi.

Ngược lại, nếu thiết bị không có đủ bộ nhớ đệm, dữ liệu cũ bị ghi đè hoặc cơ chế truyền lại không hoạt động thì sự cố truyền dẫn mới có thể chuyển thành mất dữ liệu vĩnh viễn.

Máy chủ, phần mềm hoặc hệ thống lưu trữ cũng có thể tạo khoảng trống dữ liệu

Dữ liệu đến được trung tâm chưa đồng nghĩa với việc chắc chắn được lưu thành công. Phía máy chủ tiếp nhận và cơ sở dữ liệu là một lớp sự cố khác.

Máy chủ quá tải, dịch vụ tiếp nhận dừng, cơ sở dữ liệu lỗi hoặc ổ lưu trữ hết dung lượng có thể khiến bản tin đến nhưng không được ghi nhận. Một lỗi phần mềm cũng có thể khiến dữ liệu đã lưu không được hiển thị trên giao diện.

Do đó cần phân biệt ba trạng thái:

·         Máy chủ không nhận được bản tin

·         Máy chủ nhận bản tin nhưng không lưu được

·         Dữ liệu đã được lưu nhưng ứng dụng không truy xuất hoặc hiển thị đúng

Nhật ký kết nối, nhật ký dịch vụ và bản ghi trong cơ sở dữ liệu giúp xác định dữ liệu bị đứt tại bước nào.

Rủi ro còn tăng nếu hệ thống chỉ có một nơi lưu dữ liệu. Cơ chế lưu cục bộ tại trạm, sao lưu cơ sở dữ liệu và giám sát dung lượng lưu trữ giúp giảm khả năng một lỗi đơn lẻ biến thành mất dữ liệu không thể phục hồi.

Bảo trì, cấu hình và thao tác vận hành cũng có thể làm gián đoạn dữ liệu

Không phải mọi khoảng trống đều xuất phát từ hư hỏng thiết bị. Một phần có thể liên quan đến hoạt động có chủ đích hoặc thay đổi cấu hình trong quá trình vận hành.

Khi hiệu chuẩn, kiểm định, bảo dưỡng hoặc thay thế thiết bị, một hoặc nhiều kênh đo có thể tạm ngừng. Nếu trạng thái này không được ghi nhận đầy đủ, khoảng thời gian bảo trì rất dễ bị nhìn nhận như một sự cố mất dữ liệu.

Thay đổi cấu hình cũng là một nguyên nhân đáng chú ý. Chỉ cần sai chu kỳ ghi, địa chỉ thiết bị, tên thông số, cổng truyền thông, thời gian hệ thống hoặc thông tin máy chủ cũng có thể khiến dữ liệu không đi đúng luồng.

Vì vậy, khi truy tìm nguyên nhân nên đối chiếu đồng thời lịch sử bảo trì, lịch sử thay đổi cấu hình và nhật ký vận hành. Nếu khoảng trống xuất hiện ngay sau một lần cập nhật phần mềm, thay modem, hiệu chuẩn hoặc thay thiết bị, mối liên hệ thời gian này có giá trị chẩn đoán cao.

Khi xảy ra mất dữ liệu quan trắc môi trường, nguyên nhân có thể nằm ở thiết bị đo và hệ thống lấy mẫu, nguồn điện, datalogger, đường truyền hoặc phía máy chủ lưu trữ. Khoảng trống nhìn thấy trên phần mềm vì thế chưa đủ để xác định nơi xảy ra lỗi.

Cách kiểm tra hiệu quả là lần theo hướng di chuyển của dữ liệu: thiết bị đo → datalogger → bộ nhớ cục bộ → thiết bị truyền thông → đường truyền → máy chủ → cơ sở dữ liệu. Điểm cuối cùng còn có dữ liệu và điểm đầu tiên không còn dữ liệu sẽ giúp khoanh vùng sự cố. Đặc biệt, nếu dữ liệu vẫn tồn tại trong bộ nhớ tại trạm thì đây chủ yếu là gián đoạn truyền nhận; nếu dữ liệu chưa từng được ghi tại nguồn, việc khôi phục thường khó hơn và phải xác định nguyên nhân ở thiết bị, nguồn điện hoặc khâu thu nhận.