未确知滤波法在监测数据粗差处理中的应用

未确知滤波法在监测数据粗差处理中的应用

占慧鸣1叶方政2朱先军3

1.武汉怡恒工程技术有限公司湖北省武汉市430015

2.苏州工业园区城市重建有限公司江苏省苏州市215006

3.武汉中科科创工程检测有限公司湖北省武汉市430071

摘要：在分析监测数据粗差和异常值表征特性的基础上，引入不确定性滤波方法探测变形监测数据中的粗差。结果表明，该法能较好的克服传统方法的不足且具有较高的精度，是一种监测数据粗差判别及处理较为理想的方法。并运用列举法探讨了阈值λ和步长参数ε的影响，从而保证了未确知滤波结果的正确性和可靠性。

关键词：粗差；异常值；可信度；未确知滤波法；监测数据

引言

真实可靠的实测数据是对施工现场监测工作的基本要求，只有可靠的数据才能用于下一步的分析。对监测数据进行前期处理时可靠性检验和误差分析至关重要，尤其是当监测数据中出现异常情况。在变形观测值中，数据的异常总体可以分为粗差和异常值。其中粗差是对由于测量过程造成的数据失真,它严重影响数据处理的结果，在监测工作中应尽量消除。而异常值则是对变形状态的真实反应，通常是不安全的信号，必须及时、准确获得。因此，在监测数据的误差处理过程中如何有效地识别粗差和真实异常值是一个十分重要的步骤。

目前，误差处理的方法已有很多。基于经典误差理论的传统粗差判别方法有最小二乘法、莱因达准则法、样本分位值法等。该类方法一般要求数据序列服从某种特定分布,不适应动态、多分布的误差描述，且在粗差或异常值上难以进行准确的判别[1-3]。另一方面也可通过统计检验、卡尔曼(Kalman)滤波、小波分析等[4]的方法来筛选和剔除粗差，这些方法较严密但过程较为复杂，不易为现场技术人员所掌握。

本文在分析监测数据粗差和异常值表征特性的基础上，尝试将未确知有理数理论引入监测数据的处理中，来探测和处理粗差。

1粗差和异常值的本质区别

粗差和异常值同为异常数据，外观上两者均表现为在数值上偏离正常监测数据。它们的本质区别在于：粗差在具有偶然性和不连续性,通常只在单个出现,具有较强的单独性特点。含有粗差的数据序列在数理统计上表现为污染正态分布[5]；而异常值则具有多个数值上接近的测值连续出现的特性并且形成一定的趋势性，表现出较强的延续性。不确定性滤波方法是一种基于未确知有理数理论的粗差探测和处理方法。其基本出发点正在于考虑粗差的单独性和真实值的延续性差异（包括异常值），并将这种差异进行了量化。

2不确定性滤波方法

2.1基本原理

3工程实例

选取武汉市某建筑的沉降观测数据为例，观测时间为2018年10月12日至11月16日。经过计算分析，数据序列的标准差较大，使用传统的“3σ”准则无法识别可能存在的粗差和异常值。但从数据趋势可以看出某些时段测值出现了较大波动，原始观测值数据时间曲线见图1。

结果可知，当ε=4时，λ=5.096，只探测出第14天沉降值的可信度为0.167，即可认为其为粗差值，采用其不确定未知数的期望值修正由原值9.0mm修正为3.1mm。

原始数据中第24天时沉降数据波动非常明显，但是第一次处理并未探测到。因此，剔除第14天拱顶沉降速率值，对剩下的23个数据重新计算得到λ值，进行第二次探测。结果可知，仍取ε=3时，重新计算λ=3.469，探测出第14天和第24天拱顶沉降速率值的可信度分别为0.000和0.167，即可认为两个粗差值均全部得到探测。前后两次探测的各监测值可信度变化见图2。

为了考察不同的ε取值对处理结果的影响。分别取ε=4和ε=5，计算各测值的可信度，结果如图3和图4所示。

通过比较可以看出，当时，能准确的探测出粗差值，而当时，粗差的可信度增大，粗差值可能误当成异常值。

取ε=3时，将粗差处理结果与原数据对比（如图5所示）可看出其处理效果是非常理想的。回归分析表明，第2次处理后，其拟合线与原数据变化趋势基本保持一致，但拟合精度更高。

4结论

用未确知滤波法对监测数据进行粗差探测处理，不需要事先进行任何假定，完全从数据序列自身的规律性出发，根据领域范围内测值出现的频率来确定观测值的可信度,可以有效的探测出数据的粗差值，符合现代误差理论处理复杂数据的思路。本文从未确知有理数定义的角度阐述了其滤波原理，并且将未确知理论引入到变形监测数据的粗差处理中,有效地探测出了监测数据中的粗大误差。运用列举法探讨了阈值λ和步长ε的影响，从而保证了未确知滤波结果的正确性和可靠性。

参考文献：

[1]沙定国.实用误差理论与数据处理[M].北京:北京理工大学出版社,1993.

[2]胡晓燕.论测量不确定度[J].理化检验-化学分册,2002,38(8):406-409.

[3]贾翠红,赖恒,雷晋萍.测量不确定度及其估算[J].福建师范大学学报(自然科学版),2007,23(1):96-99.

[4]费业态,卢荣胜.动态测量误差修正原理与技术[M].北京:中国计量出版社,2001.

[5]刘开弟,吴和琴,庞彦军等.不确定性信息数学处理及应用[M].北京:科学出版社,1999.

[6]黄红女.土石坝安全测控理论与技术的研究及应用(博士论文)[D].南京:河海大学,2005.