数据挖掘在公路勘测质量控制中应用

前言:寻找写作灵感?中文期刊网用心挑选的数据挖掘在公路勘测质量控制中应用,希望能为您的阅读和创作带来灵感,欢迎大家阅读并分享。

数据挖掘在公路勘测质量控制中应用

摘要:基于数据挖掘技术,结合工程实例,设计开发了软件对公路控制测量平差结果进行数据挖掘提取、质量分析与评价,并形成了质量验收报告。处理过程快速高效,结果准确可靠,大大提高了质量检查效率,促进了对公路勘测质量的有效控制。

关键词:数据挖掘;公路勘测;质量控制;质量评价

勘测成果资料作为项目设计、施工的基础资料,其重要性不言而喻。如今的公路工程项目一般规模大、工程量大、建设难度高,对于控制测量而言,其产生的观测数据、计算数据和平差报告的数据量很大,如何在短时间内从大量数据中获取有用信息,并对测量过程和结果进行质量控制与评价是一大难点。目前多采用人工检查的方式检查测量平差成果质量,但效率偏低、数据利用率低、不能及时准确地反映测量过程中的质量问题。利用数据挖掘技术可从海量数据中挖掘并提取有用信息[1],用于质量评价和分析决策,已被广泛应用于商业领域[2]以及智慧城市建设中[3]。借助云计算技术进行数据挖掘提取,可提高数据挖掘的准确性,同时降低挖掘成本[4]。将PageRank、K-means等数据挖掘算法应用到管理系统海量数据的挖掘分析中,获取有价值的信息,从而为管理系统的优化与升级提供参考依据[5]。本文探讨了数据挖掘技术在公路勘测质量控制中的应用,并结合工程实例,设计编写了软件,以实现对公路控制测量平差结果的快速数据挖掘提取与质量评价。

1数据挖掘技术与公路勘测质量控制

1.1数据挖掘技术。数据挖掘技术的实质是一种人工智能技术,随着大数据技术的兴起而发展成熟,通过数据挖掘与分析从海量数据中提取有价值的信息。海量数据具有不规则性、随机性、多样性等特点,数据表达较模糊,因此需首先对海量数据进行预处理,再进行数据挖掘,然后采用一定的算法和规则对挖掘的数据进行分析和判断,从而提取出有价值的信息,用于下一步分析与评价。数据挖掘技术的特点包括:①数据处理量大,在大数据时代,随着社会和科技的发展,未来各行业的数据量将有增无减,且种类繁多、混乱无序;②数据挖掘算法和规则应紧跟用户需求,不断发展,数据挖掘的最终目的是为了获取有用信息或摒弃无用信息,因此数据筛选标准和算法应围绕用户需求展开,针对性强,并随之不断发展;③自动化程度高、人工干预少;④处理过程高效、准确。

1.2公路勘测质量控制。公路勘测所产生的数据较多,而控制测量作为各项测量工作的基础,对其成果质量的控制就显得尤为重要。目前,通常是根据规范要求对控制测量成果进行质量检查与验收,对于中间测量过程数据质量的控制较薄弱,这样不利于及时发现该环节中的错误和质量问题,从而导致采取措施不够及时、有效,将给项目造成一定的损失。数据挖掘技术能较好地解决这些问题,能应用于控制网设计、观测数据、数据计算、平差报告等各阶段数据质量检查中。数据挖掘技术一方面可通过聚类分析、粒度分析、关联分析等方式从大量测量数据中获取有用信息,用于进一步的分析与判断;另一方面可根据一定的规则和标准对海量数据进行自动检核与分析,清理不合格、无用的错误和冗余信息,提高数据整体的准确率和有效性,同时提高数据利用率。数据挖掘技术在公路勘测质量控制中的应用依据为:JTGC10-2007《公路勘测规范》[6]、JTG/TC10-2007《公路勘测细则》[7]、GB/T24356-2009《测绘成果质量检查与验收》[8]和GB/T18316-2008《数字测绘成果质量检查与验收》[9]等相关规范规定。数据挖掘主要分为文本挖掘和图像挖掘两种方式,其中文本包括原始观测数据、计算书、平差报告等资料,文本挖掘通过读取文本数据进行挖掘分析和信息提取;图像包括控制点点位分布图、GNSS控制网网型图等各种图件资料,以GNSS控制网网型图为例,利用计算机图形图像处理技术和数据挖掘技术分析控制点的空间距离与分布,从而判断控制网的整体网型强度、点位连接强度等,为控制网的设计优化提供参考依据。数据挖掘技术在公路勘测质量控制中的应用具体表现为:1)数据清理。测量数据中存在一些噪声或粗差,甚至是错误,因此采用数据挖掘技术基于一定的规则对冗余和错误数据进行清理,如一组观测数据中某个观测值随机误差超过阈值可认定为粗差,并自动将其清理。另外,对于不符合规范要求的测量数据,也可利用数据挖掘功能将其清理掉,如在GNSS静态观测数据中,对于错误的仪器天线高数据以及观测时间不足、观测值超限等不合格数据均可根据规范要求进行清除。2)空间粒度分析。对于控制点点位空间分布的位置属性,以点位精度为基准进行数据挖掘分析,如在平面控制测量平差报告中,对于三维自由网的平差结果,将规范中相应等级控制网的控制点点位精度要求设定为阈值,挖掘提取平差结果的点位信息,包括控制点三维坐标、点位中误差等,再对点位中误差大于阈值的控制点进行标记,以精度指标超限处理。3)空间尺寸挖掘。以控制点之间的相对关系为基准,对控制点空间分布的相对关系和属性进行挖掘分析,如相邻平面控制点之间的边长距离、边长相对中误差、相对点位中误差等信息;对平面控制网平差解算后的二维自由网结果进行挖掘提取,包括二维基线向量、平面坐标、平差后边长及其相对中误差、相邻点坐标分量及其相对中误差等信息,根据规范中的精度指标要求进行分析判断。4)关联分析。以数据之间的内在联系为基准,通过数据挖掘对各项数据进行归纳与分析,寻找对象之间的变化规律和影响因素,如在高程控制测量平差中,挖掘提取各测段的高差、路线长度等数据,按照规范中的精度指标要求,根据控制等级、路线长度计算闭合水准路线的闭合差并判断是否超限,若不超限则根据各测段长度将闭合差分配到各测段高差中。

2软件研发与工程应用结合

具体工程案例,本文设计编写了软件对控制测量平差结果进行数据挖掘提取与质量评价。

2.1软件研发。科傻系统(COSA)是武汉大学研发的一款商业软件,包括CosaGPS、CosaWin两个子系统,分别对GNSS静态观测数据和高程控制测量数据进行平差解算。在公路工程项目中,首先利用COSA系统进行控制测量数据的平差解算,并生成平差文件;然后将平差文件导入自编软件中进行数据挖掘提取,根据软件中预设的相关规范要求进行计算分析、指标判断和质量评价;最后形成并输出标准化的质量验收报告。数据处理流程如图1所示。该软件制定了标准化的数据文件模块,包括平差报告数据模块、专家知识库模块和验收报告模块。平差报告数据模块是针对COSA平差软件生成的平差报告文件编写的文件读取模块,能与平差软件无缝对接,直接准确读取每个平差文件的内容,其中平面控制测量平差报告包括重复基线计算结果、异步环闭合差计算结果、三维控制网平差结果和二维控制网平差结果4个文件;高程控制测量平差报告包括已知点高程、测段高差和长度,高差闭合差计算结果,高程平差值结果3个文件。专家知识库模块包括JTGC10-2007《公路勘测规范》等规范中具体的精度指标和相关规定,是文本数据挖掘后进行精度指标判断和质量评价的依据。验收报告模块包括平面控制测量和高程控制测量质量验收报告,验收报告的内容、格式相对固定,基本包含了公路工程平面和高程控制测量的主要精度指标以及平差报告的主要内容。软件功能主要包括平差报告读取与数据挖掘、数据计算与指标判断、验收报告输出。平差报告读取与数据挖掘,即根据平差报告数据模块读取各文件数据,并进行数据挖掘和信息提取;数据计算与指标判断,即对提取的信息数据进行空间粒度分析、空间尺寸挖掘、关联分析等,并对分析结果进行整理归纳,根据专家知识库中的规范要求进行指标判断与质量分析;验收报告输出,即输出标准化的质量验收报告。

2.2软件应用。本文采用自编软件,对某高速公路项目平面控制测量平差结果进行质量检查。该项目布设GNSS控制点169个,其中已知点5个,测量等级为一级。首先采用COSA系统对控制测量数据进行控制网平差计算,再将得到的平差文件导入自编软件中进行数据挖掘计算与质量分析,最后输出验收报告。软件操作界面如图2所示,成果质量验收报告部分内容如图3所示。由图2可知,软件界面比较简单,只需简单的几步操作便可完成复杂的平差报告成果检查;由图3可知,该项目平面控制网成果质量较高,验收报告内容简洁精炼,基本涵盖了平差报告中的主要内容和重要精度指标。将软件处理结果与传统人工检查计算结果逐一核对,结果表明二者较一致,说明该软件的质量检查结果有效、准确性高。

3结语

结合工程实例,通过软件设计与开发,本文对数据挖掘技术在公路勘测质量控制中的应用进行了探讨,得到的结论为:1)利用数据挖掘技术可根据规范要求对测量数据进行自动检核与分析,去除冗余和错误数据,提高数据整体的准确率和有效性。2)采用数据挖掘技术可对测量过程数据进行质量检核,及时发现质量问题并予以解决,避免造成更多返工和更大损失,从而有助于加强对工程测量过程的质量控制,促进项目整体质量水平的提升。3)设计与开发公路工程测量质量控制软件,可直接读取平差软件解算后的平差文件,并进行数据挖掘提取与质量评价,最终形成标准化的质量验收报告。整个过程快速高效,结果准确可靠,大大提高了成果质量检查的效率,有效促进了对公路勘测的质量控制。

作者:向荣荣 李松 王守彬 单位:中国公路工程咨询集团有限公司