引言
随着激光雷达(Light Detection And Ranging,LiDAR)测量、多视影像密集匹配技术的完善和行业应用的深入,点云滤波的重要性日益突出。本案例的点云涉及机载LiDAR点云和航空、航天多视立体影像密集匹配的点云等三种类型。在点云处理和信息提取领域,滤波指区分点云中的地面点和非地面点的过程,它是生成数字高程模型(DEM)、分类、目标识别和三维重建的基础和必经的步骤。目前,已经提出了众多点云滤波方法,其中,有代表性的方法有三角网(Triangular Irregular Network,TIN)渐进加密(TIN Progressive Densification,TPD)、分层稳健线性内插、坡度滤波、数学形态学滤波、基于聚类/对象的滤波、布料模拟滤波等。已有方法中,涉及的基元(基本处理单元)有点、对象、体素或剖面等多种类型;且后三种基元具有一定的共性,本质上是点基元的一种集合和再组织方式,本案例仅关注的对象基元。由于点易受粗差、地形断裂的负面影响,而对象比点更能增强点云处理效果,基于对象的点云滤波方法是一个研究的热点。然而,与基于点的滤波方法相比,尽管基于对象的滤波方法可以一定程度的提高滤波精度,但是也存在效率低下的问题。
点云催化剂软件中,设计了一种既能继承基于对象方法的优势、又不显著降低效率的滤波算法,即基于多基元的三角网渐进加密(Multiple-Primitives-based TPD,MPTPD)方法。它有三点新意:(1)使用多基元、而非单一的基元参与运算,其中的多基元包括点、对象、关键点等三种类型,且在不同的阶段使用不同类型的基元;(2)使用关键点的代替对象参与判别,即,在核心判别步骤中,使用对象的关键点替代对象进行运算以提高效率;(3)使用了一种简单、快捷的关键点检测算法。特别指出,本案例的一个“对象”指“点云分割后具有同一标号的点集”,“关键点”又是对象点集的一个子集。即,关键点本质上仍然是原始点云中的点,而非额外创造的,但是关键点具有特殊性。另外,处理一个“对象”,可以通过处理该对象包含的点集来实现,也可以通过处理“关键点”来实现。
技术流程
MPTPD方法包括基于表面生长的点云分割、对象关键点提取、基于关键点的对象类别判别等3个主要步骤。整体技术框架如图1所示;另外,图2展示了某一点云的各个处理步骤的效果。另外,文中数字“1”代表“非地面点类”,数字“2”代表“地面点类”。
图1 点云催化剂软件中滤波的整体技术流程图
(a)某机载LiDAR点云数据 (b)点云分割的结果
(c)对象关键点提取的结果 (d)基于关键点的对象类别判别的结果
图2 点云催化剂中滤波方法的关键步骤处理效果示意图
试验与分析
实验平台的配置:ThinkPad W520笔记本,CPU 为Intel酷睿i7-2760QM 2.4 GHz,内存2.98 GB,装配WindowsXP系统。同时点云催化剂软件集成了TPD、基于对象的TPD等另外两种滤波方法,可以方便进行性能比较。
试验数据与结果:
共使用了4个场景的点云开展实验(见图3),它们的基本信息见表1。前两个为开放的机载LiDAR数据;后两个为摄影测量点云,其中,第三个的原始影像由Trimble Germany GmbH公司免费提供、点云由PixelGrid软件生成,第四个由德国宇航局免费提供。另外,实验数据一为国际摄影测量与遥感协会第三委员会提供的测试数据CSite1,该数据位于德国,如图3(a)所示;实验数据二由IEEE GRSL Fusion Contest 2013提供,该数据位于美国休斯敦大学附近,本案例截取了原始点云的一部分,如图3(b)所示;实验数据三对应的斜影像由天宝公司AOS系统获取,该数据位于德国柏林市和波茨坦市附近,本案例截取了由影像生成的摄影测量点云的一部分,如图3(c)所示;实验数据四由GeoEye-1的立体影像对生成,该数据位于德国的慕尼黑市,本案例截取了该摄影测量点云的一部分,如图3(d)所示。
对四个实验数据进行滤波时,使用的相关参数的值见表2。其中,TPD、OTPD和MPTPD三种方法的参数采用了相同的参数值,OTPD和MPTPD两种方法的参数、、采用了相同的参数值。鉴于篇幅的原因未展示三种方法的滤波结果。后续实验分析表明三种滤波方法均能正确的区分多数的地面点和非地面点,且OTPD和MPTPD两种方法的滤波效果相当、并优于TPD方法的滤波效果。
(a)实验数据一 (b)实验数据二
(c)实验数据三 (d)实验数据四
图3四个实验数据
精度评价:
采用了一类误差I(将地面点错分为非地面点的数量占地面点数量的比例)、二类误差II(将非地面点错分为地面点的数量占非地面点数量的比例)和总误差T(错分点数量占全部点数量的比例)三个指标定量衡量滤波精度。同时,使用了人工半自动解译的方式识别了四个实验数据的地面点和非地面点,并将每个实验数据的人工识别结果作为真值计算滤波方法的误差。四个实验数据的三类误差值见表3。
表3中,TPD方法的I、II、T三类误差的平均值分别为27.09%、2.27%和12.52%,OTPD方法相关误差的平均值分别为4.96%、2.75%和4.04%,MPTPD方法相关误差的平均值分别为5.03%、2.78%和4.08%。数字说明OTPD方法与MPTPD方法的各类误差均十分接近。且,一类误差I和总误差T均呈现TPD>OTPD≈MPTPD的趋势,而二类误差II呈现TPD<OTPD≈MPTPD的趋势。另外,MPTPD和OTPD两种方法的一类误差I、总误差T的平均值比TPD的分别低约22.10%、8.46%,而两种方法的二类误差II的平均值比TPD的高约0.49%。可见,与TPD相比,MPTPD和OTPD两者会轻微的提高二类误差II,但会显著的降低一类误差I、总误差T。可知,OTPD和MPTPD两种方法的滤波精度相当、且高于TPD方法的滤波精度。
表1 四个实验数据的基本信息
实验数据 | 点云类型 | 点数(个) | 长宽(m*m) | 平均点间距(m) | 是否有粗差 | 地形类型 |
一 | 机载LiDAR | 1366408 | 1100.71*701.46 | 0.69 | 有 | 城区与森林 |
二 | 机载LiDAR | 2335048 | 1087.47*889.51 | 0.64 | 有 | 城区 |
三 | 航空影像匹配 | 2044447 | 655.12*624.39 | 0.44 | 有 | 城区 |
四 | 卫星影像匹配 | 2497638 | 1011.85*1035.85 | 0.50 | 有 | 城区 |
表2 四个实验数据中三种滤波方法的相关参数取值
方法 | TPD | OTPD和MPTPD | |||||
参数 | (m) | (°) | (°) | (m) | (点) | (°) | (m) |
实验数据一 | 20 | 80.00 | 6.00 | 1.40 | 20 | 30.00 | 0.50 |
实验数据二、三、四 | 60 | 88.00 | 6.00 | 1.40 | 20 | 10.00 | 0.50 |
表3 四个实验数据中三种滤波方法三类误差的统计值
实验数据 | 误差类型 | TPD(%) | OTPD(%) | MPTPD(%) |
一 | I | 34.74 | 11.35 | 11.36 |
II | 2.39 | 4.21 | 4.16 | |
T | 17.92 | 7.64 | 7.62 | |
二 | I | 22.46 | 6.81 | 6.98 |
II | 3.02 | 0.79 | 0.77 | |
T | 13.35 | 4.04 | 4.07 | |
三 | I | 23.71 | 1.29 | 1.33 |
II | 1.80 | 5.74 | 5.81 | |
T | 9.40 | 4.20 | 4.26 | |
四 | I | 27.45 | 0.39 | 0.43 |
II | 1.87 | 0.24 | 0.36 | |
T | 9.40 | 0.28 | 0.38 |
效率评价:
采用了时间花费衡量滤波效率。为此,分别记录了三种方法对四个实验数据进行滤波的各个阶段耗时及总耗时,具体的统计数据见表4。其中,将滤波过程划分为5个阶段。
表4的统计数据表明,在四个实验数据中,有三个出现了三种滤波方法的总效率均呈现TPD>MPTPD>OTPD的规律。以实验数据三为例,TPD、MPTPD、OTPD三种方法的总耗时由少到多依次为约299s、415s、866s。但在第一个实验数据中,MPTPD的效率高于TPD、OTPD。整体上,TPD的效率最高、MPTPD的次之、OTPD的最低。表4还表明TPD、MPTPD、OTPD三种方法平均在每个实验数据上的总耗时分别为248.76s、355.26s、613.30s。则,如果以效率最慢的OTPD的基准,TPD和MPTPD的效率分别是OTPD的2.47倍、1.73倍。
另外,表4展示了一个很有兴趣的现象。例如,第四个实验数据中,TPD和OTPD两种方法的第2.3节前三步的耗时分别为9.45s、109.70s,但MPTPD的相应耗时仅为7.78s;TPD、OTPD、MPTPD三种方法在第2.3节后两步阶段的耗时分别为13.79s、342.64s、2.09s,即MPTPD方法在此阶段的耗时仅为TPD的15.16%、OTPD的0.61%。其他三个实验数据亦表现出类似的规律。这证明了基元对滤波效率有着显著的影响,MPTPD方法的关键点显著的提高了其后续阶段的效率。但是,与TPD方法相比,MPTPD方法的点云分割和关键点提取耗费了较多的时间,因此该方法的整体效率低于TPD方法。
分析
工程实践证明TPD方法对具有不同场景复杂度的点云数据均具有较高的滤波精度。本案例的统计数据表明,TPD方法的总误差T平均值约12.52%,精度较高,符合既有结论。另外,表2表明TPD方法所需的四个参数的取值对场景的变化不是很敏感,且具有显著的物理意义,根据实际情况微调参数取值即可。但TPD方法存在对低位粗差、地形断裂敏感的问题,因此该滤波方法仍然存在一定的误差。表3表明TPD方法的一类误差I平均值约27.09%,显著的高于其他两种滤波方法的相关误差值。
OTPD方法是对TPD方法的改进,具有对低位粗差、地形断裂不敏感的优势,但是比较耗时。统计数据表明,与TPD相比,OTPD方法的一类误差I、总误差T比TPD的分别低约22.13%、8.48%,但耗时是TPD的2.47倍。
点云催化剂的MPTPD方法,既有与OTPD方法相当的滤波精度,又有更高的效率。统计数据表明,MPTPD方法与OTPD方法的一类误差I、二类误差II、总误差T的差值绝对值分别为0.07%、0.03%、0.04%,但是MPTPD方法的平均耗时却仅有OTPD方法的约58%。与OTPD方法的滤波精度相当、但效率显著提升的原因在于,MPTPD方法中的关键点既能逼近原始点云的三维形态、又能显著的减少参与后续判别的计算量。
另外,与TPD方法相比,MPTPD和OTPD两种方法需要额外的三个参数。但是,表2表明四个实验数据中和两个参数的取值可相同,而的取值在三个实验数据亦相同。这表明额外的三个参数亦“具有显著的物理意义,根据实际情况微调参数取值即可”。
表4 四个实验数据中三种滤波方法的时间花费
实验数据 | 方法 | 阶段1耗时(s) | 阶段2耗时(s) | 阶段3耗时(s) | 阶段4耗时(s) | 阶段5耗时(s) | 总耗时(s) |
一 | TPD | 261.13 | - | - | 5.34 | 7.85 | 274.32 |
OTPD | - | 171.26 | - | 59.27 | 135.29 | 356.82 | |
MPTPD | - | 171.26 | 47.78 | 4.21 | 1.37 | 224.62 | |
二 | TPD | 179.40 | - | - | 34.77 | 33.84 | 248.04 |
OTPD | - | 237.45 | - | 35.88 | 161.48 | 433.81 | |
MPTPD | - | 237.45 | 55.34 | 17.13 | 2.94 | 312.86 | |
三 | TPD | 251.70 | - | - | 13.03 | 33.97 | 298.70 |
OTPD | - | 316.20 | - | 18.39 | 531.06 | 865.65 | |
MPTPD | - | 316.20 | 84.05 | 10.23 | 4.98 | 415.46 | |
四 | TPD | 150.72 | - | - | 9.45 | 13.79 | 173.96 |
OTPD | - | 344.57 | - | 109.70 | 342.64 | 796.91 | |
MPTPD | - | 344.57 | 113.63 | 7.78 | 2.09 | 468.07 |
结论
点云是一种新型的数据源,其数据处理方法亟待研究。滤波是点云数据处理的一个必要的关键环节。目前,多数滤波方法采用单一的基元,但采用单一基元的滤波方法很难平衡滤波精度和滤波效率。为此,点云催化剂软件实现了MPTPD方法,该方法在滤波的不同阶段采用了不同的基元。其涉及的基元包括点、对象、关键点等三种,且滤波的基本原理与TPD、OTPD方法相似。采用4个有代表性的点云数据进行了实验。实验表明,在本案例的三个方法中,点云催化剂软件中的MPTPD方法具有整体上最优的性能。其中,精度方面,MPTPD与OTPD两种方法的精度相当,MPTPD方法的一类误差I、总误差T比TPD的相应误差低分别约22.07%、8.44%;效率方面,多数情况下TPD、MPTPD、OTPD方法的效率依次降低,但少数情况下MPTPD的效率最高,且MPTPD的平均耗时是OTPD平均耗时的57.93%。
点云催化剂软件基于创新性的面向对象的点云分析理论,形成一套完整的从“点云→配准→点云分割→语义标注→单体化→3D建模→统计分析”的点云处理和分析技术流程,实现点云中地面点、树木、建筑物屋顶、车道线、交通标识线、杆状地物、建筑物立面等地理实体的自动、高效、高精度提取、矢量化与结构化表达。该软件包括点云去噪、点云分割、条带平差、滤波、分类、建筑物三维建模、电力线路三维重建、电力线路安全评估、单株树木提取和林木参数统计分析、单株农作物提取和农作物参数统计分析、矢量化成图等模块,为地形测绘、林业资源调查、农业资源调查、电力巡线、实景三维、室内三维重建、高精度地图制作等领域提供智能解决方案。“我们不生产点云数据,我们生产点云数据的智能处理分析软件,并提供由激光雷达数据到信息、知识、决策的增值服务”。
该软件由北京云想容科技有限公司(简称云想容)自主研发,公司是一家由激光雷达数据处理分析领域的资深科研人员创办的高新技术企业,我们天弘基业与云想容达成深度战略合作,集合两家的优势,从前端数据采集,数据处理,以及统计分析,将深耕激光点云的行业应用,提高我们的合作伙伴及用户在生产实践中的效果和效率,感兴趣的小伙伴可扫描下方二维码或直接电联我们,共同学习与交流。
天弘基业是世界领先的丹麦SKY-WATCH全系列无人机、瑞士senseFly eBee全系列无人机、意大利3DF Zephyr三维建模软件以及点云催化剂软件在中国区的总代理,DJI大疆京津冀地区行业一级代理,瑞士Pix4D航测处理软件行业代理,美国Stratasys3D打印机,北科天绘机载LiDAR,广州优飞无人机智能巡检系统金牌行业合作伙伴,专业提供各种无人机、机载LiDAR、多光谱相机、地面三维激光扫描系统、SLAM系统及3D打印机等全流程空间三维综合解决方案的定制开发、专业化技术培训、全方位技术支持及工程服务。业务涉及常规测量产品、无人机、摄影测量、环境保护、矿山监测、农林业、考古应用、电力、应急减灾等领域,同时承接航测、倾斜、考古、文物等三维建模工程业务,欢迎垂询!感兴趣的小伙伴可关注我们获得最新资讯和产品介绍!
天弘基业技术中心