技术

无人机影像拼接软件在农业中应用的比较研究

陈鹏飞, 徐新刚作物学报

无人机遥感为精准农业管理提供了新的工具。实现无人机影像高精度自动拼接是开展无人机遥感应用的基础。目前, 已有不同无人机影像拼接软件在几何精度方面性能比较的研究, 但关于光谱精度方面还未有相关研究, 而其对定量遥感反演非常重要。本研究比较了目前最受欢迎的两款无人机拼接软件 Pix4D 和 Photoscan 在农业应用时,拼接影像过程对原始影像光谱信息的影响, 以为用户推荐最优软件。为此, 基于冬小麦氮肥梯度试验, 本研究在小麦生长季利用无人机搭载多光谱传感器获取相关影像, 并将其分别基于 Pix4D 软件, Photoscan 软件拼接处理。同时, 基于传感器厂商提供的单张影像处理技术, 将每次传感器拍摄数据处理成未拼接的单张多光谱影像。基于以上数据, 在施肥处理小区随机布设样点, 分别提取 3 种类型影像上的样点光谱信息, 比较它们光谱反射率及其对比度的差异。结果表明, 尽管 Pix4D 拼接影像和 Photoscan 拼接影像各波段光谱反射率都与单张影像的反射率有显著相关性, 但与 Pix4D 拼接影像相比, Photoscan 拼接影像的光谱反射率和变异系数与原始单张影像之间更为接近。Photoscan 能保留更多的原始光谱信息。结合已有关于两款软件在几何精度和价格方面的比较研究, 本研究推荐 Photoscan 为农业应用时的最优性价比软件。

遥感技术是反演作物生理、生化参数的重要工具[1-3],其在作物长势监测、产量估测中有广泛应用。到目前为止,人们最常用到的对地观测平台有卫
星、有人机和观测塔。与其他平台相比,低空无人机遥感具有成本低、能根据天气随时起降等优势。它提供了一种新的、多样化的对地观测数据获取手段。当其携带高质量、低成本传感器开展对地观测时,可实现对目标区域高频次、便捷快速监测。因此,无人机遥感对及时获取作物长势状况, 支撑精准农业管理具有重要意义。

目前, 基于无人机遥感已开展许多和农业相关的研究工作[7-9]。但是在无人机的应用过程中,仍有许多问题需要解决, 其中之一就是无人机影像正射
拼接问题[10-12]。由于无人机影像飞行高度比较低,它获取的一景影像的覆盖范围很小[13]。要想获取整个研究区的单幅影像,需要拼接成千上百张的无人机影像。将海量的无人机数据拼接,以代表地球表面的状态信息是一件非常有挑战性的工作。由于非常耗时,传统航空测量中使用的基于自动空中三角网和光束法平差的方法,很难在无人机影像拼接中使用[14]。近年来,研究者提出基于现代计算机机器视觉和运动结构算法可以很好解决这一问题[15-17]。目前,已有一系列软件基于这一思想设计,比如 Photoscan 软件、Pix4D 软件等。然而, 由于缺乏对这些新设计软件系统比较和验证,用户在选择时存在一定的盲目性。

几何精度和光谱精度是衡量拼接效果的两个重要指标。对于几何精度, 目前已有一些对比不同拼接软件性能的研究[18]。Gross 和 Heumann[14]比较了 Pix4D 软件、Photoscan 软件和 ICE (Microsoft Image Composite Editor) 软件拼接影像的几何精度,发现 Pix4D 软件的精度最高,然后是 Photoscan 软件;Turner 等[19]比较了 Pix4D 软件、Photoscan 软件和一款同样基于机器视觉和运动结构算法开发的非商用软件,结果表明 Photoscan 软件的精度最高, 然后是 Pix4D 软件。总体而言, 已有研究表明在几何精度方面 , 所有比较的商用和开源软件中 Pix4D 和 Photoscan 的精度最高。对于光谱精度,还较少有人详细比较不同软件的性能。仅见 Gross和 Heumann[14]目视比较了 Photoscan,Pix4D 和 ICE 拼接影像的清晰度。不同拼接软件在拼接过程中对无人机原始影像的影响如何?从光谱角度看,哪个是最好的拼接软件?这些问题对于无人机农业应用来说是非常重要的。考虑到 Photoscan 和 Pix4D 这两款拼接软件是目前几何精度最高和最常被人们使用的软件,本研究通过设计实验, 对比分析了它们在拼接过程中对原始光谱的影响。

一、材料与方法

1.1 田间试验

本研究数据来自北京市昌平区小汤山精准农业示范基地开展的冬小麦氮肥梯度试验(116°26′35″E, 40°10′46″N)。研究区处于半湿润大陆性季风气候区,阳光充足, 温度温和, 降雨适中。冬小麦和夏玉米轮作是该地区典型的耕作模式。田间试验面积4800 m2。选用 2 个小麦品种, 4 个氮肥处理和 4 个重复。一共 32 个田间试验小区。小区大小 9 m × 15 m。小麦品种是 Lunxuan 167 和 Jingdong 18。氮肥处理分别为 0、90、180 和 270 kg hm<2。除氮肥外, 其他田间管理措施相同。

1.2 数据获取

1.2.1 无人机数据获取

在冬小麦生长的挺身期进行无人机飞行。飞行时, 无人机搭载 RedEdge-M ( MicaSense, 美国华盛顿州 ) 相机来获取多光谱影像。所用无人机为 3DR Solo (3DR, 美国加利福尼亚州) 四旋翼无人机。RedEdge-M 相机包含 5 个波段,中心波长分别位于 475、560、668、717 和 840 nm, 波
段宽度为 20、20、10、10 和 40 nm。镜头焦距为 5.5 mm,水平视场角为 47.2°,垂直视场角为 35.4°,采用全局快门模式成像, 分辨率为 1280 × 960 像素。无人机在中午 12:00 左右,晴空无云时飞行, 飞行高度为 30 m,对应影像空间分辨率约为 1.99 cm。无人机飞行时,所拍影像的旁向和航向重叠率均设定为 75%。无人机飞行前,采用手动模式拍摄白板。白板信息用来后期将影像 DN 值转换为反射率。本次飞行共获得 329 景影像, 其中无人机飞行平台及一景获取的影像如图 1 所示。

1.2.2 无人机数据预处理

Pix4D 软件(Pix4D,洛桑,瑞士) 和 Photoscan 软件 (Agisoft,圣彼得堡,俄罗斯) 被分别用来拼接获取的无人机影像。本研究使用了 Pix4D AG 的 4.2.25 版和 Photoscan 的 1.4.2 版。此外,为了检验软件在拼接处理中对原始影像光谱信息的保留程度,基于相机制造商提供的开源程序,本研究制作了每次相机拍摄获取 5 个波段影像所合成的多光谱影像。相关 Python 程序可以从网站 https://github.com/micasense/imageprocessing 下载,包括各波段影像的畸变校正、反射率计算和不同波段影像的对齐处理。基于以上处理,共有 3 种类型的数据源,包含 2 个用不同拼接软件拼接的影像和没有拼接的单张多光谱影像。为了保证它们有相同的空间基准, 用 Trimble Geo 7X (Trimble,加利福尼亚州,美国)差分 GPS 采集厘米级误差 GPS 点数据,来对 Pix4D拼接的影像和 Photoscan拼接的影像进行几何校正。另外,在每个小区随机布设样点, 选择对应样点天顶的单张无人机影像,参照校正好的拼接影像进行几何校正。其中,各小区布设的样点信息如图 2 所示。

1.3 数据分析

首先, 提取每个样点在 Pix4D 拼接影像、Photoscan 拼接影像和单张影像上的光谱信息。提取时,在每个采样点提取半径为 0.75 m 圆形区域内所有像元的光谱值。其次,对于每一来源的影像数据,以各样点提取的所有像元光谱值的平均值代表样点光谱值,用以分析不同来源影像光谱反射率之间的相关性与差异。其中, 差异分析采用了散点图分析和成对数据 t 检验。最后,对于每个来源的影像数据,基于提取的各样点处所有像元光谱反射率计算变异系数 (CV),对比不同来源影像变异系数的差异。变异系数反映了影像的对比度。同样, 用散点图分析和成对数据 t 检验来分析它们之间的差异。流程图如图 3所示。

二、结果与分析

2.1 不同数据源光谱反射率的比较

从 图 4 可以看出 , 用 Pix4D 拼接的影像和 Photoscan拼接的影像均没有出现模糊和伪影区域。考虑到相关性分析结果,样点处两种拼接影像反射
率与单张影像反射率间均存在较好的相关性,相关系数0.68以上, 达到0.001显著水平(图5)。但从它们的散点图看, 代表Pix4D拼接影像的样点基本都在1∶1线以下,说明Pix4D拼接影像的反射率在各个波段均小于单张影像反射率,所用方法倾向于将原始影像各波段反射率变小。在蓝光波段、绿光波段、红光波段, 代表Photoscan拼接影像的样点基本都在 1∶1线周围, 而在红边波段、近红外波段,代表Photoscan拼接影像的样点大部分在1∶1线的上方,说明Photoscan拼接软件所用方法在反射率值较低波段, 能较好地保留原始影像光谱信息, 但在反射率值较高波段, 会增大波段反射率值。总体说来,与Pix4D相比,Photoscan能保留更多的原始影像光谱反射率信息。从成对数据t检验的结果看, Pix4D 拼接影像的反射率与单张影像反射率在各波段均存在显著性差异, 达0.001显著水平(表1)。对于 Photoscan 拼接影像来说其在红边波段和近红外波段的反射率与单张影像对应波段的反射率存在显著性差异(P<0.001)。但在蓝光波段、绿光波段和红光波段,Photoscan拼接影像的波段反射率与单张影像的波段反射率不存在显著性差异(P<0.001)。以上结果表明,在蓝、绿、红波段, Photoscan 软件在拼接影像时能比 Pix4D 软件在拼接影像时保留更多的原始光谱反射率信息。除此
之外,当比较Pix4D拼接影像和Photoscan拼接影像之间光谱反射率的差异时,它们分布于散点图的不同区域 , 且各个波段均表现出显著性差异
( P<0.001 )。说明 Pix4D 和 Photoscan 在拼接单张影像时采用了不同的数据处理策略。

2.2 不同数据源影像对比度的比较

Pix4D拼接影像、Photoscan拼接影像和单张影像样点处光谱反射率平均变异系数和散点图,如表2、图 6所示。与 Pix4D拼接影像的变异系数相比,Photoscan 拼接影像每个波段的变异系数与单张影像相应波段的变异系数更加接近(表 2)。从散点图上看,对于 Pix4D 拼接影像,其在蓝光波段和红光波段的变异系数与对应单张影像相应波段的变异数据有较好的对应关系, 样点均分布在 1∶1 线周围,但其在绿光波段、红边波段和近红外波段的变异系数明显低于单张影像相应波段的变异系数,绝大部分样点分布在 1∶1 线的下部;对于 Photoscan 拼接影像,除在红边波段,样点略偏向 1∶1 线的下部,其在其他各个波段的变异系数与对应单张影像相应波段的变异系数均有较好的对应关系, 样点均分布在1∶1 线周围。从成对数据 t 检验结果看,除红光波段和蓝光波段外,Pix4D 拼接影像在其他波段的变异系数与单张影像显著不同,显著性大于 0.001 水平(表 3);Photoscan 拼接影像除在红边波段与单张影像对应波段的变异系数存在显著性差异外,在其他波段的变异系数均与单张影像不存在显著性差异 (P<0.001)。以上结果说明,与 Pix4D 拼接影像相比, Photoscan 拼接影像能保留更多的单张影像的对比度信息。此外,除蓝光波段外, Photoscan 拼接影像各波段的变异系数与 Pix4D 拼接影像相应波段的变异系数在散点图中处于不同位置, 它们之间存在显著性差异(P < 0.001)。

三、讨论

Gross 和 Heumann[14]通过目视观测发现 Pix4D 拼接影像和 Photoscan 拼接影像均有模糊和伪影区域, 从侧面说明两个软件在拼接无人机数据时均改变了原始影像光谱信息。如前所述,本研究中用Pix4D 拼接的影像和 Photoscan 拼接的影像均没有出现模糊和伪影区域。但是,当进行定量比较时,Pix4D 拼接影像、Photoscan 拼接影像和单张影像间在光谱反射率和其变异系数上均存在差异。这与 Gross 和 Heumann 的结果一致。此外,3 种不同来源数据的光谱反射率和其变异系数的比较表明,Photoscan 在拼接无人机影像过程中,比 Pix4D 保留了更多的原始影像信息。几何精度和光谱精度是两个衡量拼接软件性能的关键技术指标。在几何精度方面,Gross 和 Heumann 的研究表明与其他软件相比,Pix4D 软件拼接影像的几何精度最高[14],但是 Sona 等[18]和 Turner等[19]的研究则表明 Photoscan 软件拼接影像的几何精度要好于 Pix4D。显然,这两款拼接软件拼接影像的几何精度取决于具体的应用场景。不过,基于这些研究的结果看, Pix4D 和 Photoscan 拼接影像的几何精度差异并不大。此外, 即使拼接影像存在细微的几何校正误差,后期还可以用野外采集的高精度的 GPS 点对它们进行几何精校正。本研究仅仅比较了两款拼接软件拼接影像光谱信息的差异。考虑到光谱信息, 尽管两款拼接软件拼接影像的光谱反射率都与单张影像光谱反射率有很高的相关性,但与Pix4D 软件拼接的影像相比, Photoscan 软件拼接影像的反射率与单张未拼接影像的反射率具有更好的对应关系,且反射率的变异系数与原始影像也更加接近。说明 Photoscan 在拼接影像时保留了更多的原始影像信息, 特别是对比度信息。好的对比度,会使基于 Photoscan 软件拼接的影像在复杂区域进行目标分类时比基于 Pix4D 软件拼接的影像表现更好。除了几何精度和光谱精度这两个标准,价格也是用户在使用拼接软件时应该考虑的因素。Photoscan 专业版的售价为 3499 美元,Pix4D Mapper 专业版的售价为 8700 美元。Pix4D AG 为农业版,它的售价为 5185 美元。显然,Photoscan 更加便宜。

本研究只是比较了两款软件在平原区农业地块应用的情况。今后, 需要在不同地形条件, 对结果进行更广泛的验证。目前来说, 本研究提供了一个比较软件拼接影像光谱精度的实例, 其结论适合于类似区域。

四、结论

Pix4D 软件和 Photoscan 软件在拼接无人机影像时, 尽管拼接影像的光谱反射率均与单张影像光谱反射率有较高的相关性, 但在拼接处理影像的过程
中均改变了原始单张影像的反射率。其中,Pix4D 软件会导致各波段反射率变低,而 Photoscan 软件能较好地处理具有低反射率值的光谱波段,但在具有高反射率值的光谱波段会导致处理后的反射率变大。与 Pix4D 相比,基于 Photoscan 拼接的影像,其反射率及影像对比度与原始单张影像更加接近。对于与本研究类似区域的应用来说,推荐 Photoscan 为性价比较好的软件。

 

[1] Chen P, Haboudane D, Tremblay N, Wang J, Vigneault P, Li B. New spectral indicator assessing the efficiency of crop nitrogen
treatment in corn and wheat. Remote Sens Environ, 2010, 114:1987–1997.

[2] 吴琼, 齐波, 赵团结, 姚鑫锋, 朱艳, 盖钧镒. 高光谱遥感估测大豆冠层生长和籽粒产量的探讨. 作物学报, 2013, 39:
309–318.Wu Q, Qi B, Zhao T J, Yao X F, Zhu Y, Gai J Y. A tentative study on utilization of canopy hyperspectral reflectance to estimate
canopy growth and seed yield in soybean. Acta Agron Sin, 2013,39: 309–318 (in Chinese with English abstract).

[3] John R, Chen J Q, Giannico V, Park H, Xiao J F, Shirkey G, Ouyang Z T, Shao C L, Lafortezza R, Qi J G. Grassland canopy cover and aboveground biomass in Mongolia and Inner Mongolia: Spatiotemporal estimates and controlling factors. Remote Sens Environ, 2018, 213: 34–48.

[4] Rumpler M, Daftry S, Tscharf A, Prettenthaler R, Hoppe C, Mayer G, Bischof H. Automated end-to-end workflow for precise and geo-accurate reconstractions using fiducial markers. ISPRS Ann Photogramm Remote Sens Spat Inf Sci, 2014, II-3: 135–142.

[5] 陈鹏飞. 无人机在农业的应用现状与展望. 浙江大学学报(农业与生命科学版), 2018, 44: 399–406.
Chen P F. Application status and prospect of UAV in agriculture. J Zhejiang Univ (Agric Life Sci), 2018, 44: 399–406 (in Chinese with English abstract).

[6] 李德仁, 李明. 无人机遥感系统的研究进展与应用前景. 武汉大学学报(信息科学版), 2014, 39: 505–513.
Li D R, Li M. Research progress and application prospect of UAV remote sensing system. J Wuhan Univ (Inf Sci Edn), 2014, 39: 505–513 (in Chinese with English abstract).

[7] Aasen H, Burkart A, Bolten A, Bareth G. Generating 3D hyperspectral information with lightweight UAV snapshot cameras for
vegetation monitoring: from camera calibration to quality assurance. ISPRS J Photogramm Remote Sens, 2015, 108: 245–259.

[8] 高林, 杨贵军, 李长春, 冯海宽, 徐波, 王磊, 董锦绘, 付奎.基于光谱特征与 PLRS 结合的叶面积指数拟合方法的无人机画幅高光谱遥感应用. 作物学报, 2017, 43: 549–557.
Gao L, Yang G J, Li C C, Feng H K, Xu B, Wang L, Dong J H, Fu K. Application of an improved method in retrieving leaf area index combined spectral index with PLSR in hyperspectral data generated by unmanned aerial vehicle snapshot camera. Acta Agron Sin, 2017, 43: 549–557 (in Chinese with English abstract).

[9] Shafian S, Rajan N, Schnell R, Bagavathiannan M, Valasek J. Unmanned aerial systems-based remote sensing for monitoring
sorghum growth and development. PLoS One, 2018, 13: e0196605.

[10] Zhou G. Near real-time orthorectification and mosaic of small UAV video flow for time-critical event response. IEEE Trans
Geosci Remote Sens, 2009, 47: 739–747.

[11] 董梅, 苏建东, 杨举田, 刘广玉, 李乃会, 黄泽祥, 田雷. 大区域无人机影像快速无缝拼接方法. 测绘科学, 2014, 39(11): 129–132.
Dong M, Su J D, Yang J T, Liu G Y, Li N H, Huang Z Y, Tian L. A fast seamless image mosaic method for UAV images in large
areas. Sci Surv Map, 2014, 39(11): 129–132 (in Chinese with English abstract).

[12] 王欢, 蒋显岚. 4 种无人机遥感影像快速拼接方法的试验分析. 测绘与空间地理信息, 2015, 38(8): 117–118.
Wang H, Jiang X L. Experimental analysis of 4 kind of remote sensing image mosaic method for UAV. Geomat Spat Inf Technol,
2015, 38(8): 117–118.

[13] Turner D, Lucieer A, Watson C. An automated technique for generating georectified mosaics from ultra-high resolution unmanned aerial vehicle (UAV) imagery, based on structure from motion (SfM) point Clouds. Remote Sens, 2012, 4: 1392–1410.

[14] Gross J W, Heumann B W. A statistical examination of image stitching software packages for use with unmanned aerial systems.Photogramm Eng Remote Sens, 2016, 82: 419–425.

[15] Barazzetti L, Remondino F, Scaioni M. Automation in 3D reconstruction: Results on different kinds of close-range blocks. Int
Arch Photogramm Remote Sens Spat Inf Sci, 2010, 38: 55–61.

[16] Westoby M, Brasington J, Glasser N, Hambrey M, Reynolds J. Structure-from-motion photogrammetry: a low-cost, effective tool for geoscience applications. Geomorphology, 2012, 179: 300–314.

[17] Vasuki Y, Holden E J, Kovesi P, Micklethwaite S. Semi-automatic mapping of geological Structures using UAV-based photogrammetric data: An image analysis approach. Comput Geosci (UK), 2014, 69: 22–32.

[18] Sona G, Pinto L, Pagliari D, Passoni D, Gini R. Experimental analysis of different software packages for orientation and digital
surface modeling from UAV images. Earth Sci Inf, 2014, 7: 97–107.

[19] Turner D, Lucieer A, Wallace L. Direct georeferencing of ultrahigh-resolution UAV imagery. IEEE Trans Geosci Remote Sens,
2014, 52: 2738–2745.

声明: 凡转载自其它媒体的,我们严格标注来源,版权归原作者所有,若侵犯了您的权益,请联系我们。转载目的在于信息传递,并不代表本站赞同其观点和对其真实性负责。凡来源为农肆网的,为本站原创或编译文章,转载请注明出处。

您可能还感兴趣的内容

菜单