干货分享 | GISer如何正确打开【深度学习】

近年来，人工智能领域取得了快速发展，在计算机视觉，自然语言处理和机器翻译等任务中，准确性甚至超过了人类。人工智能（AI）和GIS的交叉正在创造大量潜在机会。

Esri一直在加快脚步推动GIS和AI的结合，率先提出地理人工智能GeoAI的概念。它提供了一种“GIS+AI”的模式，可以让用户使用空间科学、机器学习、深度学习，以及数据挖掘和高性能计算等技术，让地理赋能AI以提升空间数据的洞察力。

而GeoAI能力主要体现在机器学习和深度学习两方面。其中，机器学习一直是GIS空间分析的核心内容。

ArcGIS平台早就提供了和机器学习相关的工具，这些工具大致分为三类：分类、聚类和预测。如支持向量机、基于密度的聚类、基于随机森林的分类与回归等工具。其中，可以利用预测类工具来预测全球气候变化对当地气温的影响，用时空立方体工具箱进行热点分析和时空模型挖掘，用影像分类工具对影像中的建筑物、道路、植被、水体等进行识别。

另一方面，如果机器仅仅通过查看数据就能找出影响因素/特征是什么，那不是很好吗？这就是深度学习的用武之地。它受到人类大脑的启发，还有点像人类大脑。在深层神经网络中，有对刺激作出反应的神经元，它们之间是分层连接的。神经网络已存在数十年，但如何训练它们一直是一项挑战。

深度学习的出现可归功于近年来的三个主要发展：大数据，快速计算、算法改进。

数据：我们现在拥有大量的数据，多亏了互联网、遍布周围的传感器，以及每天都在生成大量影像的众多卫星。

计算：得益于云计算和图形处理单元(gpu)，我们拥有强大的计算资源。随着游戏行业的发展，这些计算单元变得比以往任何时候都更强大，而且价格也在下降。

算法改进：研究人员现在通过算法改进和网络架构，破解了训练深层神经网络的一些最具挑战性的方面。

将计算机视觉应用于地理空间分析

在人工智能领域，深度学习做得非常好，其中一个领域是计算机视觉。这对GIS特别有用，因为卫星、航空和无人机图像的生成速度使得无法通过传统方法分析和获得洞察力。

下图显示了一些最重要的计算机视觉任务，以及它们如何应用于GIS：

图1.应用于GIS的重要计算机视觉任务

最简单的是图像分类，其中计算机为图像分配标签，例如“猫”或“狗”。这可以在GIS中用于对带有地理标记的照片进行分类。上面的一张图片被归类为密集的人群。此行人活动分类可用于公共活动期间的行人及交通管理规划。佐治亚州科布县的工作人员在2018年Esri用户大会全体会议上演示了这样一个例子。

科布县的交通和行人运动规划

目标检测，其中计算机需要在图像中查找目标及其位置。这是GIS中一项非常重要的任务：查找卫星，航空或无人机影像，定位，并将其绘制在地图上，这可用于基础设施绘图，异常检测和特征提取。

检测到住宅区内的游泳池

要阅读有关使用深度学习来检测和分类游泳池的示例的更多信息，请查看网址：

https://www.esri.com/arcgis-blog/products/api-python/analytics/how-we-did-it-integrating-arcgis-and-machine-learning-at-uc-2018/

计算机视觉中的另一个重要任务是语义分割：在其中将图像的每个像素分类为一个特定类别。例如，在图1的影像中，黄色像素是猫，绿色像素属于地面类，蓝色像素是天空。在GIS中，语义分割可用于土地覆盖分类或从卫星图像中提取道路网络。

使用深度学习进行土地覆盖分类

早期一个很好的例子是，切萨皮克保护协会将Esri的GIS技术与微软的AI工具包（CNTK）和云解决方案相结合，生产出了切萨皮克流域的第一个高分辨率土地覆盖图。此工作现在也可作为部署在Azure Microsoft Data Science虚拟机上的教程使用。

具体可以阅读：

https://github.com/Azure/pixel_level_land_classification

https://azuremarketplace.microsoft.com/en-us/marketplace/apps/microsoft-ads.geodsvm

另一种类型的分割是实例分割，可以将其视为更精确的目标检测，其中每个目标实例的精确边界都被标记出来。实例分割可用于诸如改进底图之类的任务。这可以通过添加建筑足迹或利用激光雷达数据重建三维建筑来实现。

上图(左)的建筑是用人工编辑器数字化的掩模三维重建的。
同样的建筑(右图)由Mask R-CNN模型生成。

Esri最近与英伟达(NVIDIA)合作，利用航空激光雷达数据，为佛罗里达州迈阿密戴德县创建复杂的三维建筑模型。通过深度学习，实现了这一人工密集过程的自动化。

相关网址：

https://www.esri.com/arcgis-blog/products/product/3d-gis/restoring-3d-buildings-from-aerial-lidar-with-help-of-ai/

在处理卫星图像时，深度学习的一个重要应用是通过自动提取道路网络和建立足迹来创建数字地图。

想象一下，将一个训练有素的深度学习模型应用于一个大的地理区域，得到一个包含该区域所有道路的地图，然后能够使用这个检测到的道路网络创建行车路线。这对于没有高质量数字地图的发展中国家，或者在新开发的地区尤其有用。

使用深度学习检测道路并转换为地理特征

好的地图不仅需要道路，还需要建筑物。像Mask R-CNN这样的实例分割模型对于建筑足迹分割特别有用，可以帮助创建建筑足迹，而无需手动数字化。然而，这些模型通常导致不规则的建筑足迹，看起来更像安东尼奥·高迪(Antonio Gaudi)的杰作，而不是具有直边和直角的普通建筑。使用ArcGIS Pro中的正则化建筑足迹（Regularize Building Footprint）工具，可以帮助恢复准确表示建筑足迹所需的直线边缘和直角。

相关网址：

https://pro.arcgis.com/en/pro-app/tool-reference/3d-analyst/regularize-building-footprint.htm

使用ArcGIS Pro中的Regularize Building Footprints工具从卫星图像中提取构建足迹并进行规范化。

在今年推出的ArcGIS 10.7中，实现全平台产品与人工智能的深度融合，用户可以随时随地基于AI技术智能、高效进行空间数据分析和目标分类与提取，成果便捷分享。

在ArcGIS Pro中导出深度学习工具的训练数据

机器学习方面：ArcGIS Pro中内置近20种机器学习算法，用于影像于分类、空间聚合以基于空间数据的分析预测。ArcGIS 10.7中，随机森林分类、广义线性回归等机器学习工具“搬”到了服务器产品中，可利用分布式计算框架进行机器学习运算。

深度学习方面：桌面产品ArcGIS Pro 2.3支持一键式训练样本的制作、新增基于深度学习的图像分类和对象识别工具，可无缝对接来自Tensor Flow、CNTK、PyTorch等的训练模型。。同时，Image Server 10.7 栅格大数据分析工具中新增7个深度学习相关工具，可在线安装、卸载第三方训练模型，在线制作训练样本、在线分布式运行目标识别、图像分类。Portal Map Viewer中也相应增加了可视化工具界面。

深度学习领域简直令人着迷。这是一个快速发展的领域，每隔一段时间就会出现最先进的研究结果和研究论文。

超分辨率的一个例子：提高卫星图像的分辨率。左 - 低分辨率，右 - 使用深度学习提高分辨率

深度学习的一些创新用途是用于增强影像，例如通过使用“超分辨率网络”来提高缩放级别。该技术可用于提高卫星影像的清晰度，甚至超出所使用的传感器分辨率。

将绘画风格应用于“撒哈拉之眼”（一种非洲北部地区特征）的卫星影像而生成的地图艺术。

深度学习的另一个创新应用是“Creative AI”领域。神经风格转换技术可用于生成“地图艺术”，并可通过制图风格转换，在GIS中得到实际应用。

制图风格转换：将15世纪的第一世界地图集上的奥尔特利乌斯风格地图（右上角）应用到纽约市地图上（右下角），得到新的纽约市地图（左）！

生成性对抗网络（GANs）是一个活跃的研究领域，可用于直接从影像生成地图图块。

虽然上面的示例侧重于影像和计算机视觉，但深度学习也同样适用于处理大量结构化数据，例如来自传感器的观测数据，或来自要素层的属性数据。这些技术在结构化数据中的应用，包括预测事故概率，销售预测、地理编码等。

Esri正在大力投资这些新兴技术，并在印度新德里开设了一个新的研发中心，专注于人工智能，以及卫星影像与位置智能的深度学习。