全球尺度遥感云计算平台:Google Earth Engine
Google Earth Engine(GEE)是一个基于 Google 云服务基础设施的遥感大数据分析平台,它结合 Google 强大的云计算能力与 NASA、ESA、NOAA 等机构的空间数据,用于在全球尺度解决一些非常重要的社会问题:森林退化、粮食安全、灾害预警、水资源管理、气候监测以及环境保护等。GEE 官方宣传视频(版权归 Google 所有)Spacefan 的视频·303播放发展背景
Google Earth Engine(GEE) 是一个基于 Google 云服务基础设施的遥感大数据分析平台,它结合 Google 强大的云计算能力与 NASA、ESA、NOAA 等机构的空间数据,用于在全球尺度解决一些非常重要的社会问题:森林退化、粮食安全、灾害预警、水资源管理、气候监测以及环境保护等。
发展背景
2008 年,手握 40 多年 LandSat 数据的美国地质调查局(USGS)逐步将自 1972 年以来的所有 LandSat 存档数据免费向公众开放,成为开放遥感数据的急先锋。随后 ESA 哥白尼计划下的 Sentinel-1/2/3/5、NOAA 的 MODIS 等卫星项目产生的空间数据加入免费大军,为 GEE 的出现奠定了数据基础。
2011 年,Google 决定放弃对 Google Earth Enterprise 的深入开发,转而协同卡耐基梅隆大学、NASA、USGS 的技术人员一起设计更具技术前瞻性的 Google Earth Engine。两款产品都简称 GEE,但却代表了 Google 在不同时期对地球科学与遥感大数据的认知。
2012 年,Goodchild 等人 提出,“卫星以及地面传感器所提供的地理信息数据量的迅速增长,正在鼓励产生一种新的、第四类的、大数据的科学范式,这种范式强调国际间合作、数据密集型分析、巨大的计算资源以及高端的可视化方式”。至此,地理信息云计算的概念逐渐浮出水面。
2013 年,GEE 作为 Google 内部孵化项目,开始在行业内曝光,并积极寻求与外部的合作。
2015 年,GEE 公测上线,在全球遥感与地理信息行业产生较大反响,标志着遥感云计算时代的正式到来。
2016 年,GEE 开发团队在一年内人员数量翻倍,在 Google Cloud Platform(GCP)的助力之下,开始为新兴的商业遥感应用提供解决方案。
2017 年,Google 正式开源 Google Earth Enterprise,简称 OpenGEE,由社区驱动开发与技术维护。同年,GEE 团队发布论文 Google Earth Engine: Planetary-scale geospatial analysis for everyone,全面介绍了 GEE 出现的时代背景、平台架构、数据集、基本语法、计算效率以及未来的挑战,引起国内外科研单位及相关从业人员的广泛关注,GEE 逐渐被大家应用于实际科研与生产之中。
技术特点
GEE 结合了 PB 级卫星影像和地理空间数据集,以及全球尺度的分析功能,使科学家、研究人员和开发人员可以使用它来监测变化,绘制趋势并量化地球表面的差异。
GEE 基于 Google Cloud 架设,最底层为数据存储,包括 20 级栅格和 22 级矢量瓦片数据,Fusion Table 已经弃用;第二层为云计算层,分为即时响应计算和批量计算;第三层为网络化的 REST(Representational State Transfer,表现层状态转换)APIs 服务;第四层为客户端库,用 JavaScript 和 Python 解析 REST APIs,可称为 JavaScript API 和 Python API;顶层为交互层,JavaScript API 对应 Code Editor,Python API 对应三方开发的网页或本地应用。
GEE 系统架构
得益于 Google 良好的底层技术生态,GEE 的应用潜力逐渐被众多用户挖掘。尤其在近来来迅猛发展的人工智能技术领域,GEE Python API 可无缝与 TensorFlow 框架相结合,实现智能遥感大数据分析。
综上所述,GEE 具有如下鲜明的技术特点:
- 海量的多源数据:GEE 汇集 PB 级海量地理信息空间数据,包括卫星遥感、航空遥感、基础地理信息以及可直接使用的高级应用产品等数据。
- 超强的云端计算:GEE 基于 Google 云服务平台架设,并行处理分析任务,计算资源近乎无限,无需考虑硬件成本。
- 规范的用户接口:GEE 提供基于 JavaScript 和 Python 语言的双重用户接口,对众多数据处理的函数实现规范化封装,极大程度较低了用户的学习门槛。
- 良好的开发生态:GEE 自上线伊始就极为重视开发生态的发展,官方丰富的开发文档、科研项目基金的支持、活跃的开发社区以及不定期开发者大会的组织等,为 GEE 的发展注入了强劲的活力。
- 免费的服务平台:GEE 的使用完全免费,仅对数据导出有所限制。
数据集
GEE 包含 PB 级海量地理信息空间数据,主要有:
- 超过 40 年的 LandSat 系列卫星影像:星下点重访周期 16 天,最新的 LandSat-8 卫星为 11 谱段多光谱数据。
- Sentinel-1/2/3/5 卫星遥感数据:Sentinel-1 为 C 波段 SAR 数据;Sentinel-2 为 13 谱段多光谱数据;Sentinel-3 为海洋与陆地观测卫星,通过海洋和陆地彩色仪器(OLCI)、海洋和陆地表面温度辐射计(SLSTR)、合成孔径雷达高度计(SRAL)、微波辐射计(MWR)和精密定轨(POD)仪器实现高精度海面地形、海陆表面温度、海陆表面颜色遥感与测量,以支持海洋预报系统、海陆环境与气象监测等科学任务;Sentinel-5 为大气测量卫星,用于空气质量、臭氧和紫外线辐射以及气候监测和预报。
- MODIS 中等分辨率遥感影像数据:具有 36 个谱段,最高分辨率为 250 m,一天可实现两次全球覆盖。
- 高分辨率航空遥感影像:1 m 分辨率高清航空遥感影像,仅覆盖美国本土。
- 基础地理信息数据:全球地形数据、气象数据、矢量数据等。
- 应用产品数据:地表覆盖数据、夜光数据、耕地数据、NDVI 数据、EVI 数据、LAI 数据等。
官方统计,GEE 数据中心包含超过 200 个公共数据集、500 多万张影像,并以每天大约 4000 张影像的速度递增。其不完整的数据集目录参见:Earth Engine Data Catalog。
GEE 公有数据集
学习资源
GEE 的普及离不开丰富的学习资源,首推官方系统性的介绍文档:https://developers.google.com/earth-engine,其中的 JavaScript and Python Guides、API Reference 和 Earth Engine Community Content 部分是初学者的不二之选。其次,推荐澳大利亚查尔斯·达尔文大学 GEARS 团队的 GEE 教程。以及,华人吴秋生老师的系列视频教程:https://space.bilibili.com/527404442/video,和他开发的 geemap 模块教程。吴秋生老师还写有 Awesome-GEE,对 GEE 学习资源做了较为全面的归总。
对英文无感的童鞋可以看 王金柱 同学的入门视频教程:遥感大数据平台 Google Earth Engine 教学视频,以及知乎大佬 无形的风 写的系列教程。若想快速系统学习 GEE,而且家里有矿的,可直接阅读《遥感云计算与科学分析:应用与实践》一书。
遥感云计算与科学分析:应用与实践
当然,再多的学习资源都比不上一次走心的实践操作。下面就为大家演示,如何利用 MODIS 数据制作 2020 年 5 月至 2021 年 5 月全中国植被指数时序。
全国植被指数时序
首先,从 全国地理信息资源目录服务系统 下载全国行政边界矢量数据,导入到 GEE。然后,建立研究区域,并裁剪中国行政边界。
中国行政边界
随后,加载 MODIS 植被指数产品,并进行数据筛选。
筛选得到的 MODIS 数据集
最后,将筛选得到的影像组成时序,并以直观的配色方案输出至终端显示。
全国 2020~2021 年植被指数时序
从时序图可见,植被的生成变化情况随时间沿纬度带呈潮汐状。这与太阳相对赤道的偏角在南北纬 23.5° 之间移动有关,此现象的具体研究参见:Nicholson, 2019。在世界范围内,无论规模大小,都可以发现相似的植被生产力季节性变化模式。
PS:后台回复“全国植被指数时序”获取完整示例代码。
结语
作为一个集成的一体化工具,GEE 不局限于专业的遥感或地理空间信息应用开发,还能广泛服务于缺乏计算资源的消费级人群。
本文从 发展背景
、技术特点
、数据集
与 学习资源
四个方面简要介绍了 GEE 全球尺度遥感云计算平台,并以全国 2020~2021 植被指数时序制作为例展示了 GEE 在大尺度遥感数据分析方面的巨大应用潜力。
希望本文能抛砖引玉,为 GEE 初学者提供具有建设性意义的入门参考!
更多推荐
所有评论(0)