地球大数据发掘剖析体系EarthDataMiner作为“可继续开展大数据渠道体系”重要组成部分正式揭露发布。
2015年,联合国正式经过《改动咱们的国际2030年可继续开展议程》,提出了包含一系列触及17个范畴169个详细问题的可继续开展方针(SDGs)。可是,因为方针数据和办法的缺失,可继续开展方针施行进程监测一直面临艰巨的应战。
地球大数据具有微观动态多标准监测才能,是完成SDGs的重要手法。可是,科学家们要怎么对那些海量、多源、多时相、高度集成的大数据进行发掘剖析,然后展开SDGs评价?
在近来举办的2021年可继续开展大数据国际论坛上,中国科学院软件研讨所(以下简称软件所)研讨人员做了题为《面向SDGs的交互式在线剖析技能与体系》的技能陈述,对这一问题进行了回答。
许诺消除全部办法和体现的贫穷,包含到2030年时消除极点贫穷,是SDGs一项要害方针 。可是,要摸清贫穷国家的贫穷状况自身就困难重重。
传统的入户查询办法本钱极高,且严峻依靠安稳的国内环境,许多开展中国家底子负担不起。而运用遥感技能,捕捉夜间亮光的卫星图画数据,结合全球人口动态核算剖析数据库的人口数据,运用核算办法估量国家和区域的社会经济状况,进步对全球贫穷问题的及时感知,现已不是什么新闻。
从理论上讲,更高的亮度意味着更多基础设施、更高的开展水平。可是,许多模型无法区别极点低光照水平缓零光照水平。并且,在人口密布的当地,仅凭夜间光照水平评价贫穷状况也会有很大误差。
2016年,斯坦福大学研讨人员在《科学》上宣布了一项研讨效果。他们把高精度卫星图画和深度学习、搬迁学习等技能结合起来,然后猜测了非洲五国尼日利亚、乌干达、坦桑尼亚、卢旺达和马拉维的贫穷状况。
这项研讨的立异之处在于,科学家用高精度、高质量的卫星遥感图画数据来练习一个深度卷积神经网络,以猜测同区域的夜光数值巨细。但这并非终究意图,而是为了提取遥感图画数据中的特征,比方路途、房子、轿车等,然后把这些特征和少量采样点的贫穷查询数据作为标签,练习一个一般的神经网络。这一核算东西终究能够用来高精度地猜测一个区域的贫穷程度。
“这项研讨给咱们的启示是,要想完成SDGs方针评价,数据和有用的发掘剖析东西是缺一不可的。”软件所副研讨员刘杰说道。
他一起指出,SDGs方针量化评价触及地球大数据剖析处理的全流程,包含遥感印象的拜访与语义剖析、各种数据产品的解析和预处理、多源数据的交融核算与可视化等,需求选用大数据与人工智能等很多前沿技能,这也给展开SDGs评价的科学家们带来了一系列技能应战。
“尽管针对大数据发掘剖析现已有一系列通用软件,包含Matlab、Python等单机版软件,还有分布式环境软件和云服务形式的剖析软件,但对范畴科学家而言,这些软件存在巨大的运用开发距离。”刘杰表明,面临海量、多源、多时相、高度集成的大数据,科学家需求软件供给数据处理功用的服务、剖析模型的服务,以及效果运用的服务。
9月6日,全球首个以大数据服务联合国2030年可继续开展议程的国际科研机构可继续开展大数据国际研讨中心正式建立,由其开发的“可继续开展大数据渠道体系”也正式发布。作为它的重要组成部分,依托渠道体系的栅格数据引擎Databox、广目云渠道CASEarthCloud,科研团队自主研制了一套地球大数据发掘剖析云服务体系(EarthDataMiner),支撑科学家在线展开遥感印象及其他科学数据的智能剖析处理,支撑SDGs方针全流程在线核算,然后下降科学家运用云渠道、大数据、前沿人工智能算法展开大规模数据剖析的难度。EarthDataMiner支撑科学家拜访海量数据,供给算法API,支撑在线编写代码开发SDG算法,并将算法效果发布为Web App东西,支撑全球用户拜访运用。
据介绍,根据EarthDataMiner完成的SDGs方针在线核算通用流程详细包含:将方针核算相关数据上传到体系;编写Python代码进行数据处理;遥感印象数据检索;遥感数据信息提取;布置方针核算算法与模型;选用EarthDataMiner供给的Web App东西的敞开结构,将SDGs评价算法发布为Web页面东西。
刘杰解说,EarthDataMiner最重要的便是要给科学家们供给一个分布式遥感印象核算函数库,渠道估计研制百余项SDGs在线核算的函数及配套文档和事例,包含遥感印象核算与机器学习算法。“对科学家而言调用的仅仅简略的函数,而渠道能把它翻译成高效的分布式使命去履行。至于怎么翻译得又精确又高效,取决于算法库的不断优化。”
现在,在中国科学院战略性先导科技专项“地球大数据科学工程”专项的一致布置下,EarthDataMiner研制团队已和相关科学家团队协作,根据EarthDataMiner开发了4个SDGs方针在线 地表水随时刻改变评价东西、SDG11.3.1 城镇化进程评价东西、SDG15.1.1 森林掩盖率评价东西、SDG15.3.1 土地退化零增长评价东西。
以SDG15.3.1全球土地退化方针监测为例。作为“2030年可继续开展议程”的一部分,SDG第15项方针是:维护、康复和促进可继续运用陆地生态体系,可继续办理森林,防治荒漠化,阻止和改变土地退化,遏止生物多样性的损失。每个特别开展方针都有详细方针,触及陆地上日子的不同组成部分。其间SDG15.3的方针是:到2030年,防治荒漠化,康复退化的土地和土壤,包含受荒漠化、干旱和洪水影响的土地,并努力完成零土地退化国际。
“作为完成 SDG 15.3的首要抓手,土地退化零增长(LDN)的履行触及基线确认、土地运用规划、开展评价3个要害作业。”中科院空天信息立异研讨院研讨员李晓松在《中国科学院院刊》宣布的文章《地球大数据促进土地退化零增长方针完成:实践与展望》中解说,“其间退化土地(SDG 15.3.1)基线与动态监测是中心,不只能够直接评价 LDN 开展状况,也能为土地运用规划供给信息支撑。”
李晓松表明,开展根据云核算的 SDG 15.3.1 在线核算东西是地球大数据支撑土地退化零增长的一项重要贡献。这一东西经过对接DataBox 、EarthDataMiner等多个数据核算引擎和数据环境,可为用户在线供给根据感兴趣区域的 SDG 15.3.1单方针核算评价、归纳核算评价,包含土地掩盖、土地生产力与土壤碳三个方面。在他看来,这对才能相对落后国家的 SDG15.3.1监测评价具有重要意义。