meteva

提供气象产品检验相关python程序


模块概述

<p>  在检验分析模块中,提供了许多便捷的开展检验分析的工具,但这些工具有一个缺陷,那就是在大规模数据场景下无法使用。例如,对于定常的温度预报来说,一天2次定时预报,每次预报80个时效,如果用1个万站点观测进行检验,1年的样本有将近6亿行,需要64G的内存才能勉强开展统计,如果要开展多年的检验评估则面临内存不够的问题。若是要检验逐1小时滚动更新的预报,数据量又会增加1个量级,若是要基于网格实况开展检验,则内存消耗还要再提升1-2个数量级。即使内存够用,计算耗时也会非常大。   在检验算法模块,为大部分检验算法提供了分块计算或并行计算的方案,基本思路是先根据原始数据统计出检验指标计算所需的中间量,在根据中间量计算最终评分。但是,在检验算法模块提供的并行计算函数使用起来还不太方便。本模块的设计目标就是让大规模数据场景下的分类检验也能方便地开展。</p>

页面列表

ITEM_HTML