meteva

提供气象产品检验相关python程序


更新情况

<p>版本号A.B.C.D(例如1.0.9.1)的约定规则,A增加1代表核心功能模块的扩展,B增加1代表为增加了一个子模块或较多的改进,C代表功能函数的增加或改进或bug修复,C通常保留个位数,达到10之后默认在B中进位,D代表对最新版本的一些bug修复(可能缺省)。</p> <h3>版本:1.8.01</h3> <h4>更新日期:2024年3月5日</h4> <h5>更新内容:</h5> <ol> <li>修复读取超高分辨率网格预报数据的一处bug。 更新原因:由于数据精度的原因,读入的数据的网格距常常不精确,为此MetEva会根据起始经纬度和网格数对网格距进行重置,但这种操作在处理精度超过0.001°的数据时异常退出 更新内容:当出现异常时不再对网格距进行重置,直接返回xarray读入的数据网格。</li> </ol> <h3>版本:1.8</h3> <h4>更新日期:2024年2月23日</h4> <h5>更新内容:</h5> <ol> <li>优化了包依赖关系,提升安装和运行的稳定性。 更新原因:在就版本中meteva对各种包的依赖关系通常是大于等于某个版本,但是随着被依赖包的版本提升了,自动安装的依赖包常常是最新的版本,而最新版本又可能出现和meteva不兼容的情况。导致meteva安装或运行出错。 更新内容:修改了setup.py,固定了几个关键包的版本范围,pandas&gt;=1.0.4,&lt;=2.0.3,netCDF4&gt;=1.4.2,&lt;=1.5.6,xarray&gt;=0.10.0,&lt;=0.20.0,matplotlib&gt;=3.2.2,&lt;=3.3.4。</li> <li>和MetDig兼容 更新原因:MetDig是国家气象中心开发的重要的诊断工具,但此前MetEva和MetDig并不兼容,原因是MetDig依赖matplotlib=3.2.2,而MetEva依赖matplotlib&gt;3.3.4导致MetEva和MetDig不能同时安装在同一个虚拟环境中,给用户同时应用这两个工具带来了不便。 更新内容:在MetEva中的meb.tool.plot_tools,mem.continues_ploth函数增加了对matplotlib版本的判断,根据matplotlib的版本调整绘图的参数,达到在3.2.2和3.3.4都可用的效果。</li> <li>增加了多种空间检验模块 更新原因:按照研发计划在MetEva逐步集成各类检验算法 更新内容:新增了acc算法,cra算法、最佳邻域检验算法、目标距离检验算法(hausdorff_metric)、几何特征(geometric_characterizations)检验算法、geo_box_plot 算法、模糊逻辑检验算法、fqi算法,通用图像质量指数算法,s1算法。具体内容见https://www.showdoc.com.cn/meteva/10931337683467157 等方法介绍页面。</li> <li>在格点场检验中自动设置随纬度变化的权重 更新原因:在等经纬度网格数据的检验中,计算me\mae\rmse\corr应根据不同纬度格点的面积设置不同的权重, 更新内容:me\mae\rmse\corr以及相关的中间量计算函数增加了weight参数,为此增加weight参数。在透视分析模块中,改进后可自动的根据格点纬度设置改参数。</li> <li>增加了rmse_skill综合评分卡 更新原因:在对数值模式或大模型的形势场预报进行检验时,可以通过综合评分卡总体性的了解形势场和关键要素场的预报性能 更新内容:增加了函数<a href="https://www.showdoc.com.cn/meteva/10937314138546215">mps.rmse_skill_seaborn</a></li> <li>部分功能增加了英文绘图支持。 更新原因:此前MetEva绘图中采用大量中文描述,主要是考虑将结果用于日常业务以及各级气象部门会商等场景的使用,但在学术期刊和国际交流等场景中使用不便。 更新内容:在全局变量中增加了 language变量,language设置为en时,在单站检验模块的time_list_line函数中增加了对非中文形式的横坐标。</li> <li>扩展了透视分析的功能 更新原因:透视分析模块此前还未包含对集合预报检验的支持 更新内容:在透视分析模块中增加了对roc_auc 、bs、bss函数的支持</li> <li>优化了风的图形检验模块 更新原因:在检验样本较多时,风矢量散点分布图和误差是散点分布图的散点连成一篇,不方便对比实况和预报之间的差异。 更新内容:增加对<a href="https://www.showdoc.com.cn/meteva/5961178268230626">风矢量概率密度的对比检验功能</a>,在散点对比图中也以散点颜色表示散点所在位置的概率密度,用于区分散点的疏密情况。另外所有风的图形检验产品函数另外增加了x_label,y_label参数</li> <li>部分绘图功能支持了尖头的colorbar 更新原因:此前MetEva的colorbar都是不带尖头的,当需要表达某个等级以上为某种颜色的时就非常不方便,经常造成颜色等级丢失等情况。 更新内容:contourf_2d_grid和scatter_sta、add_contourf和add_scatter这四个最核心的绘图函数中增加了extend参数。</li> <li>多图层绘制功能增加colorbar_location 参数 更新原因:此前多图层绘制函数plot_tools_adv函数的多个子图不能共享colorbar,在有些场景下不够方便, 更新内容:在add_contourf\add_scatter\add_mesh等函数中增加了colorbar_location ,这样就可以colorbar绘制在任意位置,达到多子图共享的效果。 11.增加了false_alarm_count和false_alarm_count_hfmc函数 更新原因:有些场景需要提供空报数的分类统计,为此将false_alarm_count作为一个单独的函数,以便使用mpd.score 和mps.score_df 函数进行分类统计 12.增加了ob_fo_precipitation_strenght以及中间量统计函数。 更新原因:方便通过mpd.score函数实现降水强度分类统计。 13.修复了绘制全球地图的bug 更新原因:此前只能以-180 至180°的形式绘制全球地图,改正后也可以以0-360°的形式绘制全球地图。 14.增加了按年月和日时两种参数进行数据分组和选取的功能 更新原因:在对分钟级滚动更新的预报进行分类检验时,按time分组太密,按day分组太稀,则可用day_hour参数分组。在将多年的数据按月进行统计,并且要求不同年份的相同月份不做叠加时采用year_month参数进行分组 更新内容:在选取函数中增加了day_hour,year_month,ob_day_hour,ob_year_month参数选项,在分组函数中day_hour, year_month参数选项 15.creat_axs增加了keep_ticks参数 更新原因:当需要创建包含大量子图的平面图时,如果省略中间部分的子图的经纬度坐标,只保留最低部和最左侧的子图的坐标,这样可以让实际绘图框更大,显示的数据内容更加清晰,此时可以通过设置keep_ticks参数进行控制。 16.max_of_grd 和min_of_grd函数增加了在时效和时间维度求最大最小值的功能 更新原因:按计划逐步扩展统计功能 17.mode的plot_label_list绘图函数增加了title参数 更新原因:方便自定义图形标题</li> <li>rain_sg中增加了point_size 用于控制散点的大小 更新原因:方便自定义散点大小 19.在mpd.score 函数增加了对集合预报检验指标crps的支持 更新原因:方便开展集合预报检验指标的分类统计 20.t_rh_p_to_q 函数增加了check 参数 更新原因:t_rh_p_to_q 函数此前是默认对生成的rh是否在0-100%进行却检查,如果不rh偏离0-100%区间很大就报错。然而,未来随着AI大模型预报的推广和应用,rh严重偏离0-100%的情况可能频繁出现,为开展相关的诊断和检验,只能默认放弃对rh的检查。不过用户仍然可以通过设置check=True来做检查。 21.优化连续量图形检验产品 更新原因:由于在极值附近的频谱匹配结果不太可靠,绘制频率关系图时用户可能只想保留频率匹配图(pdf_plot)中较可靠的部分。另外frequency_change_with_strength函数统计结果常常不平滑,影响视觉效果。 更新内容:pdf_plot函数中增加了percent参数,frequency_change_with_strength函数增加color_list,linestyle,smooth等参数 22.在get_ob_from_combined_data函数中增加了参数ob_column 更新原因:增加了ob_column参数,当ob_column = 2 时可以提取从矢量数据(风场或台风路径)中提取观测数据 23.修复了mpd.plot函数的一处bug 24.更正了accumulation_strength_table 和frequency_strength_table的函数名称 25.write_stadata_to_micaps3函数中优化了闪电数据的输出格式 26.修复了读取台风轨迹数据和天擎站点数据的一处bug 27.更改了刚体变换模块的返回结果, 更新原因:为支持cra模块的开发,在刚体变换模块中返回结果中增加了grd_fo_shift部分。另外,为了方便理解,将返回结果中的关键词grd_fo_transformed 改为了grd_fo_shift_rotate</li> </ol> <h5>可能导致的问题:</h5> <pre><code>刚体变换模块的返回结果的更改可能对一些已经在调用该模块且从结果中提取grd_fo_transformed字段的程序造成影响。</code></pre> <h3>版本:1.7.5</h3> <h4>更新日期:2023年5月25日</h4> <h5>更新内容:</h5> <ol> <li>改进了将格点输出输出成MICAPS第4类格式的函数,增加参数,且将默认输出编码为 GBK。 更新原因:为了方便在micaps中显示指定的等值线,虽然默认为 UTF-8,但占用空间大且容易出现类似 \u01bd 的特别编码导致 MICAPS4无法读取 更新内容:meb.write_griddata_to_micaps4函数中增加了参数inte,vmin,vmax。</li> <li>修复了读取ctl描述的二进制数据的函数 meb.read_griddata_from_ctl中的一处bug。</li> <li>完善了对分钟级预报的检验功能 更新原因:此前大部分功能函数默认的预报时效类型是小时,在读取和检验分钟级预报时不方便 更新内容:增加了设置格点数据时效等属性的函数;在全局变量中增加了meb.dtime_units变量,方便用户选取时效的单位类型;在读取站点和格点数据的函数中增加了dtime_units参数,方便用户在读取时就设置好时效的单位;在选取函数中,对起报时间和观测时间之间的转换算法考虑了自时效的单位。</li> <li>在格点数据读取时兼容了东西向排列倒置的数据。</li> <li>读取天擎站点数据时,兼容了站号为“”的情况。</li> <li>修复了uv风大规模数据匹配时列名称设置错误的问题。</li> <li>修复了 t_rh_p_to_q函数的一处数据类型兼容性问题。</li> <li>在站点到格点的插值函数中增加了过滤缺省值的操作。</li> <li>增加了格点到格点的临近点插值算法meb.interp_gg_nearest。</li> <li>修复了搜索邻域站点的功能函数族中当参数 nearNum=1时的bug</li> <li>增加了函数 meb.add_dtime_0 更新原因:在模式的累积降水预报数据apcp中,常常不包含0时效的场,这导致基于meb.change函数计算第一个时刻的降水量时无法实现。 更新内容。根据了meb.add_dtime_0函数,可以往格点数据中插入了0时效取值全为0的场。</li> <li>修复了读取天擎站点数据时取值范围限制的bug 更新原因:旧版本中,设置数据值超过10000时为异常值或缺省值,对于某些物理量来说,这个范围不够 更新内容:将阈值设为990000。</li> <li>增加了读取swan数据的函数meb.read_griddata_from_swan_d131 和meb.decode_griddata_from_swan_d131_byteArray。</li> <li>在读取格点数据的函数中都增加了outer_value参数 更新原因:在检验时,经常需要将读入的格点数据插值到统一个网格上,但数据文件中的范围很可能小于指定的网格,此前读取遇到此种情况会报错退出。 更新内容:新增了outer_value后,可以根据需要指定文件网格范围之外的部分的缺省值,保证数据读取操作正常进行。</li> <li>改进了输出矩阵函数到excel文件中的函数write_array_to_excel。 更新原因:当矩阵数据的某个维度是时间时,输出到表格中的坐标值有问题 更新内容:自动判断数据的类型,当类型是时间时,按统一格式输出。</li> <li>输出micaps4格式文件是有效位数由6减少为3,以节省空间。</li> <li>增加了输出micaps第2类格式的功能。</li> <li>改正了生成colorbar的一处bug</li> <li>修复了判断点在闭合等值线内的函数的bug 更新原因:当点正好处于等值线上或等值线顶点同一水平位置时,判断会出错</li> <li>增加了绘制网格风场的凤羽图的功能函数meb.barbs_grid_wind</li> <li>优化了柱状图的纵坐标 更新原因:旧版本部分情况下柱状图纵坐标的最小值和数据的最小值相同,导致最小值显示不出来; 更新内容:自动判断纵坐标需要比数据最小值小的情况。</li> <li>优化了绘制格点或站点数据时包含多个子图时的总标题和子图标题的内容,让标题内容更简洁。</li> <li>在绘制凤羽图的函数中增加了length参数,方便用户更好的控制风向杆大小。</li> <li>涉及到对数坐标设置的参数统一为log_y 更新原因:meteva中有些绘图函数和一些图形检验函数的开发过程中设置对数坐标功能时未互相对照,导致参数名称不统一,不便于记忆和使用。</li> <li>在连续型变量检验模块中增加了离差系数的技术函数mem.ob_fo_cv,另外增加了基于中间结果tmmsss计算均值、累计值和纳什系数的功能。</li> <li>优化了mem.frequency_histogram的坐标名称,并且提供了用户自定义的参数。</li> <li>改正了roc图的坐标名称,将空报率(pofd)改为了报空率(pofd)</li> <li>增加了基于中间量计算fss的函数 fss_fof</li> <li>修复了p2p_vto01函数中的bug</li> <li>在风预报检验模块中绘制风矢量散点图和风矢量误差散点图的函数中,增加了通过散点颜色表征样本密度的功能效果。 更新原因:当样本非常多时,大量散点堆叠在一起,看不出样本分布的差异性,不方便进行检验。</li> <li>在风预报检验模块中增加了样本密度等值线对比检验的功能mem.probability_density_uv</li> <li>删除了dts评分函数的多余参数 更新原因:dts评分规则中不需要包含compare,但此前开发时错误的包含了compare参数</li> <li>扩展了透视分析层对风向风速检验、mre、rmsf和fss等指标的支持</li> <li>优化透视分析功能的自动绘图效果。</li> <li>优化了mpd.diunal_max_hour函数,使得用户可以对绘图效果进行控制。</li> <li>在mpd.score 和mpd.plot函数中增加了对缺省值的过滤功能,并且增加了参数keep_ob_IV让用户可以控制是否过滤。</li> <li>修复了rain_sg函数无法调整散点大小的bug。</li> <li>改进了mode算法的辅助分析功能 更新原因:旧版本中将特征列表转成DataFrame的函数features_list_to_df只保留了命中空报漏报数目和命中目标属性,实际上漏报目标的属性和空报目标的属性在检验分析中也具有价值;另外转换成DataFrame后没有保留模式的名称信息,不方便后续分析。 更新内容:新版本中mem.mode.features_list_to_df函数同时返回4个DataFrame变量,分别是命中空报漏报数、命中目标属性、空报目标属性和漏报目标属性。且在返回结果中增加了member列。</li> </ol> <h5>可能导致的问题:</h5> <p> &lt;font face=&quot;黑体&quot; color=red size=3&gt;如果已有代码在调用函数mem.mode.features_list_to_df时是用1个变量来接收返回结果时,所得结果仍然为一个元组,则不会出错。如果已有代码使用的是2个变量来接收返回结果(4个),就会出现运行报错。 另外,在利用mem.mode.load_feature_summary加载旧版程序运行的目标识别和检验结果中,因为旧版结果中不包含模式名称数据,因此加载后的数据仍然不包含模式名称,之后再调用mem.mode.features_list_to_df生成的DataFrame结果中member列会是缺省值“default”。后续利用前需重新设置member列的值,避免将多个模式的检验结果混淆。&lt;/font&gt;  </p> <h3>版本:1.7.3</h3> <h4>更新日期:2022年11月25日</h4> <h5>更新内容:</h5> <ol> <li>在空间检验模块中增加了显著性检验算法</li> </ol> <h3>版本:1.7.2.1</h3> <h4>更新日期:2022年8月31日</h4> <h5>更新内容:</h5> <ol> <li>说明待更新</li> </ol> <h3>版本:1.7.1.1</h3> <h4>更新日期:2022年8月12日</h4> <h5>更新内容:</h5> <ol> <li>进一步改进了打印grib内容信息的函数功能</li> </ol> <h3>版本:1.7.1.2</h3> <h4>更新日期:2022年8月13日</h4> <h5>更新内容:</h5> <ol> <li>增加了将全球站点数据中的世界时转当地时的功能 1.1 更新原因:在计算日最高温最低温时、通常是以当地时进行,但观测数据通常是以世界时记录的,因此需要转换 1.2 更新内容:在基础函数库-数据转换-转换模块增加了函数<a href="https://www.showdoc.com.cn/meteva/3975605485567652">tran_ut_Administrative_local_time</a></li> </ol> <h3>版本:1.7.1.1</h3> <h4>更新日期:2022年8月12日</h4> <h5>更新内容:</h5> <ol> <li>进一步改进了打印grib内容信息的函数功能</li> </ol> <h3>版本:1.7.1</h3> <h4>更新日期:2022年8月11日</h4> <h5>更新内容:</h5> <ol> <li>改进了透视分析模块<br /> 1.1 更新原因:基于1.7.0版本的功能不能基于hfmc计算观测、预报事件的频次 1.2 更新内容:扩展了mps.score_df函数的功能,使得method能够接受mem.ob_fo_hc,mem.ob_fo_hr等参数</li> <li>增加了求日最大和最小值时刻标签的功能 2.1 更新原因:为了方便统计一段时间最大和最小值出现的时间的日变化特征。 2.2 更新内容: 在基础函数层-转换-特征时间模块增加了函数meb.is_max_of_oneday,meb.is_min_of_oneday 3 增加了预报员温度预报技巧评分 3.1 更新原因:支持《第十六届全国气象行业职业技能竞赛暨第八届全国气象行业天气预报职业技能竞赛组织实施方案》中温度预报评分规则 3.2 更新内容:在检验产品层-业务规范中的检验方法-温度预报检验模块中增加了mpd.temp_forecaster_score 和mpd.tbask函数。</li> <li>改进了打印grib内容信息的函数功能 4.1 更新原因: 现有的meb.print_grib_file_info 函数的数据结果包含大量cfgrib给出的错误信息,不便于初学者理解其含义并找到参数设置的方法 4.2 更新内容:改进后该函数直接能够提示用户使用什么参数能读取到什么数据。</li> </ol> <h3>版本:1.7.0</h3> <h4>更新日期:2022年8月7日</h4> <h5>更新内容:</h5> <ol> <li>新增了透视分析模块<br /> 1.1 更新原因:在大规模数据场景下,例如基于数万站点实况或基于格点实况开展检验时,将所有预报观测数据加载到内存里开展检验不可行 1.2 更新内容:增加了<a href="https://www.showdoc.com.cn/meteva/9159760157070513">基于原始数据统计评分中间结果</a>和<a href="https://www.showdoc.com.cn/meteva/9159817257163578">基于评分中间结果数值型检验指标的分类统计</a>的功能</li> </ol> <h3>版本:1.6.9.2</h3> <h4>更新日期:2022年7月28日</h4> <h5>更新内容:</h5> <ol> <li>修复了计算地球球面距离的函数bug </li> <li>改进了精细化化城镇预报读取函数 2.1 更新原因:不同单位的精细化化城镇预报的报文格式有些差异,此前的读取函数不能同时兼容 2.2 更新内容:改进了meteva.base.read_stadata_from_sevp,调用方法不变。</li> </ol> <h3>版本:1.6.9.1</h3> <h4>更新日期:2022年7月27日</h4> <h5>更新内容:</h5> <ol> <li>修复了MODE方法中观测或预报目标是为0时的运行bug </li> <li>更改了MODE方法中不同模块中参数缺省值,使各模块默认参数统一</li> <li>修复了SAL算法中函数名变更导致的bug</li> <li>优化绘图功能 4.1 更新原因:在包含多个子图的绘图函数中,默认标题是置于图形正上方,但在论文中通常要求在左上角标注(a)(b)等序号信息,为此增加了参数使得标题位置可以置于画图框内部 4.2 更新内容:在meb.scatter_sta函数中增加title_in_ax参数,该参数设置为True时,标题内容会显示在画图框左上角。</li> </ol> <h3>版本:1.6.9</h3> <h4>更新日期:2022年7月18日</h4> <h5>更新内容:</h5> <ol> <li>风向检验模块中增加了定量的风向检验 1.1 更新原因:现有的风向检验是先讲一般的风向转换成8个方位角后再检验的,这实际会损失检验精度,可以考虑参考连续型变量对风向进行更定量的检验。 1.2 更新内容:在meteva.method模块中增加了me_angle、mae_angle、rmse_angle函数。</li> <li>完善了选取和分组功能: 2.1 更新原因:在分钟级预报中应用需要 2.2 更新内容:sele_by_para中增加了按分钟数选取数据,sele_by_dict函数中增加了按任意列的取值或取值范围来选取数据的功能,增加了按旬对数据分类的功能</li> <li>优化绘图功能 3.1 更新原因:在绘图增加强调效果 3.2 更新内容:meb.mesh函数中增加了参数 rect 和rect_color参数</li> <li>修复了MODE方法的bug 4.1 更新原因:当观测或预报中都没有目标时,程序会报错跳出。为方便对雨带角度的批量检验。 4.2 更新内容:修复bug,并在mem.mode.features_list_to_df函数的返回结果中增加了ob_angle和fo_angle列</li> <li>修复了临域函数nearNum =1 时的bug</li> <li>修复了meb.grid函数输入的时间包含秒时的bug。</li> </ol> <h3>版本:1.6.8.3</h3> <h4>更新日期:2022年6月30日</h4> <h5>更新内容:</h5> <ol> <li>修复了MODE方法中计算距离相似度的方法 1.1 更新原因:现有算法是参考R版本的MODE程序中的算法,其中计算距离相似度的时候,乘了面积的比例。实际应用发现这种方式计算的结果非常不便于理解,且在文献中未提到,因此取消了和面积比例相乘的步骤。 1.2 更新内容:在计算距离相似度时取消了和面积比例相乘的步骤,调用方法不变</li> <li>修复了sum_of_grd和mean_of_grd函数中增加了对time维度的支持的bug</li> <li>在台风报文数据读取函数 meb.read_cyclone_trace中增加了读取多列数据的功能 3.1 更新原因:台风移向移速数据通常需要同时读取 3.2 更新内容:column可以接受列表参数</li> <li>初始化站点数据时允许保留字符站号 4.1 更新原因:现有的站点数据初始化时,会默认将站号转成整数。有些场景需要保留字符型站号 4.2 更新内容:在meb.sta_data函数中增加了参数 reset_ids 参数,默认为True,当该参数设置为False时,会保留原始站号的类型。在应用检验功能时,仍建议采用默认的数字站号形式。</li> </ol> <h3>版本:1.6.8.2</h3> <h4>更新日期:2022年6月22日</h4> <h5>更新内容:</h5> <ol> <li>修复了MODE方法bug 1.1 更新原因:在1.6.6版本中增加unimatch模块过程中,对centmatch等模块造成了bug,导致部分情况下运行出错 1.2 更新内容:修复了bug</li> <li>修复了mpd.rain_sg模块中的一处bug 2.1 更新原因:mpd.rain_sg在多时效检验对比图中,部分子图中没有显示站点观测 2.2 更正内容:修复了bug</li> <li>在sum_of_grd,mean_of_grd模块中used_coods参数增加了对时间维度选项的支持</li> </ol> <h3>版本:1.6.8.1</h3> <h4>更新日期:2022年6月15日</h4> <h5>更新内容:</h5> <ol> <li>改进了对Micaps二进制格式站点数据的支持 1.1 更新原因:一部分Micaps二进制格式的站点数据的站号改成了字符型,前期版本读取此类数据时会运行失败 1.2 更新内容:更新了meb.read_stadata_from_gds,meb.read_stadata_from_gdsfile,用法不变</li> <li>更正了FSS函数中的参数 2.1 更新原因:FSS模块中的两个函数fbs_pobfo 和fss 的参数masker的名称不一致 2.2 更正内容:名称都统一成masker</li> <li>在MODE检验模块中增加了对空报和漏报目标的属性检验 3.1 更正原因:现有模块只有对空报数和漏报数的统计,若需进一步分析空报和漏报的目标属性统计特征,则无法开展 3.2 更新内容:增加了函数features_list_to_df_c</li> </ol> <h3>版本:1.6.7</h3> <h4>更新日期:2022年6月14日</h4> <h5>更新内容:</h5> <ol> <li>增加了台风路径和强度偏差检验模块 1.1 更新原因:为方便开展相关检验。 1.2 更新内容:<a href="https://www.showdoc.com.cn/meteva/8973104421931323">台风路径和强度检验模块</a></li> </ol> <h3>版本:1.6.6</h3> <h4>更新日期:2022年6月11日</h4> <h5>更新内容:</h5> <ol> <li>改进了MODE检验方法 1.1 更新原因:在使用MODE方法时,相同的观测场和不同模式的预报匹配时,得到的观测目标并不一致,这使得不同模式模式的目标属性偏差缺乏严格的可对比性。 1.2 更新内容:<a href="https://www.showdoc.com.cn/meteva/8959865858527603">增加改进版本的MODE方法</a></li> <li>修复了数据合并模块的一处bug 2.1 更新原因:在观测和多个模式合并匹配,且how_fo = &quot;outer&quot;时,若不同模式的时效不同可能导致合并结果中lon和lat部分缺失 2.2 修改内容:修复该bug</li> </ol> <h3>版本:1.6.5</h3> <h4>更新日期:2022年5月29日</h4> <h5>更新内容:</h5> <ol> <li>优化了绘制多个子图多个图层的模块 1.1 更新原因:要素预报的检验时常需要结合形势场进行结合分析,为了更方便将站点、格点场、风场等不同要素绘制在同一张图上进行对比,对多图层绘图模块进行了优化 1.2 更新内容:<a href="https://www.showdoc.com.cn/meteva/8908233401384343">多图层绘制</a></li> <li>修复了数据收集模块的一处bug 2.1 更新原因:在1.6.4版本中 get_gds_all_dir 删除了参数ip 和port,但download_from_gds模块未做相应更改 2.2 修改内容:修复该bug</li> </ol> <h3>版本:1.6.4</h3> <h4>更新日期:2022年5月20日</h4> <h5>更新内容:</h5> <ol> <li>改进了数据匹配合并和数值型检验评分模块。 1.1 更新原因:在多模式(方法)预报对比时,不同的预报的时效范围不一样,例如ECMWF模式覆盖到240小时,而CMA-MESO-3KM覆盖到72小时,有时需要将它们绘制在同一张检验图上进行对比检验。<br /> 1.2 更新内容:在meb.combine_on_obtime_id 函数中增加了参数how_fo,以支持不同时空范围的预报在匹配时能保留时空坐标的并集,在mpd.score函数中自动识别数据集中的缺省值,并根据缺省情况统计检验指标,做到不同模式可对比的部分具有严格对比性,不可对比的部分各自算各的。在meb.plot 和meb.bar 函数中增加了对检验结果中包含大量缺省值时的自动处理功能。</li> <li>增加了降水过程诊断功能 2.1 更新原因:为了对降水开展精细化检验提供基础 2.2 更新内容:在基础函数库-数据转换模块下增加了特征时间子模块 mem.fun.timing,其中增加了诊断降水过程起始时间、结束时间、过程时长、过程峰值时间、过程峰值降水量等函数功能 </li> <li>增加了降水量、降水频次和降水强度相关的统计分析功能 3.1 更新原因:为了对降水开展精细化检验 3.2 更新内容:在检验算法-连续型预报检验模块下增加了 mem.ob_fo_precipitation_strenght,mem.accumulation_change_with_strenght,mem.frequency_change_with_strenght,mem.accumulation_strenght_table,mem.frequency_strenght_table,用来统计观测预报的平均降水强度、降水量和频次随强度变化的图形和表格产品。</li> <li>改进了MODE检验算法 4.1 更新原因:现有算法识别的降水目标编号没有规律,不利于批量挑选主要过程进行分析,另外不便于对低能见度等目标进行检验 4.2 更新内容:目标编号自动按面积排序,编号为1的目标为最大降水目标;增加了参数compare,用于识别低于阈值的区域目标。</li> <li>增加了日变化分析功能 5.1 更新原因:针对日变化相关的特征量或特征时间的检验有助于理解预报偏差的特点和成因 5.2 更新内容:在检验产品-功能层下面增加了日变化模块,集成了mpd.diunal_max_hour 和mpd.diunal_max_hour_id 两个函数,可用于对观测预报的日变化曲线峰值时间进行对比和检验</li> <li>修复了相对湿度计算函数meb.t_dtp_to_rh的一处bug</li> <li>修复了meb.in_dtime_list一处bug</li> <li>扩展了mem.mean_of_grd 函数支持对网格数据时效维度求平均</li> <li>简化了print_grib_file_info函数,不再需要输入参数</li> <li>为了绘制日变化特征时间的空间分布图,增加了配色方案 &quot;hour&quot;</li> <li>删除了meb.get_latest_gds_path 函数中的多余参数ip,port</li> <li>更正了检验算法模块中一类报错信息</li> <li>简化了检验产品-功能层-数值型检验指标空间分布和时间时效变化图中多个子图场景下的子图标题</li> </ol> <h5>可能导致的问题:</h5> <p> 该版本mpd.download_from_gds模块运行bug </p> <h3>版本:1.6.3</h3> <h4>更新日期:2022年3月2日</h4> <h5>更新内容:</h5> <ol> <li>减少了对open-cv等库的依赖,直接和间接依赖库由70多个减少到20多个。 1.1 更新原因:随着meteva的功能丰富,涉及到的依赖库逐渐增多,造成了安装越来越困难,特别是open-cv和skimage库导致的安装失败比例很大。<br /> 1.2 更新内容:通过重写底层算法实现了对open-cv, skimage,sklearn,seaborn, statsmodels相关功能的替换,函数参和用法不变</li> </ol> <h3>版本:1.6.2.2</h3> <h4>更新日期:2021年11月26日</h4> <h5>更新内容:</h5> <ol> <li>修复了设置站点时间列时的一处bug 1.1 更新原因:在使用meb.set_stadata_coords函数设置时间时,如果站点数据只有一行,可能导致设置后时间列数据类型位object的情况,进一步有可能导致数据匹配合并失败。<br /> 1.2 更新内容:更新了meb.set_stadata_coords函数,函数参和用法不变</li> </ol> <h3>版本:1.6.2.1</h3> <h4>更新日期:2021年11月23日</h4> <h5>更新内容:</h5> <ol> <li>修复了1.6.2版本添加fss模块时导致的bug 1.1 更新原因:在更新fss模块时mpd.score函数模块未做相应变更<br /> 1.2 更新内容:更新了mpd.score函数,函数参和用法不变</li> <li>修复了温度预报空间对比模块中绘图错误 2.1 更新原因:更新前,温度预报空间对比模块输出结果中预报和误差图经纬度范围不对。 2.2 更新内容:更新了mpd.temper_comprehensive_ss函数,参数和用法不变。</li> </ol> <h5>可能导致的问题:</h5> <p> 该版本暂未在测试中发现其它问题,更新后注意关注对已有应用的可能影响,及时反馈。</p> <h3>版本:1.6.2</h3> <h4>更新日期:2021年11月21日</h4> <h5>更新内容:</h5> <ol> <li>增加了空间检验方法FSS 1.1 更新原因:完善空间检验功能<br /> 1.2 更新内容:在method模块下增加了<a href="https://www.showdoc.com.cn/meteva/8023545421481661">fss和fbs_pobfo函数</a></li> <li>在yes_or_no检验算法模块中,将参数compair 更改成compare 2.1 更新原因:原参数英文拼写错误,更改后compare表示比较的意思。 2.2 更新内容:所有函数原先的参数仍能够使用,但是会弹出警告信息,建议在已有代码中将参数名称更改为compare</li> </ol> <h5>可能导致的问题:</h5> <p> &lt;font face=&quot;黑体&quot; color=red size=3&gt;该版本在使用mpd.score函数时存在模块引用错误,导致程序失败退出的情况&lt;/font&gt;</p> <h3>版本:1.6.1.2</h3> <h4>更新日期:2021年11月20日</h4> <h5>更新内容:</h5> <ol> <li>修复了单点预报误差和稳定性检验的一处bug<br /> 1.1 更新原因:函数mpd.time_list_line_error在输入数据只有包含一个起报时间时,会是程序故障退出。<br /> 1.2 更新内容:增加了判断,是程序能打印错误提示 </li> <li>优化了数值型检验指标随时间和时效变化图 2.1 更新原因:在mpd.score_tdt输出的图片中,部分存在纵坐标重叠的问题,且数据包含的起报时间较少时,可能出现故障退出, 2.2 更新内容:增加了纵坐标自动稀疏功能,修复了故障退出的bug</li> <li>更正了mode方法的几处错误 3.1 更新原因:修改前mode方法在interest矩阵计算和目标数空报漏报计算上存在错误。 3.2 更新内容:修复了上述错误,函数用法和参数不变</li> <li>修复了读取micaps3文件的一处bug 4.1 更新原因:在1.6.1.1版本对meb.read_stadata_from_micaps3修复不彻底,导致部分情况仍有bug 4.2 更新内容:修复了read_stadata_from_micaps3的bug</li> <li>更正了根据格点u、v计算风向风速函数的错误。 5.1 更新原因:在mem.u_v_to_speed_angle函数输入数据是网格数据是,计算结果错误 5.2 更新内容:更正了上述错误</li> <li>更新了自带的colorbar 6.1 更新原因:现有bias的colorbar在大于1的部分颜色区分度不够,关于me的colorbar对误差正负突出明显,但对误差幅度突出不够明显,另外没有针对mae的colorbar。 6.2 更新内容:优化了bias的colorbar,使得它在大于1的部分又更多颜色区分;为me增加了两者方案,它们在0附近取值接近白色,从而突出更大的误差,其中一种是蓝白红色调,另一种包含更多颜色。另外增加了针对mae的colorbar。使用参数cmap = &quot;bias&quot;,&quot;me_bwr&quot;,&quot;me_w0&quot;或&quot;mae&quot;,可以使用上述更新的颜色方案。</li> </ol> <h5>可能导致的问题:</h5> <p>1.6版本暂未在测试中发现其它问题,改进点较多,更新后注意关注对已有应用的可能影响,及时反馈。</p> <h3>版本:1.6.1.1</h3> <h4>更新日期:2021年11月7日</h4> <h5>更新内容:</h5> <ol> <li>修复了meb.read_stadata_from_micaps3函数中的bug<br /> 1.1 更新原因:在1.6 和 1.6.1版本中对read_stadata_from_micaps3函数中,修复了之前一次bug,但导致了一个新bug: 该函数time参数不再能接受字符型时间输入,如果原先代码输入的是字符型时间由此可能导致后续流程数据匹配合并失败。<br /> 1.2 更新内容:修复了read_stadata_from_micaps3的上述bug </li> </ol> <h5>可能导致的问题:</h5> <p>读取micaps3文件bug未完全修复,mem.u_v_to_speed_angle函数计算结果错</p> <h3>版本:1.6.1</h3> <h4>更新日期:2021年11月7日</h4> <h5>更新内容:</h5> <ol> <li>在全局变量中增加了关于台风数据列名称的类和字典<br /> 1.1 更新原因:方便用户读取时台风路径数据文件中的其它列时明确列号 1.2 更新内容:增加了<a href="https://www.showdoc.com.cn/meteva/3975601025884078">meb.m7_element_column 和meb.m7_element_column_dict</a> 模块</li> <li>求变化量的change函数增加对网格数据time维度的支持 2.1 更新原因:完善该函数,使该函数对站点和网格数据的支持一致,便于使用 2.2 更新内容:更新了<a href="https://www.showdoc.com.cn/meteva/3975603635161706">meb.change函数</a></li> <li>完善数据选取模块 3.1 更新原因:在基于某些观测过程(如台风过程)进行预报观测数据选取时,现有选取参数仍不够便利,为此增加在sele_by_para函数中增加了ob_stadata参数。 3.2 更新内容:更新了<a href="https://www.showdoc.com.cn/meteva/3975604785954540">meb.sele_by_para</a>,该参数的具体应用可见https://www.showdoc.com.cn/meteva/5225208840187883 中关于选取台风过程期间样本的示例。另外<a href="https://www.showdoc.com.cn/meteva/3975604785954540">meb.between_time_range</a>函数增加了对格点数据的支持。</li> <li>变更了函数名称contours_to_sta 4.1 更新原因:为了让函数名称和transformating模块下其他函数规范一致,方便用户查找。 4.2 更新内容:函数名称contours_to_sta变更为<a href="https://www.showdoc.com.cn/meteva/3975605485567652">trans_contours_to_sta</a>,(考虑到contours_to_sta函数刚发布不久,因此未做兼容)</li> <li>变更了县界地图 5.1 更新原因:更新前部分省份的县界有误 5.2 更新内容:更新了resource下的shp文件,相关函数和参数用法不变。</li> <li>增加了基于空报率和漏报率绘制二分类预报综合检验图的功能 6.1 更新原因:部分场景下,已有计算好的检验指标可用于直接绘图,增加该功能更方便应用,也比根据原始数据检验绘图更有效率。 6.2 更新内容:增加了<a href="https://www.showdoc.com.cn/meteva/3975611083082125">mem.performance_mr_far</a>函数</li> <li>更新了误差综合分析图(绝对值)模块中的准确率 7.1 更新原因:和误差综合分析图图保持一致,将准确率由实线改为虚线。 7.2 更新内容:更新了<a href="https://www.showdoc.com.cn/meteva/4076753120485080">mpd.error_boxplot_abs</a>函数,函数参数和用法不变</li> </ol> <h5>可能导致的问题:</h5> <p>      在该版本中对read_stadata_from_micaps3函数中,修复了之前一次bug,但导致了一个新bug: 该函数time参数不再能接受字符型时间输入,如果原先代码输入的是字符型时间由此可能导致后续流程数据匹配合并失败。</p> <h3>版本:1.6</h3> <h4>更新日期:2021年11月3日</h4> <h5>更新内容:</h5> <ol> <li>兼容了高版本xarray 1.1 更新原因:xarray版本升级后,meteva中网格数据处理模块语法和高版本xarray不兼容可导致故障退出。 1.2 更新内容:更新了mem.xarray_to_griddata函数。</li> <li>增加了定义全局绘图颜色和绘制bar、line图时自定义颜色的相关功能; 2.1 更新原因:在检验系统研发中,可能要求在不同的检验图片中相同的模式预报保持相同的颜色 2.2 具体内容:在meb.plot,meb.bar 函数中增加了color_list 参数,在meb.basicdata.const模块下增加了plot_color_dict,在meb.tool.color_tools模块下增加了set_plot_color_dict_method1,set_plot_color_dict_method1,get_seprated_rgb_method1,get_seprated_rgb_method2功能。</li> <li>改进了基于ctl文件读取二进制数据的功能 3.1 更新原因:更新前不能解析包含集合维度和垂直维度的数据,不能正确解析包含多个变量的情况。 3.2 具体内容:meb.read_griddata_from_ctl函数,参数和用法不变</li> <li>改进了读grib数据的功能 4.1 更新原因:当grib文件包含多种stepType时,更新前无法读取。 4.2 具体内容:在meb.read_grid_data_from_grib函数中增加了filter_by_keys参数。</li> <li>改进了对网格间距虚假精度的判断算法. 5.1 更新原因:由于pthon的精度问题,dlon = 0.05 可能被处理成dlon = 0.04999999,为此改进前对网格起始经纬度和间距取了5位有效位数,但在dlon = 0.033333333的情况下会被处理成 0.03333,损失了实际的精度,改进后的算法能够更准确的区分虚假的精度和实际的精度。 5.2 具体内容:meb.grib 函数,参数和用法不变。</li> <li>增加了网格数据的合并、选取和一些统计功能 6.1 更新原因:现有的检验功能主要针对插值后的站点数据,为增加基于网格实况的检验功能,逐渐将数据合并和选取等功能扩展到网格数据。 6.2 具体内容:新增了meb.combine_griddata函数,现有的meb.concat,meb.get_inner_grid,meb.get_out_grid,meb.change,meb.sum_of_grd,meb.in_time_list,meb.in_dtime_list,meb.between_dtime_range,meb.move_fo_time函数也增加了对数据类型和参数选项的支持;</li> <li>改正了窗口滑动平均函数的函数名 7.1 更新原因:meb.moving_avarage函数英文名错误,影响用户查询该函数 7.2 更新内容:更改为 meb.moving_ave,原函数仍然有效</li> <li>增加了从匹配好的预报观测数据集中提取观测数据的快捷功能 8.1 更新原因:在利用在匹配好的数据集进行检验时,有时需要对观测数据进行统计观测数据进行统计分析,但此时数据集中观测数据的时效列已经不为0,为此需要将观测数据时效重置为0,并去重。 8.2 更新内容:新增meb.get_ob_from_combined_data函数。</li> <li>修复了分组功能的两处bug 9.1 更新原因: 改进前,在某列名称为整数时,基于该列的数据值做分组,会故障退出;在使用按time_dtime二维分组时,个别情况下会故障退出。 9.2 更新内容: meb.group 函数,参数和用法不变。</li> <li>修复了站点数据相加功能的一处bug 10.1 更新原因:改进前,当参与相加的站点数据不为None,但行数为0时,会故障退出。 10.2 更新内容: mem.add_on_level_time_dtime_id函数,参数和用法不变。</li> <li>改进了插值算法 11.1 更新原因:改进前将插值算法用于全球范围插值时,未能考虑网格东西向首尾一致性,也不能很好的自动兼容0——360 和-180——180两种经度值定义方式。 11.2 更新内容:增加了reset_global_griddata,将全局网格展成平面时自动增加一列,使得首尾一致,reset_lon_range函数将站点和网格数据的经度值定义方式统一。更新后,meb.interp_gs_linear 函数具有全球插值功能,参数和使用方法不变。其他插值函数暂无调整。</li> <li>增加台风过程期间要素预报检验相关功能: 12.1 更新原因:在台风过程检验中,要检验和台风直接关系的大风和降水预报时,需根据台风的轨迹挑选不同时刻的临近站点,从而获得台风直接影响范围内的预报和观测样本。 12.2 更新内容:增加了读取台风路径的函数meb.read_cyclone_trace; 增加了meb.get_stations_near_by_cyclone_trace函数,另外增加了搜索每个站点附近临近站点站号的功能函数mem.ids_list_list_in_r_of_sta。</li> <li>改进了将矩阵数据输出到excel表格的功能 13.1 更新原因: 改进前个别情况下输出的表格样式有误 13.2 更新内容: meb.write_array_to_excel函数, 参数和用法不变。</li> <li>增加了闭合等值线预报产品检验功能功能: 14.1 更新原因:为了对预报员主观绘制的等值线预报进行定量检验,需将等值线转成站点值 14.2 更新内容:新增了meb.contours_to_sta函数,增加了判断点是否在多边形内部的功能函数meb.tool_math_tools.isPoiWithinPoly,另外增加了mpd.rain_comprehensive_sl函数用于将任意范围的站点实况和等值线预报进行平面对比。</li> <li>区分了山西和陕西的拼音 15.1 更新原因:改进前,在使用平面图绘制功能的clip参数时,未能区分陕西和山西的拼音。 15.2 更新内容:meb.shp2clip_by_region_name函数,参数和用法不变。</li> <li>改进了数据路径获取功能 16.1 更新原因:改进前meb.get_path 函数在输入路径模板参数dir = None时会引起程序退出;另外在获取分布式服务器(gds)一个目录下所有文件时仅能获取文件名,需要拼接才能获得完整路径,不够便利 16.2 更新内容:更新了meb.get_path函数,参数用法不变; 增加了meb.tool.path_tools.get_gds_path_list_in_one_dir函数。</li> <li>改进了meb.plot 和meb.bar函数的legend布局 17.1 更新原因:改进前在绘制三维数据时自动生成legend函数部分情况下位置不合理 17.2 更新内容:改进了自动布局legend的算法,并且在上述函数种增加了legnd_col参数,用于控制legend的列数。</li> <li>增加在平面图中便捷的绘制多个图层的功能<br /> 18.1 更新原因:为了增加空间对比功能,需要将更多不同类型的要素叠加在一起显示 18.2 改进内容:增加了meb.tool.plot_tools_adv模块</li> <li>修复了字符串转时间函数的一处bug 19.1 更新原因:改进前当字符串包含秒数时不能正确转换 19.2 更新内容:meb.tool.time_tools.str_to_time64 函数,参数和用法不变。</li> <li>增加了统计观测数据百分位值的功能 20.1 更新原因:有些检验分析需求中,需要统计观测数据的百分位值 20.2 更新内容:增加了 mem.ob_quantile函数</li> <li>更新了集合预报等级柱状图默认标题 21.1 更新原因:更新前等级柱状图的默认标题是&quot;排序柱状图&quot;,和参考文献的中文翻译不一致,更改以便统一。 21.2 更新内容:mem.rank_histogram函数,参数和用法不变。</li> <li>增加了统计集合预报误差和内方差的功能 22.1 更新原因:在检验集合预报性能时,需要对比集合预报各成员和观测的误差幅度同各成员之间误差幅度,以判断集合是否发散过度(或不足) 22.2 更新内容:增加了相关功能函数mem.variance_mse,mem.variance_divide_by_mse,mem.std_rmse</li> <li>改进了概率预报图形检验产品 23.1 更新原因:改进前可靠性图和roc图的横坐标命名不够符合惯例,另外部分情景中需要用到图中的统计值,需要将结果输出 23.2 更新内容:更新了mem.reliability,mem.reliability_hnh,mem.roc,mem.roc_hfmc,mem.roc_hnh函数,参数用法不变,但增加了返回值。更新了mem.comprehensive,mem.comprehensive_hnh函数,参数和用法不变。</li> <li>改正了mode方法的一处bug 24.1 更新原因:在统计某个目标降水分位数的函数功能中语句错误,返回的是所有目标的降水分位数 24.2 更新内容:更新了mem.mode.feature_props函数,参数和用法不变。 25.在风向风速准确率计算函数中增加了unit 参数 25.1 更新原因:在绘制风向风速准确率随时间和时效变化图时,将图中填写的数字0.22转成22更节省画面,避免数字重叠,通过unit=&quot;%&quot;指定返回百分比来实现该优化。 25.2 更新内容:在mem.acd_nasd,mem.acd,mem.acd_uv,mem.acs_naws,mem.acs,mem.acs_uv等函数中增加了unit参数</li> <li>改进了二分类检验指标计算模块 26.1 更新原因:改进前基于中间结果计算检验指标时,默认中间结果矩阵hfmc是2维的,当输入的矩阵是1维的会报错退出,不便于用户使用。 26.2 更新内容:更新了meteva.method.yes_or_no.score 模块下pc_hfmc,sr_hfmc,far_hfmc,pofd_hfmc,mr_hfmc,bias_hfmc,ts_hfmc,ets_hfmc,hss_yesorno_hfmc函数。</li> <li>更新了相对技巧技术函数: 27.1 更新原因:将技巧技术函数调整为和预报竞赛方案严格一致 27.2 更新内容:更新了mem.sts,mem.sbi,mem.sfa,mem.spo函数</li> <li>改进了数据收集功能 28.1 更新原因:改进前的数据预处理模块需要为每个观测和预报数据设置hdf_dir,不够便利。 28.2 更新内容:更新了mpd.data_prepare函数,输入的参数para不再要求为每个数据设置hdf_dir参数,更新后输入旧的para参数格式运行效果不变,不影响已有检验程序运行。</li> <li>增加了获取数据集时间范围的功能 29.1 更新原因:有些场景中需要获取数据集的预报起报时间范围,或观测时间起止范围 29.2 更新内容:增加了mpd.get_time_range_str,mpd.get_ob_time_range_str函数</li> <li>改进了误差序列分析图 30.1 更新原因:改进前误差序列分析模块的误差综合分析图中的上下子图有2条红色实线,不利于在文档中加以分别说明。 30.2 更新内容:将mpd.error_boxplot输出图形的下半部分子图的红色实线改为了虚线,函数参数和用法不变。</li> <li>改进了自动生成纵坐标的功能 31.1 更新原因:改进前生成的纵坐标可能存在数字重叠情况 31.2 更新内容:在mpd.get_y_ticks函数中增加了fontsize参数来控制纵坐标字体大小。</li> <li>改进了显示数据样本随时间——时效变化的函数 32.1 更新原因:改进前生成的样本随时间时效变化图中横坐标稀释后,有时难以判断具体的横坐标值 32.2 更新内容:在mpd.sample_tdt函数中为生成的图形产品的x坐标增加了小刻度,函数参数和用法不变。</li> <li>增加了降水空间对比图的功能 33.1 更新原因:在降水过程检验中,有时需要将多种预报的多个时效预报场以子图形式绘制在一起和观测对比。 33.2 更新内容:在mpd.rain_sg 函数增加了相应功能,输入的参数grd_fo可以包括多个模式多个时效的场。</li> <li>更新了风速和24小时降水量的colormap 34.1 更新原因:跟现有规范性文件保持一致 34.2 更新内容:更新了resouce中color_rain_24h.txt和color_wind_speed.txt。在应用中选择cmap = &quot;rain_24h&quot;绘图,相关效果会更新,但用法不变。</li> <li>增加了一种空间检验算法——刚体变换 35.1 更新原因:按计划逐步完善空间检验算法集 35.2 更新内容:在mem.space下增加了rigider模块,用户需使用到的函数是mem.space.rigider模块下的<a href="https://www.showdoc.com.cn/694089231580629/7913901305524720">rigid_simple,rigid_optimal以及plot_value函数</a>。</li> </ol> <h5>可能导致的问题:</h5> <p>      在该版本中对read_stadata_from_micaps3函数中,修复了之前一次bug,但导致了一个新bug: 该函数time参数不再能接受字符型时间输入,如果原先代码输入的是字符型时间由此可能导致后续流程数据匹配合并失败。</p> <h3>版本:1.5.9.4</h3> <h4>更新日期:2021年7月7日</h4> <h5>更新内容:</h5> <ol> <li>改正了sal模块距离单位错误导致的计算结果错误</li> <li>修复变化图函数在特别软件环境下运行报错的bug</li> <li>修复了mpd.score在返回结果的size等于1情况下的返回结果形式问题,它可影响到个别情况下mpd.score_tdt函数的运行</li> <li>改进了mpd.sampe_tdt函数模块的参数</li> </ol> <h5>更新目的:</h5> <p>   bug修复 </p> <h3>版本:1.5.9.3</h3> <h4>更新日期:2021年6月28日</h4> <h5>更新内容:</h5> <ol> <li>修复了部分系统中cmadass模块导入失败的问题</li> <li>改进了自定义colorbar的功能</li> <li>修复了score_tdt函数的一处bug</li> <li>修复了MODE算法中minboundmatch模块的一处bug</li> </ol> <h3>版本:1.5.9.2</h3> <h4>更新日期:2021年6月17日</h4> <h5>更新内容:</h5> <ol> <li>在Fscore计算功能中增加了对实况预报都没有正样本的情况的兼容</li> </ol> <h5>更新目的:</h5> <p>   完善检验指标 </p> <h3>版本:1.5.9.1</h3> <h4>更新日期:2021年6月17日</h4> <h5>更新内容:</h5> <ol> <li>增加了环境气象业务标准的colorbar</li> <li>增加了1种二分类检验指标Fscore</li> <li>修复了MODE空间检验方法在强度统计功能中的bug</li> </ol> <h5>更新目的:</h5> <p>   完善检验指标体系,bug 修复 </p> <h3>版本:1.5.9</h3> <h4>更新日期:2021年6月2日</h4> <h5>更新内容:</h5> <ol> <li>增加了micaps14类数据文件读取功能</li> <li>增加了主观落区预报和实况对比检验的功能</li> <li>增加了3种连续型变量检验指标 ob_fo_sum,corr_rank,rmsf</li> <li>增加了1种集合预报检验指标 crps</li> <li>增加了1种多分类预报检验指标seeps</li> <li>增加了3种二分类预报检验指标ob_fo_hc,odds_ratio,orrs</li> <li>为meb.contourf_2d_grid 增加了白化功能</li> <li>为错误率检验函数增加了unit参数</li> <li>改进了选取参数ob_time参数对字符型时间的支持</li> <li>改进了uv风数据收集模块</li> <li>改进了mpd.score中单点风检验模块</li> <li>改进了分组参数为dayofyear时的横坐标</li> <li>改进了样本数时空分布图统计功能</li> <li>修复了计算精度问题导致的网格生成错误</li> <li>修复了分钟级时间间隔的数据的实际处理错误</li> <li>修复了mode模块plot_label,plot_values部分情况下不输出图片的问题</li> </ol> <h5>更新目的:</h5> <p>   完善检验指标体系,优化图形效果,bug 修复 </p> <h3>版本:1.5.8</h3> <h4>更新日期:2021年5月14日</h4> <h5>更新内容:</h5> <ol> <li>增加了温度检验地形高度订正功能(温度递减率仅设置为常数0.6℃/100m,暂未能考虑动态递减率,且仅支持5km分辨率等经纬度网格情况)</li> <li>增加了对纬度非等间距的经纬度网格数据的读取支持(注意,读取后会自动转成等间距网格数据)</li> <li>增加了对网格数据求水平滑动窗口的最大值、最小值和方差的功能</li> <li>数据选取参数drop_IV = True时可以同时删除nan值</li> <li>改进了从云平台读取数据的功能,可读取字符型数据,同时降低了读取失败的比例</li> <li>增加了将站点数据输出成json格式文件的功能</li> <li>增加了将站点数据以及mpd.score_id的结果推送到micaps软件上显示的功能(该功能需要特定版本的micaps软件以及Mpython包的支持)</li> <li>优化了mpd.score函数自动设置的横坐标</li> <li>修复了meb.cmaps.me 这种colorbar生成函数的一处bug</li> <li>修复了member名称为整数情况下存在的bug</li> <li>修复了xarray转grid_data中的一处bug,该bug可能导致部分grib文件读取失败</li> <li>mpd.error_boxplot模块支持了更多对图形样式控制的参数</li> <li>修复了mpd.time_list_mesh函数输出的图片出现文字重叠的问题</li> </ol> <h5>更新目的:</h5> <p>   为改进基于站点观测的网格温度预报检验增加了初步的地形高度订正功能;优化图形效果,完善IO,bug修复</p> <h3>版本:1.5.7.1</h3> <h4>更新日期:2021年4月28日</h4> <h5>更新内容:</h5> <ol> <li>修复了从cimiss读取站点数据模块中lon,lat列数据反了以及数据类型的错误</li> <li>改进了从netcdf格式文件读取的功能,兼容了文件中同时包含地面和高空数据,且坐标不同的情况,同时兼容了纬度坐标值不是等间距的情况,程序会自动将其转换成等间距网格,以方便后续操作。</li> </ol> <h5>更新目的:</h5> <p>   完善IO,bug修复</p> <h3>版本:1.5.7</h3> <h4>更新日期:2021年4月22日</h4> <h5>更新内容:</h5> <ol> <li>增加了基于ctl文件读取grads二进制格点数据的功能</li> <li>修复了误差空间分布模块中重复绘图的bug</li> <li>改进了散点绘图的默认尺寸</li> </ol> <h5>更新目的:</h5> <p>   完善IO,bug修复</p> <h3>版本:1.5.6</h3> <h4>更新日期:2021年4月19日</h4> <h5>更新内容:</h5> <ol> <li>在空间检验算法中增加了VGM(变差图)算法</li> </ol> <h5>更新目的:</h5> <p>   完善常用空间检验算法</p> <h3>版本:1.5.5</h3> <h4>更新日期:2021年4月17日</h4> <h5>更新内容:</h5> <ol> <li>在空间检验算法中增加了SAL(结构强度和尺度)算法</li> </ol> <h5>更新目的:</h5> <p>   完善常用空间检验算法</p> <h3>版本:1.5.4.2</h3> <h4>更新日期:2021年4月15日</h4> <h5>更新内容:</h5> <ol> <li>修复了MODE算法中一处数据类型兼容性bug</li> </ol> <h5>更新目的:</h5> <p>   使更新后的程序能用于在经站点插值所得到的网格数据中</p> <h3>版本:1.5.4.1</h3> <h4>更新日期:2021年4月13日</h4> <h5>更新内容:</h5> <ol> <li>修正了降水空间对比图中百分比数值显示错误</li> </ol> <h3>版本:1.5.4</h3> <h4>更新日期:2021年4月12日</h4> <h5>更新内容:</h5> <ol> <li>数据的选取和分组模块增加了按照某一列数据的取值进行选取和分组的功能</li> <li>简易绘图函数增加了xlabel参数</li> </ol> <h5>更新目的:</h5> <p>   为了便于基于要素值的大小进行分类检验并绘图 </p> <h3>版本:1.5.3</h3> <h4>更新日期:2021年4月11日</h4> <h5>更新内容:</h5> <ol> <li>增加了温度预报观测空间分布对比功能</li> <li>改进了温度预报观测空间分布对比模块的误差colorbar</li> </ol> <h5>更新目的:</h5> <p>   增加基于站点输入数据的温度空间分布检验,改进的colorbar可以更好的区分温度偏差的正负号。 </p> <h3>版本:1.5.2</h3> <h4>更新日期:2021年4月11日</h4> <h5>更新内容:</h5> <ol> <li>增加了frequency_histogram_error模块,可以绘制误差的频率分布</li> <li>修复了box_plot_continue中的bug</li> <li>改进了降水空间分布对比模块中评分等级的文字描述</li> <li>改进了数据合并函数的兼容性</li> </ol> <h5>更新目的:</h5> <p>   增加误差分析功能,bug修复 </p> <h3>版本:1.5.1.1</h3> <h4>更新日期:2021年4月4日</h4> <h5>更新内容:</h5> <ol> <li>修复了多分类预报检验performance_multi,performance_grade函数中的bug</li> <li>扩展了对micaps4格式文本文件兼容性,容忍了文件中包含逗号的情况</li> </ol> <h5>更新目的:</h5> <p>   bug修复</p> <h3>版本:1.5.1</h3> <h4>更新日期:2021年4月4日</h4> <h5>更新内容:</h5> <ol> <li>增加了雷达拼图——v3版本格式(micaps分布式数据库中最新更新的数据格式)数据读取功能 </li> <li>扩展了降水空间对比检验的功能,增加了自定义grade_list的能力 </li> <li>在矩阵数据绘图功能中增加了sup_tilte参数,在mpd.score函数中也同时具备了该参数 </li> <li>在散点回归图中增加显示了相关系数</li> </ol> <h5>更新目的:</h5> <p>   为了方便接入最新的雷达拼图数据,针对3小时、6小时等不同累计时段降水的空间分布检验,可以通过自定义grade_list的方式实现;增加sup_tilte参数方便批量绘图时区分图形对象;增加相关系数默认显示为方便多模式定量对比。</p> <h3>版本:1.5.0.2</h3> <h4>更新日期:2021年3月30日</h4> <h5>更新内容:</h5> <ol> <li>在基于时间和时效为坐标的热力图中增加了自定义clevs功能</li> <li>优化了误差时间序列分析图中准确率的纵坐标</li> <li>为平均误差设置了缺省的colorbar,使得大于0和小于0的值能够有更强的对比度</li> <li>增加了网格数据统计计算和站点属性设置函数的兼容性</li> </ol> <h5>更新目的:</h5> <p>   图形效果优化</p> <h3>版本:1.5.0.1</h3> <h4>更新日期:2021年3月22日</h4> <h5>更新内容:</h5> <ol> <li>修复了cimiss数据库读取函数的bug</li> </ol> <h5>更新目的:</h5> <p>   bug修复</p> <h3>版本:1.5</h3> <h4>更新日期:2021年3月14日</h4> <h5>更新内容:</h5> <ol> <li>在增加了空间检验方法MODE相关的函数功能组,位于检验算法层-空间检验-MODE目录下。</li> <li>修复了bias_extend_linear函数的一处bug</li> <li>修复了数据收集模块中的一处bug</li> <li>修复了单点多时效风检验模块中的bug</li> <li>将score_id的plot参数设置缺省为scatter</li> <li>优化了绘图模块中经纬度坐标单位°占全角的问题,使得图形更美观且不易重叠</li> <li>修复了输出m4格式文件的bug</li> <li>将dtime列不是整数的情况由异常跳出改成输出警告</li> </ol> <h5>更新目的:</h5> <p>   增加对空间检验的支持,bug修复</p> <h3>版本:1.4.6.4</h3> <h4>更新日期:2021年2月27日</h4> <h5>更新内容:</h5> <ol> <li>包依赖配置更新,修复了1.4.6.3版本中的问题 </li> </ol> <h5>更新目的:</h5> <p>   bug修复</p> <h3>版本:1.4.6.3</h3> <h4>更新日期:2021年2月27日</h4> <h5>更新内容:</h5> <ol> <li>在setup.py 中增加了opencv-python 配置</li> </ol> <h5>更新目的:</h5> <p>   bug修复</p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;该版本中引用了scikit-image,statsmodels中内容,但setup.py未更新,会导致包导入失败&lt;/font&gt;</p> <h3>版本:1.4.6.2</h3> <h4>更新日期:2021年2月26日</h4> <h5>更新内容:</h5> <ol> <li>修复了write_griddata_to_micaps4函数中的bug </li> </ol> <h5>更新目的:</h5> <p>   bug修复</p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;该版本中引用了opencv-python中内容,但setup.py未更新,会导致包导入失败&lt;/font&gt;</p> <h3>版本:1.4.6.1</h3> <h4>更新日期:2021年2月22日</h4> <h5>更新内容:</h5> <ol> <li>增加了从CIMISS数据中读取数据的功能,包括站点观测数据、网格数据预报和分析数据的读取 </li> </ol> <h5>更新目的:</h5> <p>   完善数据接口</p> <h3>版本:1.4.6因新增依赖包信息不完整导致错误,已被删除</h3> <h3>版本:1.4.5</h3> <h4>更新日期:2021年2月21日</h4> <h5>更新内容:</h5> <ol> <li>增加了grib数据读取功能</li> <li>增加了大数据云平台数据读取功能,包括站点观测数据、网格数据预报和分析数据的读取</li> <li>优化了xarray 转griddata函数功能</li> <li>改进了数据预处理模块,使其支持大数据云平台数据的批量读取合并</li> </ol> <h5>更新目的:</h5> <p>   完善数据接口</p> <h3>版本:1.4.4.1</h3> <h4>更新日期:2021年2月15日</h4> <h5>更新内容:</h5> <ol> <li>站点数据之间运算模块中增加了对dtime类型判断和错误提示</li> <li>在data_prepare模块中增加了对预报数据取值进行过滤的参数</li> <li>在单点多时效检验产品中增加对站点排序</li> <li>在雷暴大风模块中,将ip配置部分移入主程序内部</li> </ol> <h5>更新目的:</h5> <p>   避免其它方式生成的站点数据dtime类型不是int导致的错误;过滤预报数据中的异常值或未统一的缺省值,使得检验样本更加可靠;在单点检验是增加了站点排序,可以使得包含多个站点数据的批量检验产品制作过程中,更加方便title, save_path 同站点号对对齐;避免重复设置以及不必要的提示。</p> <h3>版本:1.4.4</h3> <h4>更新日期:2021年2月7日</h4> <h5>更新内容:</h5> <ol> <li>增加了合并后的站点风场数据转风速、风向的功能</li> <li>增加了非守恒的反距离插值算法</li> <li>增加了将格点数据输出gds字节格式文件的功能</li> <li>更正了一些不完善的错误信息提示 <h5>更新目的:</h5> <p>   为了使得风场综合检验和风速的检验在数据收集模块能够实现共用,因此增加了合并后站点数据向风速风向转换的功能。非守恒反距离插值算法则可以在网格预报制作过程中应用,它可以避免传统反距离插值带来的不连续问题。 </p></li> </ol> <h3>版本:1.4.3.4</h3> <h4>更新日期:2021年2月2日</h4> <h5>更新内容:</h5> <ol> <li>改进风预报的图形检验产品的subplot布局,避免label重叠</li> </ol> <h3>版本:1.4.3.3</h3> <h4>更新日期:2021年1月25日</h4> <h5>更新内容:</h5> <ol> <li>改进风矢量散度回归图legend</li> <li>在scatter_sta函数中使用point_size参数的bug </li> </ol> <h3>版本:1.4.3.2</h3> <h4>更新日期:2021年1月20日</h4> <h5>更新内容:</h5> <ol> <li>增加了站点数据相减函数</li> <li>修复了meb.not_IV和not_equal_to函数中的bug</li> <li>在max_of_sta和min_of_sta函数中增加了contain_start参数</li> <li>在scatter_sta函数中增加了point_size,sup_title参数</li> <li>优化了泰勒图的坐标设置</li> <li>修复了statistic_uv模块中colorbar不能正常显示的bug</li> <li>修复了温度网格预报空间对比图中的调用bug</li> </ol> <h3>版本:1.4.3.1</h3> <h4>更新日期:2021年1月18日</h4> <h5>更新内容:</h5> <ol> <li>修正了雷暴大风函数模块的函数名称</li> <li>修复了分级检验综合图功能的bug</li> <li>新增了多分类检验综合图产品</li> <li>新增了多分类预报的几项检验指标,pod_grade,pofd_grade,sr_grade,pod_multi,pofd_multi,sr_multi</li> </ol> <h3>版本:1.4.3</h3> <h4>更新日期:2021年1月15日</h4> <h5>更新内容:</h5> <ol> <li>增加了风的检验模块,包括数值型检验指标和图形检验产品。</li> <li>修正score_id不兼容subplot参数的bug</li> <li>提高了时间坐标轴生成函数的兼容性,克服了个别情况下的错误</li> <li>为me设计了一套colorbar,使正负偏差在图形中有更加强烈的色彩。并以此优化了温度预报误差的colorbar</li> <li>在max_of_sta,min_of_sta函数中增加了参数ignore_missing 使得它可对时间序列或时效序列不完整的情况也进行统计</li> <li>增加了统计时效序列最大(小)值位置(对应的时效)的功能</li> <li>增加了过程降温诊断功能。</li> <li>修复了短时强降水检验模块的阈值设置错误。</li> <li>对部分图形检验产品增加了将图形元素保存到json文件的功能,以方便和网站开发对接</li> <li>增加了以subplot形式绘制多个网格数据的功能</li> <li>更新了将结果输出到excel中的sheet表命名方式</li> <li>error_ana_scatter模块中由不返回值,修改为返回误差检验结果。</li> <li>将蒲福风力等级表进行了集成,并增加了风速和等级转化的模块</li> <li>在数据预处理模块中增加参数recover,在数据准备模块修复一处bug</li> <li>修复读取nc数据的一处bug</li> <li>优化了micaps4文件输出格式</li> <li>增加了判断分布式数据文件是否存在的功能</li> </ol> <h3>版本:1.4.2.1</h3> <h4>更新日期:2020年11月25日</h4> <h5>更新内容:</h5> <p>修复了1.4.2版本的导入错误问题。 </p> <h3>版本:1.4.2</h3> <h4>更新日期:2020年11月23日</h4> <h5>更新内容:</h5> <p>新增了风检验的各类数值型检验指标</p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;经反馈该版本有导入错误,不可用&lt;/font&gt;</p> <h3>版本:1.4.1.4</h3> <h4>更新日期:2020年11月19日</h4> <h5>更新内容:</h5> <ol> <li>修复了sum_of_sta函数的一处bug</li> </ol> <h3>版本:1.4.1.3</h3> <h4>更新日期:2020年11月8日</h4> <h5>更新内容:</h5> <ol> <li>修复了multiply_on_id函数的一处bug</li> </ol> <h3>版本:1.4.1.2</h3> <h4>更新日期:2020年11月5日</h4> <h5>更新内容:</h5> <ol> <li>改进了带底图的图形的x坐标刻度间隔</li> </ol> <h5>更新目的:</h5> <p>   克服了绘制全球地图时x坐标重叠问题。 </p> <h3>版本:1.4.1.1</h3> <h4>更新日期:2020年11月1日</h4> <h5>更新内容:</h5> <ol> <li>在检验产品层——规则层中增加了雷暴大风检验模块</li> <li>在检验算法层-增加了分级检验综合表现图 performance_grade 函数。 </li> <li>在基础函数层增加了自定义地图地图的功能</li> <li>在基础函数层增加了读取micaps41类闪电数据的相关功能</li> <li>在基础函数层增加了max_on_level_time_dtime_id,min_on_level_time_dtime_id,mutiply_on_level_time_dtime_id函数,可对两个站点数据按level,time,dtime,id四个维度坐标进行对齐后运行。 </li> <li>在基础函数层增加了将不规则时刻观测数据累计到固定时间步长的功能(例如,可用于将原始闪电观测转换成逐小时闪电观测)</li> <li>在基础函数层增加了将不规则地点观测数据累计到等距网格上的功能(例如,可用于将逐小时闪电观测转换成网格化的闪电次数)</li> <li>在检验算法层的连续型变量图形产品中增加了泰勒图产品</li> <li>在数据预处理模块增加了对预报观测数据进行预处理但不匹配合并的功能</li> <li>扩展了max_of_sta,min_of_sta函数的参数,使得其可以实现对时间和时效维度求整体最大(小)和滑动最大(小)值</li> <li>改进了ts评分缺省的colorbar,使得高ts部分显示更加突出</li> <li>调转了便捷绘图模块中mesh_time_dtime中y轴的方向,使其更接近用户浏览习惯</li> <li>修复了plot,bar 函数的一处bug,使得特殊情况下legend不至于超出边框</li> <li>改进了产品层函数获取算法层title缺省值的获取方式,从而提升了算法层函数的可扩展性</li> <li>扩展了数据初始化函数的兼容性,兼容了数据中不包含id的情况</li> <li>增加了readcsv函数的兼容性,兼容了数据文件中不包含lon,lat列的情况</li> <li>修复了便捷绘图模块contourf_2d_grid绘制时最大值附近区域偶尔未必填色的bug</li> <li>增加了便捷绘图模块scatter_sta绘制子图的功能</li> <li>检验算法层中的pdf_plot 函数增加了两组对数坐标</li> <li>扩展了数据预处理模块对风矢量数据的预处理功能</li> <li>改进了mpd.score 在绘制单个模式,多个等级的检验图形结果的效果,不再以等级作为横坐标,而是分组作为横坐标,以便更加进行分组对比</li> <li>完善了空报率技巧计算函数(针对预报观测样本都为0的情况)</li> <li>更新了matplotlib依赖包的版本,克服了部分用户用mpd.score绘制图形是legend位置异常的问题</li> </ol> <h5>更新目的:</h5> <p>   增加雷暴大风检验模块是为了促进对预报竞赛检验方案理解的一致性。 其它更新则主要包括根据用户的反馈增加了部分产品样式,以及修复现有产品中的bug,另外则是功能扩展过程中发现的现有函数的兼容性不足问题也得到了修复。 </p> <h3>版本:1.4.0.2</h3> <h4>更新日期:2020年10月6日</h4> <h5>更新内容:</h5> <ol> <li>修复了由于1.3.9版本修改导致的单站多时效对比检验图中的运行bug <h5>更新目的:</h5> <p>   bug修复</p></li> </ol> <h3>版本:1.4.0.1</h3> <h4>更新日期:2020年10月6日</h4> <h5>更新内容:</h5> <ol> <li>修复了由于1.3.9版本修改导致的mpd.plot函数,meb.sum_of_sta函数,meb.plot函数出现的不兼容bug</li> <li>将meb.mesh_time_dtime 函数的y轴对调了。</li> </ol> <h5>更新目的:</h5> <p>   bug修复; mesh_time_dtime y轴低时效在下方更符合图片阅读习惯,也方便对比和过程相关的偏差特征。 </p> <h3>版本:1.4.0</h3> <h4>更新日期:2020年10月6日</h4> <h5>更新内容:</h5> <ol> <li>在初始化站点数据时,程序会将站号统一成整数,此次改进了判断读入id数据类型的方式,提升了判断效率和判断严谨性</li> <li>提升read_stadata_from_sevp函数的读取数据的效率超过100倍</li> </ol> <h5>更新目的:</h5> <p>   改进对精细化网格城镇预报数据的读取</p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;相对比1.3.9版本未触发新的不兼容,但请注意1.3.9版本更新导致的兼容性问题&lt;/font&gt;</p> <h3>版本:1.3.9</h3> <h4>更新日期:2020年10月5日</h4> <h5>更新内容:</h5> <ol> <li>为各类绘图函数增加了sup_fontsize,width,height,log_y, spacify_xticks 等参数 </li> <li>对各类图形产品的默认宽度和高度进行了调整,普遍调得更小一些。</li> <li>改进了单站风检验的风羽尺寸,减少互相遮挡</li> <li>改进了误差序列分析模块的时间轴显示方式</li> <li>增加了样本统计模块</li> <li>改进了数据预处理模块中对已有数据的判断标准</li> <li>增加了绘制2维或3维数据的mesh图的功能</li> <li>增加了自定义colorbar相关的功能</li> <li>扩展了sum_of_sta在used_coords = [&quot;dtime&quot;],span = None的功能,并修复一处bug</li> <li>在所有从gds服务器读取数据的函数模块中,删除了ip和port参数,并增加set_io_config函数来设置全局的ip,port。 </li> </ol> <h5>更新目的:</h5> <p>   1. 为了让输出的检验图形产品更适合粘贴到ppt等文档中,普通调小了默认图形的尺寸,使其不再超出ppt等文档的画幅,从而是图形尺寸调整更加方便,并且调整的幅度更小,对字体的影响也小。同时为了进一步增加展示的效果,增加了字体和画幅相关的sup_fontsize,width,height,spacify_xticks等参数    2. 增加了log_y 参数是为了应对不均衡的样本频率图的显示效果问题    3. 增加mesh图绘制2维、3维图相比于matplotlib的pcolormesh多了填数字的功能,又比seaborn.heatmap多了自定义分级的功能,在检验结果绘制中可以起到更好的效果。<br />    4. 删除了io模块中ip和port参数,目的1是通过设置全局的ip,port简化函数的参数,目的2是为了在数据预处理模块中减少对ip和port的暴露。在设置全局ip,port的方式中有两种,方案1是将配置文件置于安装目录或运行目录的某个位置,方案2是想本程序库一样提供一个设置函数。由于设置语句可以和其它代码一起出现,因此方案2能适应安装包的频繁更新和运行目录多样化的问题。<br />    5. 提供更加丰富也更简便的colorbar设置方式</p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;由于在读取gds服务数据的模块中都删除了ip,port参数,因此更新了新版本后,务必对相关代码进行更改,具体方式请参考https://www.showdoc.com.cn/meteva?page_id=3975601856475911. 该版本的mpd.plot,meb.sum_of_sta函数存在和新修改不兼容的部分,请下载后续更新版本&lt;/font&gt;</p> <h3>版本:1.3.8</h3> <h4>更新日期:2020年9月28日</h4> <h5>更新内容:</h5> <ol> <li>改进了频率图的横坐标</li> <li>扩展了sum_of_sta的span参数的功能</li> <li>改进了mesh_obtime_dtime 和mesh_time_dtime两个模块的cmap参数的兼容能力 </li> <li>增加了错误提示信息 </li> <li>增加了micaps4格式文件读取函数的容错能力 </li> <li>新增了数据预处理模块 </li> <li>在score_id 函数中增加了排序功能,方便二次开发者从返回结果中提取重要的信息 <h5>更新目的:</h5> <p>   提供了批量的、滚动更新的数据预处理功能,使得数据预报里模块不再需要重头开发,只需要设置相应的字典型配置参数即可。增加了更多错误提示信息,便于用户查找问题。以及其他按需求改进的功能。 </p></li> </ol> <h3>版本:1.3.7</h3> <h4>更新日期:2020年9月23日</h4> <h5>更新内容:</h5> <ol> <li>增加了按省分组的功能</li> <li>增加了按省名称选取数据的额功能</li> <li>站点数据的非维度部分兼容了字符型内容</li> <li>为矩阵图形绘制bar,plot 函数增加了两个参数sup_fontsize和spasify_xticks 分别用于控制整体的子图大小和x轴坐标刻度的稀释程度。</li> <li>为频率图增加了log_y的功能,同时优化了x坐标显示方式</li> <li>优化了时间坐标轴,使得其对世界时的显示更合理</li> <li>修复了time_list_mesh函数的一处bug,使得部分时次数据缺失时不至于奔溃 </li> </ol> <h5>更新目的:</h5> <p>   为了便于按行政区分组检验,先增加了按省分组和选取的功能,但目前仅限于国家站。为了让绘图结果更方便在ppt或者其他文档上展示,开放了字体条件参数和坐标刻度调节参数。其他优化和bug修复</p> <h3>版本:1.3.6.7</h3> <h4>更新日期:2020年9月15日</h4> <h5>更新内容:</h5> <ol> <li>进一步修复了read_stadata_from_sevp函数数据读取的问题 <h5>更新目的:</h5> <p>   修复bug</p></li> </ol> <h3>版本:1.3.6.6</h3> <h4>更新日期:2020年9月15日</h4> <h5>更新内容:</h5> <ol> <li>优化了combine_on_obTime_id对中等规模数据的匹配合并的效率</li> <li>优化了sum_of_sta 结果,删除了时效累加不完整的前几个时效的结果</li> <li>修复了read_stadata_from_sevp函数对字符型站号的不兼容问题</li> <li>改正了表格产品的输出提示信息</li> <li>修复了当自动生成的文件名字包含时间时的运行错误 <h5>更新目的:</h5> <p>   改进效率和兼容性,改正错误信息 </p></li> </ol> <h3>版本:1.3.6.5</h3> <h4>更新日期:2020年9月10日</h4> <h5>更新内容:</h5> <ol> <li>修复了2维矩阵数据绘图中x轴坐标设置的一处bug <h5>更新目的:</h5> <p>   bug修复 </p></li> </ol> <h3>版本:1.3.6.4</h3> <h4>更新日期:2020年9月9日</h4> <h5>更新内容:</h5> <ol> <li>增加了get_path函数对整型的时效参数的兼容性</li> <li>进一步优化了水平窗口滑动平均算法的效率</li> <li>进一步优化了3维矩阵数据绘制中的全局legend位置 </li> </ol> <h5>更新目的:</h5> <p>   优化程序效率和效果 </p> <h3>版本:1.3.6.3</h3> <h4>更新日期:2020年9月8日</h4> <h5>更新内容:</h5> <p>修复了临近点插值中的一处错误,在先前的版本中实际效果是左下角格点插值,在此版本中得以更正 </p> <h5>更新目的:</h5> <p>   算法错误更正 </p> <h3>版本:1.3.6.2</h3> <h4>更新日期:2020年9月5日</h4> <h5>更新内容:</h5> <p>改进了meb.combine_on_obTime_id函数,使得它能支持上亿个站次的观测和预报匹配合并操作,从测试情况来看要完成亿级别的操作需要用32G的内存和15分钟左右的耗时。 </p> <h5>更新目的:</h5> <p>   为了支持更大密度站点和更高频次预报的检验需求 </p> <h3>版本:1.3.6.1</h3> <h4>更新日期:2020年9月4日</h4> <h5>更新内容:</h5> <p>mem.correct_rate, mem.wrong_rate,mem.tc_count函数中用来表示误差阈值的参数由threshold 改为了grade_list. 并扩展了同事对多个阈值进行检验的功能。 </p> <h5>更新目的:</h5> <p>   由于上述上个函数采用的产生threshold和meb.sccatter_sta 函数中的参数threshold重名了,而这两个函数又会被mpd.score_id 调用,导致无法区分用户输入的threshold参数是传给哪个函数的,为此必须对其中一个参数更名。考虑到在检验算法层中表示阈值最常用的还是grade_list,它根据方便记忆 并且这样可以实现对多个阈值同时检验。因此做了上述修改。</p> <h5>可能导致的问题:</h5> <p>  &lt;font face=&quot;黑体&quot; color=red size=3&gt;在已有的基于参数名称调用上述三个函数时会出现运行错误,出现错误时请更新参数名称为grade_list&lt;/font&gt;</p> <h3>版本:1.3.6</h3> <h4>更新日期:2020年9月4日</h4> <h5>更新内容:</h5> <ol> <li>修复了从文本文件中读取站点数据的一处bug</li> <li>完善并发布了基础绘图函数meb.bar 和meb.plot</li> <li>扩展了平面网格和站点绘图函数中cmap参数功能,使其能够接受字符型的colormap参数</li> <li>改进了时间坐标功能</li> <li>新增了错误率、残差、残差率、最大绝对误差、最大误差、最小误差以及它们的并行计算功能</li> <li>为二分类检验综合表现图增加了一套坐标参数,使它可以换一种形式以空报率-漏报率作为横纵坐标加以展示</li> <li>在mpd.score, mpd.score_id,mpd.score_tdt中的**kwargs参数新增了同时接受检验函数和绘图函数的参数的功能</li> </ol> <h5>更新目的:</h5> <p>   在检验工作中有时需要将多个检验指标绘制在一张图片中,此时通过meb.bar和meb.plot 可以很好的实现,同时这项基础功能也可应用检验以外的绘图领域。<br />    新增的检验指标错误率、残差率等是和现有检验指标准确率和相关系数是紧密相关的,这些指标更容易在图形产品中突出有问题的样本。    此外残差和残差率也便于我们理解一项预报的价值潜力,比如grapes模式的温度预报系统性偏差较大,如果它的系统性偏差被订正后,性能能达到和ECMWF一致吗?    这个问题用残差或残差率这个指标是可以更好的展示的,不过需要注意的是这个指标计算需要样本足够多才能保证可信度。    在mpd.score, mpd.score_id,mpd.score_tdt的功能扩展是为了加强图形定制化的能力,在今后的绘图函数的改进也能更方便的得到应用<br />    其它优化和bug修复</p> <h3>版本:1.3.5</h3> <h4>更新日期:2020年9月1日</h4> <h5>更新内容:</h5> <p>   在meb.tool.plot_tools的模块中cmap参数增加了对字符型参数输入的支持    在meb.fun.comp模块中增加了对网格数据滑动窗口平均算法</p> <h5>更新目的:</h5> <p>   为了支持FSS检验模块的开发,同时也可以其它场景下使用 </p> <h3>版本:1.3.4.1</h3> <h4>更新日期:2020年8月31日</h4> <h5>更新内容:</h5> <p>   在概率预报检验的图形产品模块中,对需要绘制样本数的函数统一增加了log_y参数,可以以对数形式显示。 </p> <h5>更新目的:</h5> <p>   在降水等要素的检验中,不同概率区间的样本数据非常不均衡,导致很多区间样本数据不易被显示出来,为此增加了log坐标显示功能</p> <h5>可能导致的问题:</h5> <p>  &lt;font face=&quot;黑体&quot; color=red size=3&gt;新增参数改变了参数相对位置,对可选参数的调用尽量采用关键词形式&lt;/font&gt;</p> <h3>版本:1.3.4</h3> <h4>更新日期:2020年8月27日</h4> <h5>更新内容:</h5> <ol> <li>增加了read_stadata_from_csv</li> <li>增加了格点到格点的双三次插值函数</li> <li>克服了python浮点数精度问题对网格数据处理的影响</li> <li>修正了错误提示信息中的语法问题</li> <li>write_griddata_to_nc重新改回了int32,更加节省存储空间,并压制了警告</li> <li>修正了plottools中绘制散点图函数中print_max功能的,删除了调试代码</li> <li>扩展了mean_of_sta功能,提供了方便计算站点数据时间或时效平均的功能</li> </ol> <h5>更新目的:</h5> <p>   根据用户需求扩展io和数据转换功能,bug修复</p> <h3>版本:1.3.3.1</h3> <h4>更新日期:2020年8月24日</h4> <h5>更新内容:</h5> <p>   修复了micaps3类文件包含中文时的读取异常 </p> <h5>更新目的:</h5> <p>   bug修复</p> <h3>版本:1.3.3</h3> <h4>更新日期:2020年8月23日</h4> <h5>更新内容:</h5> <p>   在二分类检验图形和表格检验模块以及集合预报检验指标计算函数中增加了compair参数。<br />    增加了统计网格点覆盖范围内站点值或站点格式之和的函数功能<br />    io和绘图功能优化 </p> <h5>更新目的:</h5> <p>   为了更加方便的支持对低能见度、低温、降温等天气事件的检验,为闪电观测的格点化提供算法支持 </p> <h5>可能导致的问题:</h5> <p>  &lt;font face=&quot;黑体&quot; color=red size=3&gt;新增参数改变了参数相对位置,调用二分类图形和表格模块时对可选参数的调用尽量采用关键词形式&lt;/font&gt;</p> <h3>版本:1.3.2</h3> <h4>更新日期:2020年8月23日</h4> <h5>更新内容:</h5> <p>   在二分类检验指标的计算函数中统一增加了一项可选参数 compair</p> <h5>更新目的:</h5> <p>   为了更加方便的支持对低能见度、低温、降温等天气事件的检验 </p> <h3>版本:1.3.1</h3> <h4>更新日期:2020年8月20日</h4> <h5>更新内容:</h5> <ol> <li>新增了短时强降水检验的函数</li> <li>根据最新版网格预报竞赛规范新增了几项计算技巧的函数 </li> <li>新增了点对面检验所需的功能函数</li> <li>新增了临近站点查询和处理的函数</li> <li>新增了sun_of_sta功能,具备此前accumulate_time函数但更加强大,更具可拓展新</li> <li>改进了micaps4类文件输出格式,改进了时间处理函数功能,改进了绘图模块的功能</li> <li>修复了combine_expand_IV函数的一处bug</li> </ol> <h5>更新目的:</h5> <p>   重新梳理和改进站点数据转换相关的各项函数,为开展空间检验方法构建更好的基础。    根据检验规范文档增加了点对面强对流检验函数,后续将进一步增加检验规范相关的函数功能,但并非用作最终的检验评价程序,只是作为对业务检验工作的规范问题讨论和系统开发经验交流的平台,或者产品初步验证的程序。 </p> <h3>版本:1.3.0.4</h3> <h4>更新日期:2020年8月14日</h4> <h5>更新内容:</h5> <p>   在站点-&gt;站点, 站点-&gt;网格的插值中,nearNum参数兼容了nearNum = 1的情况,即在反距离插值算法中实现了临近站点插值的算法。</p> <h5>更新目的:</h5> <p>   优化插值函数功能 </p> <h3>版本:1.3.0.3</h3> <h4>更新日期:2020年8月11日</h4> <h5>更新内容:</h5> <p>   对<a href="https://www.showdoc.com.cn/meteva?page_id=3975617518822328">检验指标随时间和时效</a>的统计模块进行了优化<br />    1. 兼容了起报时间不等间距的情况,例如ECMWF模式延伸期预报每周两次,所以起报时间不等间距<br />    2. 优化了x坐标轴自动生成的ticks,避免了重叠情况<br />    3. 在多模式对比时使得图像的colorbar保持一致。</p> <h5>更新目的:</h5> <p>   优化检验指标随时效时间变化图片显示效果 </p> <h5>版本:1.3.0.2 因改正不充分该版本被废弃</h5> <h3>版本:1.3.0.1</h3> <h4>更新日期:2020年8月11日</h4> <h5>更新内容:</h5> <p>   在<a href="https://www.showdoc.com.cn/meteva?page_id=3975617518822328">检验指标随时间和时效</a>的统计模块中有一处坐标名称错误在此版本中得以更正。</p> <h5>更新目的:</h5> <p>   更正错误</p> <h3>版本:1.3</h3> <h4>更新日期:2020年8月9日</h4> <h5>更新内容:</h5> <p>   1. 新增了<a href="https://www.showdoc.com.cn/meteva?page_id=3975604178726657">cressman 插值算法</a><br />    2. 新增了<a href="https://www.showdoc.com.cn/meteva?page_id=3975617518822328">检验指标随时间和时效</a>的统计模块    3. 简化了概率预报检验综合图的样式。 </p> <ol> <li>完善了meb.creat_path模块的功能</li> <li>修复了mpd模块中的一处bug <h5>更新目的:</h5> <p>   新增检验指标随时间时效变化的统计模块,是为了能够根据快速地在一张图上锁定出现问题的预报时间和时效。简化概率预报检验综合图样式,是因为先前的图形产品中包含了多余的信息反而增加了理解的难度。 </p></li> </ol> <h3>版本:1.2.9.7</h3> <h4>更新日期:2020年8月6日</h4> <h5>更新内容:</h5> <p>   1. mpd.application.data_collection模块中para_example字典的第一个关键词由cup_count 改为了 cpu_count,在函数内部解析改关键词时也相应的进行了调整<br />    2. mpd.application.data_collection的多进程调用部分参数由args 改为了kwargs,由此用户无需再主调程序中加入 freeze_support() 这样一行代码也可以应用并行    3. 修复了mpd.application.data_collection的采用多进程同时下载数据时导致数据一次不能下载完整的问题。 </p> <h5>更新目的:</h5> <p>   修复命名错误,简化调用方法</p> <h5>可能导致的问题:</h5> <p>  &lt;font face=&quot;黑体&quot; color=red size=3&gt;调用了改模块的函数,需在输入的字典参数中更改关键词成cpu_count,否则会导致运行错误。mpd模块中一处import错误,可能导致运行错误&lt;/font&gt;</p> <h3>版本:1.2.9.6</h3> <h4>更新日期:2020年8月6日</h4> <h5>更新内容:</h5> <p>   修复了在mpd.application.data_collection模块中函数调用错误。</p> <h5>更新目的:</h5> <p>   bug修复</p> <h3>版本:1.2.9.5</h3> <h4>更新日期:2020年8月6日</h4> <h5>更新内容:</h5> <p>   1. 在mpd.score 绘制的检验指标的图形结果中,如果存在多个子图,改进后多个子图会共享legend 和x轴坐标信息,由此画面更加简洁紧凑,也不容易出现图形遮挡    2. 在mpd.score 中增加了三个参数vmax,vmin,bar_width,增加了用户调节每个子图图形元素的能力    3. 在mpd.temper_comprehensive_gg 和 mpd.temper_gg 增加了两个参数grd_ob_name,grd_fo_name,由此增加了对子图标题的定制能力</p> <h5>更新目的:</h5> <p>   进一步优化检验指标的自动绘制功能,同时加强了用户的定制功能。</p> <h5>可能导致的问题:</h5> <p>  &lt;font face=&quot;黑体&quot; color=red size=3&gt;新插入的几个参数对顺序调用参数的方式可能有影响,考虑到有些函数参数较多且在更新调整中,建议调用mpd层的函数时对于可选参数设置都采用关键词参数形式&lt;/font&gt;</p> <h3>版本:1.2.9.4</h3> <h4>更新日期:2020年8月4日</h4> <h5>更新内容:</h5> <p>   更新了资源包中地图数据,并且为了压缩数据量,提高程序库上传和下载的速度,对地图数据进行了适当抽稀。 </p> <h5>更新目的:</h5> <p>   解决地图绘制功能和地图数据文件不匹配的问题。 </p> <h3>版本:1.2.9.3</h3> <h4>更新日期:2020年8月4日</h4> <h5>更新内容:</h5> <p>   在netcdf格式数中代表时效维度的维度名称为time时,更新前的程序会出现读取异常,更新后解决了此问题。 </p> <h5>更新目的:</h5> <p>   完善了读取nc格式数据的功能 </p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;该版本中地图绘制功能和资源比匹配的错误仍然存在,请不要下载该版本&lt;/font&gt;</p> <h3>版本:1.2.9.2</h3> <h4>更新日期:2020年8月3日</h4> <h5>更新内容:</h5> <p>   更新了国界的数据,增加了九段线好南海岛屿地图信息。 </p> <h5>更新目的:</h5> <p>   更正地图信息 </p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;该版本中程序中更新了对地图绘制功能,但是资源包中地图没有同步更新,导致绘图时会出现错误,请不要下载该版本&lt;/font&gt;</p> <h3>版本:1.2.9.1</h3> <h4>更新日期:2020年7月30日</h4> <h5>更新内容:</h5> <p>   在多分类预报的检验中,新增了分级检验的评分指标(ets_grade,ts_grade,bias_grade,mr_grade,far_grade),但这些指标在mpd层还未支持,导致运行的时候报错,在该版本中进行了修复。 另外对mpd.score函数绘制多个子图是的子图间接再次进行了优化。</p> <h5>更新目的:</h5> <p>   bug修复 </p> <h3>版本:1.2.9</h3> <h4>更新日期:2020年7月28日</h4> <h5>更新内容:</h5> <p>   在多分类预报的检验中,增加了分级检验的评分指标(ets_grade,ts_grade,bias_grade,mr_grade,far_grade),并和分类检验的评分指标(ets_multi,ts_multi,bias_multi,mr_multi,far_multi)的含义进行区分。<br /> 在mpd.socre模块中,调整了绘制子图的间距,防止坐标名称被遮挡。<br /> 在read_griddata_from_nc模块中修复在某些情况下读取数据bug. </p> <h5>更新目的:</h5> <p>   在旧版的多分类预报检验指标中,ets_multi,ts_multi,bias_multi,mr_multi,far_multi等指标和业务规范中的分级检验评分指标含义并不一致。为此新增了ets_grade,ts_grade,bias_grade,mr_grade,far_grade等函数覆盖业务检验的需求。同时原先的函数仍做保留,因为在一些可分类但不可分级的检验中,原先的评分指标仍有使用价值。 </p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;该次更新对原先程序的运行没有影响,但原先文档中对ts_multi等含义表述并不准确清楚,可能误导了用户对这些指标的使用,建议阅读<a href="https://www.showdoc.cc/meteva?page_id=3975612394328262">更新后的文档</a>&lt;/font&gt;</p> <h3>版本:1.2.8</h3> <h4>更新日期:2020年7月21日</h4> <h5>更新内容:</h5> <p>   在meteva.base.tool.path_tools.creat_path()模块中将由os更改成由pathlib来创建。在绘制温度预报空间分布对比图时,增加了自动检测温度单位是开氏还是摄氏度并据此调整colorbar的功能。 </p> <h5>更新目的:</h5> <p>   在旧版的creat_path中,由于采用os.makerdirs在多核并行环境下可能和os.path.exist()函数存在微小时差导致的异常。更新后可避免该问题。 </p> <h3>版本:1.2.7</h3> <h4>更新日期:2020年7月20日</h4> <h5>更新内容:</h5> <p>   在从站点-&gt;格点的反距离权重插值方法中,增加了参数decrease,另外在读取micaps格式站点数据时,通过设置参数show = True遇到读取异常时可输出更详细的报错信息。 </p> <h5>更新目的:</h5> <p>   反距离权重插值通常默认权重随距离是平方次衰减,但该方式未必是所有的插值场景的最优选择,通过改变反距离权重的衰减系数,在不同场景下可以获得不同的插值效果。在旧版程序中在读取文件异常时为了给出简洁明确的报错提示而压制了系统自动产生的复杂的异常信息,这对初级用户更加友好,但是对高级一点的用户则不方便进一步了解问题原因,改进后的版本可以兼顾这两方面的需求。 </p> <h3>版本:1.2.6.4</h3> <h4>更新日期:2020年7月17日</h4> <h5>更新内容:</h5> <p>   在绘制检验指标bar或plot图时,有些指标可能会出现缺失值,例如计算漏报率时,如果观测事件发生的样本数为0,则漏报率计算结果为缺省值999999,更新后将缺省值进行排除后再绘图。 </p> <h5>更新目的:</h5> <p>   避免检验指标计算出的缺失值影响绘图显示效果 </p> <h3>版本:1.2.6.3</h3> <h4>更新日期:2020年7月17日</h4> <h5>更新内容:</h5> <p>   在绘制检验指标空间分布图时,有些指标可能会出现缺失值,例如计算漏报率时,如果观测事件发生的样本数为0,则漏报率计算结果为缺省值999999,更新后将缺省值进行排除后再绘图。 </p> <h5>更新目的:</h5> <p>   避免散点图中缺失值影响绘图显示效果 </p> <h3>版本:1.2.6.2</h3> <h4>更新日期:2020年7月16日</h4> <h5>更新内容:</h5> <p>   修复将网格数据输出值netcdf格式文件时的bug。 </p> <h5>更新目的:</h5> <p>   bug修复 </p> <h3>版本:1.2.6.1</h3> <h4>更新日期:2020年7月10日</h4> <h5>更新内容:</h5> <p>   在更新前的空间分布对比检验图中,计算空报率的检验指标标注着为fal alarm rate ,但实际采用pofd 函数进行计算。此次更新后,该指标采用False alarm ratio: False alarms/(Hit + False alarms) ,更加符合业务中常用的空报率指标。 </p> <h5>更新目的:</h5> <p>   bug修复 </p> <h3>版本:1.2.6</h3> <h4>更新日期:2020年7月10日</h4> <h5>更新内容:</h5> <p>   新增读取雷达拼图数据的功能,以及从bz2压缩文件中直接读取网格数据(例如雷达拼图数据等)的功能 </p> <h5>更新目的:</h5> <p>   扩展io支持 </p> <h3>版本:1.2.5</h3> <h4>更新日期:2020年7月9日</h4> <h5>更新内容:</h5> <p>   新增了各种不同的格式的数据文件的批量转换功能,更新前仅包含micaps4转nc的功能,更新后任何本程序库能读写的数据文件都能相互转换,且支持通过并行提高效率 </p> <h5>更新目的:</h5> <p>   为了批量收集整理数据,用户需要批量将一种数据转换成另一种,此次更新为更大程度满足该需求 </p> <h3>版本:1.2.4</h3> <h4>更新日期:2020年7月9日</h4> <h5>更新内容:</h5> <p>   检验产品制作层中的函数在绘制多张图片时, 更新后可以由用户指定图片标题和输出路径。<br />    修复了网格-&gt;网格的线性插值时,当目标网格超出原始数据网格情况下的一处bug </p> <h5>更新目的:</h5> <p>   在用户基于交互式操作时通常自动生成的图片标题和保存路径是能满足需求的,但是在需要构建一套自动作业的系统时,往往需要对上述参数做更加明确的设置,此次更新在于满足这方面的需求。 </p> <h3>版本:1.2.3.3</h3> <h4>更新日期:2020年7月3日</h4> <h5>更新内容:</h5> <p>   修复了绘制检验指标空间分布图时print_max参数相关的bug </p> <h5>更新目的:</h5> <p>   bug修复 </p> <h3>版本:1.2.3.2</h3> <h4>更新日期:2020年7月2日</h4> <h5>更新内容:</h5> <p>   修复了再检验产品层中各模块使用参数 g = &quot;last_range&quot;和g = &quot;last_step&quot;时出现的bug </p> <h5>更新目的:</h5> <p>   bug修复 </p> <h3>版本:1.2.3</h3> <h4>更新日期:2020年7月1日</h4> <h5>更新内容:</h5> <p>   在检验算法-连续型变量检验-数值型检验指标模块中增加了对观测和预报最大值和最小值的统计函数。 </p> <h5>更新目的:</h5> <p>   在对极端性天气进行检验时需要关注预报的最大(小)值和观测的最大(小)值的对比,新增的函数可以满足这项功能。 </p> <h3>版本:1.2.2</h3> <h4>更新日期:2020年7月1日</h4> <h5>更新内容:</h5> <p>   在插值模块中增加了站点—&gt;站点的反距离权重插值功能。 </p> <h5>更新目的:</h5> <p>   有几种场景需要采用站点-&gt;站点的插值,<br />       1,在非等经纬度网格或非规则网格的网格数据插值到站点数据的过程中,并不能采用现有的网格到站点的插值方案,此时可将非规则网格数据转换成站点数据形式,然后利用站点-&gt;站点的插值功能。<br />       2,对于一些缺测的站点,可以采用该功能从周边站点上获得插值结果。 </p> <h3>版本:1.2.1.1</h3> <h4>更新日期:2020年6月30日</h4> <h5>更新内容:</h5> <p>   修复了1.2.1版本中误差空间分布函数中的一项bug。</p> <h5>更新目的:</h5> <p>   bug修复</p> <h3>版本:1.2.1</h3> <h4>更新日期:2020年6月30日</h4> <h5>更新内容:</h5> <p>   在method.product层的score模块增加了score_id函数,用于绘制检验指标的空间分布图。<br />    另外对误差空间分布图函数中的一些bug进行了修复。 </p> <h5>更新目的:</h5> <p>   绘制检验指标的空间分布非常有利于直观的把握预报误差的特征。在已有的score函数中虽然也可以通过参数g = &quot;id&quot; 来实现对不同站点检验统计,但是要进一步绘制成图略有不便。通过score_id这个函数将这项常用功能进一步封装,也增加了更多绘图参数,将这类检验变得更加便利化。 </p> <h3>版本:1.2(重要升级)</h3> <h4>更新日期:2020年6月18日</h4> <h5>更新内容:</h5> <p>   在meteva.method 整层实现了多个预报(来源于不同模式,不同客观方法或主观预报)进行同时检验的直接支持,同时对图形样式进行了优化。基于meteva.method层的改进,在method.product层的score模块增加了直接绘制检验结果和将检验结果输出至excel的功能,table和plot模块则使得输出表格和图像产品更加紧凑,便于对比,同时对图形样式也得到了优化。<br />    另外对于micaps3类数据文件中站点数为0的情况进行了容错兼容(返回None,节省运行时间)</p> <h5>更新目的:</h5> <p>   考虑到不同预报的对比检验是一种非常基本的需求,包括数据源的选择时会对多模式进行检验,对客观算法的改进效果检验时会将客观算法和模式结果进行对比检验,亦或这将最新版的算法和前一版算法的结果进行对比检验,都需要用到对比检验,可以说多种来源的预报的对比检验是常态,为此本次更新从底层算法进行了扩展,使得进行多个预报的对比检验更加方便。 检验评分是一项常用的功能,但是改进先评分结果的绘制仍需单独完成,影响检验效率,改进后可以将检验评分计算和绘图在一行代码中完成,为了使得绘图结果根据美观紧凑有价值,也需要meteva.method层的代码能够直接支持多预报对比检验。 </p> <h5>可能导致的问题:</h5> <p>&lt;font face=&quot;黑体&quot; color=red size=3&gt;本模块整体上仍然支持单个预报的检验,但是为了直接支持多个预报的检验对很多函数的参数和返回结果进行了修改,由此会对已有代码可能带来如下影响:<br />    1. hfmc等用来计算检验中间结果的函数返回的数组的shape有所调整,如果之前用到这种基于中间结果来开展检验,则需要注意是否更新后触发运行错误<br />    2. meteva.method.ensemble模块里做集合预报检验的部分,输入数据fo的shape有所调整,也可能触发运行故障    3. meteva.product 中 score, table,plot 三个函数更新了输入参数,废弃了para1参数,采用了**kwargs这种更先进的参数形式,可能对触发运行故障<br />    如果升级了meteva安装包,注意对已有主调代码进行调整。&lt;/font&gt;</p> <h3>版本:1.1.5.2</h3> <h4>更新日期:2020年6月9日</h4> <h5>更新内容:</h5> <p>   修复mpd.score在计算多分类预报分级TS、bias等评分的的另一个bug。 </p> <h5>更新目的:</h5> <p>   bug修复 </p> <h3>版本:1.1.5.1</h3> <h4>更新日期:2020年6月6日</h4> <h5>更新内容:</h5> <p>   对mpd.time_list_mesh函数中误差子图部分的x轴在极端情况下显示方式问题进行了更正,对mpd.score在计算多分类预报分级TS、bias等评分的bug进行了修复,新增了对IO中对文本数据中中文编码格式GB2312的支持。 </p> <h5>更新目的:</h5> <p>   提高现有功能的兼容能力。 </p> <h3>版本:1.1.5</h3> <h4>更新日期:2020年6月2日</h4> <h5>更新内容:</h5> <p>   对mpd.time_list_mesh、mpd.time_list_mesh_error、mpd.time_list_mesh_wind三个函数模块中的参数进行了调整,增加了max_error参数或者将原先的clev_error改为了max_error。另外将meb.accumulate_time参数keep_all的缺省值由False改为了True. </p> <h5>更新目的:</h5> <p>   为了使得绘制出的检验图形在colorbar上保持一致,便于对不同站点、不同预报模式或方法进行对比。meb.accumulate_time新的默认参数应用场景更多,也略微更节省计算时间。 </p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;该版本中删除了time_list_mesh_error的原有参数clev_error,对于程序中已经用到该参数的可能会受到影响,对meb.accumulate_time参数缺省值的调整也可能导致缺省调用情况下返回的站点数据变多的情况&lt;/font&gt;</p> <h3>版本:1.1.4.2</h3> <h4>更新日期:2020年6月1日</h4> <h5>更新内容:</h5> <p>   修复了多时效风预报偏差和稳定检验图中的文字叠在一起的bug。 在combin_on_obTime_id函数中如果预报站点数据只有单一模式,将不再强制要求放在list中。 </p> <h5>更新目的:</h5> <p>   在旧版的程序中,用户使用combin_on_obTime_id对观测和单个预报进行和并时往往忘了把预报站点数据放在列表中,由此导致的错误,而错误信息又是keyError让人摸不着头脑。为此改进后不再强制将单个预报放在列表中,改为程序自动兼容。 更新后对观测和多个预报合并需要将预报放在列表中。 </p> <h6>1.1.4.1版本由于未将上述更新打包完整就上传了,已删除该版本程序库,导致该版本号被跳过。</h6> <h3>版本:1.1.4.0</h3> <h4>更新日期:2020年5月30日</h4> <h5>更新内容:</h5> <p>   对mpd.program.time_compair模块下的函数功能进行了系统优化,使得绘图更加美观规范,也能兼容更长时间序列的对比分析,同时增加了多个可选参数。此外增加了多时效预报误差填色对比图模块。此外在误差空间分布、误差序列分析、时间对比分析等模块中输出图片时会默认自动创建相应的文件夹。在set_stadata_names函数中当数据列只有一列时,data_name_list参数也兼容了不是列表的输入形式。 </p> <h5>更新目的:</h5> <p>   提高了检验产品的美观度以及对不同数据场景下的兼容能力。自动创建文件夹以及扩展参数的数据类型等改进可以提高应用的便利性。 </p> <h3>版本:1.1.3.2</h3> <h4>更新日期:2020年5月21日</h4> <h5>更新内容:</h5> <p>   对涉及到读取文本格式的数据文件的各io模块,扩展了中文编码的兼容能力,对GBK和UTF-8格式的文件都能够实现兼容。 </p> <h5>更新目的:</h5> <p>   在micaps格式文件头、站点名称信息等文件中,通常会包含中文,由于在不同平台中默认读取和生成的中文编码格式不同,可能造成读取失败,本次更新后实现了对最常用的两种中文编码格式的兼容,保障了io功能的稳定性。 </p> <h3>版本:1.1.3.1</h3> <h4>更新日期:2020年5月20日</h4> <h5>更新内容:</h5> <p>   对1.1.1.2版本中增加的id自动匹配站点名称功能容错性进行了改进。 </p> <h5>更新目的:</h5> <p>   当站点检验数据站点不在系统设定的站表时会出错,改进后能够容纳该错误,但这种情况发生时并不能自动在检验产品中将站点对应的站名显示出来。 </p> <h3>版本:1.1.3</h3> <h4>更新日期:2020年5月19日</h4> <h5>更新内容:</h5> <p>   在meteva.base.io模块中将站点数据和网格数据输出到micaps格式文件的函数增加了show和title两个参数。meteva.base.fun.interp_gg_linear函数中增加了outer_value参数 </p> <h5>更新目的:</h5> <p>   title参数为了使得micaps文件的描述信息更加可控,方便数据结果在micaps上浏览。show参数可以控制是否在屏幕打印成功输出文件的信息,在大批量输出文件时,通过关闭该参数可以使得用户在jupyter中调试结果避免过多打印信息的干扰。 插值函数中拓展了功能,使得当插值的目标网格超出原始数据网格的范围时,仍然能够正常使用插值函数,在很多场景下方便了应用,考虑到超出部分的网格值是不合理的,所以出现这种情况时,函数会强制用户必须设置outer_value参数。 </p> <h3>版本:1.1.2</h3> <h4>更新日期:2020年5月14日</h4> <h5>更新内容:</h5> <p>   在meteva.base.baisicdata.dict中增加了m1_element_column_environment 和m1_element_column_dict_environment模块。</p> <h5>更新目的:</h5> <p>   部分环境气象观测数据以micaps1类文本格式存储,其每一列的内涵和micaps1类通用格式并不相同。为了方便此类观测数据读取,增加了相应的列名称索引的模块。</p> <h3>版本:1.1.1.3</h3> <h4>更新日期:2020年5月13日</h4> <h5>更新内容:</h5> <p>   修复了网格到网格插值中属性被重置的bug,调用了插值的其它函数的相关问题也因此得到修复。</p> <h3>版本:1.1.1.2</h3> <h4>更新日期:2020年5月12日</h4> <h5>更新内容:</h5> <p>   在图片中涉及站点信息时,增加自动根据站点id匹配相应的站点城市名,并在图中显示,修复了简易绘图中colorbar中bug。</p> <h5>更新目的:</h5> <p>   在做单站检验时,图片中自动显示相应的站点的城市名称,可以使得结果更加便于阅读和用于交流。</p> <h3>版本:1.1.1.1</h3> <h4>更新日期:2020年5月8日</h4> <h5>更新内容:</h5> <p>   修复了通过设置save_dir设置路径输出多张图片时,程序实际未达到相关效果的bug。修复时序对比图xticks覆盖问题。</p> <h3>版本:1.1.1</h3> <h4>更新日期:2020年5月6日</h4> <h5>更新内容:</h5> <p>   对meteva.base.interp_gg_linear模块进行了优化,当原始网格是全球区域时,目标网格是任意等经纬度网格都可以获得取值,且可以支持-169-189°E这种网格经度不既不在-180-180,也不在0-360度范围内的情况。</p> <h5>更新目的:</h5> <p>   为了便于从一些特殊经线(例如白令海峡)附近剖分全球,形成平面图。</p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;该版本中插值后网格的时间时效层次变量名称等属性被重置成默认值,该bug在1.1.1.3中得到修复。&lt;/font&gt;</p> <h3>版本:1.1.0</h3> <h4>更新日期:2020年5月1日</h4> <h5>更新内容:</h5> <p>   在meteva.base模块里增加了xarray_to_griddata函数 </p> <h5>更新目的:</h5> <p>   便于从其它方式获得的网格数据转换成本程序库默认的格式 </p> <h3>版本:1.0.9.3</h3> <h4>更新日期:2020年4月26日</h4> <h5>更新内容: 修复了meb.read_griddata_from_gds中的一项bug,从而不再发出多余的提示。</h5> <h3>版本:1.0.9.2</h3> <h4>更新日期:2020年4月21日</h4> <h5>更新内容: 修复了meb.read_gridwind_from_micaps11中的一项bug,兼容了对micap11格式中可能存在的两种格式略有差异的文件的读取能力。</h5> <h3>版本:1.0.9.1</h3> <h4>更新日期:2020年4月15日</h4> <h5>更新内容: 修复了mpd.rain_24h_comprehensive_sg中的一项bug</h5> <h3>版本:1.0.9</h3> <h4>更新日期:2020年4月15日</h4> <h5>更新内容:</h5> <p>   增加了绘制误差分布散点图的模块(误差空间分布模块),增加了绘制单点多时效综合对比检验的模块(时间对比模块),在空间对比模块中修复了一项bug,优化了布局,增加了晴雨准确率指标显示(空间对比模块),在函数combine_on_obTime_id中增加了参数(合并模块)。增加了根据温度和露点计算相对湿度的函数,增加了降水量累加的函数(诊断模块)。 </p> <h5>更新目的:</h5> <p>   通过绘制误差平面分布和多时效对比图和误差图能够帮助用户更加直观的从整体上把握误差的特征。 为此在产品层中新增相应的模块,并在基础函数层中提供了一下配套的函数。 </p> <h5>可能导致的问题:</h5> <p>      &lt;font face=&quot;黑体&quot; color=red size=3&gt;combine_on_obTime_id中增加了参数 need_match_ob = False,默认情况下如果预报没有对应的观测,观测数据会被填充为999999,其目的是为了对观测未出现的时段进行预报稳定性检验。而修改之前的策略是预报没有对应的观测,则相应的行会被自动删除。使用更新后的程序时,如果不希望保留观测缺失的行,需要用 sta = sele_by_para(sta,drop_IV = True)函数删除。&lt;/font&gt;</p> <h3>版本:1.0.8</h3> <h4>更新日期:2020年4月11日</h4> <h5>更新内容:</h5> <p>   更新了网格数据的读入程序,更新后能够读取micaps服务器中的集合预报至网格数据中;在连续型变量的数值型检验指标模块中,增加了准确率的计算函数correct_rate;在多分类预报的数值型检验指标模块中增加了ts_multi,ets_multi,bias_multi,far_multi,mr_multi,hfmc_multi等函数;在二分类预报的数值型检验指标模块中增加了hk_yesorno,hk_yesorno_hfmc,hss_yesorno,hss_yesorno_hfmc等函数;在产品层中更改了时间序列坐标的字符串生成函数; </p> <h5>更新目的:</h5> <p>   完善数据读取功能;增加连续型变量准确率的计算功能;增加对降水、风速等分级检验的直接支持;使二分类预报的hk,hss评分计算更加便捷;避免时间轴字符的互相遮挡问题。 </p> <h5>可能导致的问题:</h5> <p>   本次更新不影响其它函数的使用,涉及到时间坐标轴的图形产品的制作方法仍然不变。 </p> <h3>版本:1.0.7</h3> <h4>更新日期:2020年3月23日</h4> <h5>更新内容:</h5> <p>   更新了站点和网格数据的读入程序,所有的读入函数统一增加了参数level,time,dtime,data_name,并且对上述参数的意义进行了统一,而read_griddata_from_nc函数中原有的level,time,dt,member参数的名称则更改为level_dim, time_dim, dtime_dim, member_dim。 </p> <h5>更新目的:</h5> <p>   在读入数据的时候可以一并将时空坐标进行设置,使得数据收集部分的代码 更加简约。先读入,再设置坐标属性的方式仍然可用。 </p> <h5>可能导致的问题:</h5> <p>   &lt;font face=&quot;黑体&quot; color=red size=3&gt;由于read_griddata_from_nc中level,time,dt,member参数已经变化,在对安装包进行更新后如果read_griddata_from_nc用到了这些参数,则需要进行更改&lt;/font&gt;| </p> <h3>版本:1.0.6</h3> <h4>更新日期:2020年3月22日</h4> <h5>更新内容:</h5> <p>   更新了数据选择模块中的函数,增加了sele_by_para 和sele_by_dict两个函数。在另外增加了分组函数group,在检验产品层/功能层的函数都据此做了调整,其中增加了参数s,参数group_by 更改为g,参数group_list_list 更改为gll。 </p> <h5>更新目的:</h5> <p>   此处更新使得数据的提取、分组和检验的功能可以在一行代码中实现,提高了集约化程度,同时避免了额外引入的中间数据带来的混乱,原来的数据提取和分组检验用多行代码实现的方式在有些情况下仍可采用且有价值。 </p> <h5>可能导致的问题:</h5> <p>   &lt;font face=&quot;黑体&quot; color=red size=3&gt;groub_by和group_list_list参数的变更可能导致错误,在安装包升级后如果在使用mpd.score, mpd.table, mpd.plot 三个函数时用到了上述两个参数,则需要进行更改|</p>

页面列表

ITEM_HTML