1、ICS 35.240 L 70 DB37 山东省地方标准 DB 37/T 34322018 农业大数据 数据处理基本要求 Agricultural big dataBasic requirements for data processing 2018 - 10 - 18 发布 2018 - 11 - 18 实施 山东省质量技术监督局 发 布 DB37/T 34322018 I 目 次 前 言 . II 1 范围 . 1 2 规范性引用文件 . 1 3 缩略语 . 1 4 术语和定义 . 1 5 概述 . 1 6 数据采集 . 1 7 数据传输 . 2 8 数据预处理 . 2 9 数据存储 .
2、2 10 数据分析 . 2 11 可视化展现 . 3 附 录 A （资料性附录） 农业大数据采集领域 . 4 附 录 B （资料性附录） 农业大数据分析场景示例 . 5 DB37/T 34322018 II 前 言 本标准按照GB/T 1.12009给出的规则起草。 本标准由山东省农业厅提出并归口。 本标准起草单位：山东省农业信息中心、山东省标准化研究院。 本标准主要起草人：郑勇、任万明、赵硕、王钧、毛向明、韩雪梅、张媛、郭守辉、逄锦山、史丛丛、刘晓宇。 DB37/T 34322018 1 农业大数据 数据处理基本要求 1 范围 本标准规定了农业大数据处理基本要求，包括数据采集、传输、预处理、
3、存储、分析和可视化展现等环节要求。 本标准适用于山东省农业领域大数据的处理、分析及应用。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件， 仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 DB37/T 34312018 农业大数据 标准体系 3 缩略语 下列缩略语适用于本文件。 PB：拍字节（Petabyte） 4 术语和定义 DB37/T 34312018界定的术语和定义适用于本文件。 5 概述 农业大数据处理是通过数据采集、传输、预处理、存储、分析、可视化展现等一系列操作，从农业大数据中获取价值信息的过程。
4、 农业大数据处理环节包括但不限于： a) 数据采集： 通过人工或自动方式对农业各领域数据进行采集， 农业大数据的采集领域参见附录A； b) 数据传输：对采集的数据按约定方式进行安全传输； c) 数据预处理：按照预处理操作流程将数据处理为易于存储和分析的规范格式； d) 数据存储：对数据进行存储和管理，实现对各种数据的有效组织； e) 数据分析：对存储数据计算和分析，获取有价值信息和知识； f) 可视化展现：将数据分析结果以直观方式显示给用户，并与用户实现交互。 6 数据采集 农业大数据采集要求包括但不限于： DB37/T 34322018 2 a) 应明确数据采集的目的和用途； b) 应依据数
5、据采集需求确定数据采集范围、选取数据采集方式、约定数据采集周期； c) 应规范数据采集操作流程； d) 应跟踪和记录数据采集过程； e) 应从数据完整性、准确性、一致性等方面控制数据采集质量。 7 数据传输 农业大数据传输要求包括但不限于： a) 应根据需求选取数据传输方式； b) 应明确数据传输周期，按照约定频次传输数据； c) 应满足数据完整性、准确性等可靠性传输要求； d) 应满足数据传输安全性要求。 8 数据预处理 农业大数据预处理要求包括但不限于： a) 应制定数据清洗规则，对缺失数据、格式错误数据、逻辑错误数据等脏数据进行清洗； b) 应将不同来源、格式等数据进行集成； c) 应在
6、数据完整性基础上将数据集归约表示； d) 应将数据格式转换成适用于数据存储和分析的形式； e) 应及时对预处理后的数据质量进行评估。 9 数据存储 农业大数据存储要求包括但不限于： a) 对象存储、过程数据存储、结构数据存储等不同类型的数据存储应满足相对应的存储要求； b) 应满足大数据存储技术的高可靠、高可用、可扩展以及高性能等要求； c) 应满足 PB 数量级以上的数据存储要求； d) 应满足数据一致性、完整性和可用性等存储质量要求； e) 应制定数据存储安全性措施和策略。 10 数据分析 农业大数据分析要求包括但不限于： a) 数据分析目的应符合国家法律法规要求； b) 应满足分析数据完
7、整性、唯一性和有效性等质量要求； c) 应根据分析场景构建高可靠、高有效的分析模型； d) 应根据分析模型选取数据分析方法，常用的数据分析方法包括聚类、分类、关联分析、深度学习等； e) 应从数据分析结果的可用性、准确性等方面进行质量评价。 农业大数据分析场景示例，参见附录 B。 DB37/T 34322018 3 11 可视化展现 农业大数据可视化展现要求包括但不限于： a) 应根据需求对敏感、涉密数据进行脱敏脱密操作； b) 应满足交互式可视化分析要求； c) 应满足可视化展现形式多样化要求； d) 应满足数据实时动态展现要求； e) 应满足数据间关联性突出展现要求； f) 应满足展现内容
8、的清晰、直观、形象等要求。 DB37/T 34322018 4 A A 附 录 A （资料性附录） 农业大数据采集领域 农业大数据采集领域见表A.1。 表A.1 农业大数据采集领域 序号 环节 领域 1 生产 大田种植、设施农业、畜禽养殖、水产养殖等。 2 经营 农业农村电子商务、休闲农业、民宿旅游、农产品期货交易，以及农产品市场追踪和电子监控等。 3 管理 农业行业统计监测、预警防控、指挥调度、农产品质量安全追溯、农村土地确权、农村土地承包经营权流转等。 4 服务 三农信息服务、农业政策法规、行业动态、农业科教、市场价格、农资监管、质量安全、生态环境监管、农产品物流服务等。 DB37/T 3
9、4322018 5 B B 附 录 B （资料性附录） 农业大数据分析场景示例 农业大数据分析场景示例见表B.1。 表B.1 农业大数据分析场景示例 序号 环节 分析场景示例 说明 1 生产 大田精准种植 对大田生产环境、生产设施等数据汇聚分析，用于土壤肥力精准监测、精准施肥和精准灌溉等。 2 奶牛精准养殖 对产奶量、运动量、体重、养殖环境等数据采集和建模分析，监控奶牛产奶量是否异常，自动控制分群设备、补料设备及环境控制设备。 3 经营 农产品电子商务 对在农业电子商务交易过程中产生的数据深入挖掘、分析，推动农产品网上商品交易、网上批发、产销对接等业务。 4 农产品市场追踪 对农产品销售价格、
10、销售量、销售需求、消费者购买行为等多种农业大数据要素分析，判断农产品的供需、价格变动以及消费者的购买习惯等。 5 管理 农产品质量安全追溯 对整合的产地环境、产业链管理、仓储加工、检测数据等形成的农产品质量安全溯源数据分析，实现农产品质量安全管理。 6 农业监测预警 对农业灾害与农业生产、流通、市场、消费等数据收集分析，构建预测模型，对全产业链预测预警。 7 服务 农产品物流服务 整合、分析农产品的收购、储存、加工、包装、运输、卸载搬运、配送等各个环节产生的数据，为整个物流管理提供决策支持。 8 生态环境监测与管理 对通过生态环境监测网络监测到的农业生态环境数据分析，判断不同生态环境对农作物生长的影响，同时为生态环境保护决策、管理和执法提供数据支持。 _
