1、常见的大数据术语表（中英文对照版）大数据的出现带来了许多新的术语，但这些术语往往比较难以理解。因此，我们通过本文给出一个常用的大数据术语表，抛砖引玉，供大家深入了解。其中部分定义参考了相应的博客文章。当然，这份术语表并没有 100%包含所有的术语，如果你认为有任何遗漏之处，请告之我们。A聚合（Aggregation） - 搜索、合并、显示数据的过程算法（Algorithms） - 可以完成某种数据分析的数学公式分析法（Analytics） - 用于发现数据的内在涵义异常检测（Anomaly detection） - 在数据集中搜索与预期模式或行为不匹配的数据项。除了“Anomalies“,用来
2、表示异常的词有以下几种：outliers, exceptions, surprises, contaminants.他们通常可提供关键的可执行信息匿名化（Anonymization） - 使数据匿名，即移除所有与个人隐私相关的数据应用（Application） - 实现某种特定功能的计算机软件人工智能（Artificial Intelligence） - 研发智能机器和智能软件，这些智能设备能够感知周遭的环境，并根据要求作出相应的反应，甚至能自我学习B行为分析法（Behavioural Analytics） - 这种分析法是根据用户的行为如“怎么做“，“为什么这么做“，以及“做了什么“来得出结
3、论，而不是仅仅针对人物和时间的一门分析学科，它着眼于数据中的人性化模式大数据科学家（Big Data Scientist） - 能够设计大数据算法使得大数据变得有用的人大数据创业公司（Big data startup） - 指研发最新大数据技术的新兴公司生物测定术（Biometrics） - 根据个人的特征进行身份识别B 字节 （BB: Brontobytes） - 约等于 1000 YB（Yottabytes），相当于未来数字化宇宙的大小。1 B 字节包含了 27 个 0！商业智能（Business Intelligence） - 是一系列理论、方法学和过程，使得数据更容易被理解C分类分析（
4、Classification analysis） - 从数据中获得重要的相关性信息的系统化过程； 这类数据也被称为元数据（meta data），是描述数据的数据云计算（Cloud computing） - 构建在网络上的分布式计算系统，数据是存储于机房外的（即云端）聚类分析（Clustering analysis） - 它是将相似的对象聚合在一起，每类相似的对象组合成一个聚类（也叫作簇）的过程。这种分析方法的目的在于分析数据间的差异和相似性冷数据存储（Cold data storage） - 在低功耗服务器上存储那些几乎不被使用的旧数据。但这些数据检索起来将会很耗时对比分析（Comparati
5、ve analysis） - 在非常大的数据集中进行模式匹配时，进行一步步的对比和计算过程得到分析结果复杂结构的数据（Complex structured data） - 由两个或多个复杂而相互关联部分组成的数据，这类数据不能简单地由结构化查询语言或工具（SQL）解析计算机产生的数据（Computer generated data） - 如日志文件这类由计算机生成的数据并发（Concurrency） - 同时执行多个任务或运行多个进程相关性分析（Correlation analysis） - 是一种数据分析方法，用于分析变量之间是否存在正相关，或者负相关客户关系管理（CRM: Customer
6、 Relationship Management） - 用于管理销售、业务过程的一种技术，大数据将影响公司的客户关系管理的策略D仪表板（Dashboard） - 使用算法分析数据，并将结果用图表方式显示于仪表板中数据聚合工具（Data aggregation tools） - 将分散于众多数据源的数据转化成一个全新数据源的过程数据分析师（Data analyst） - 从事数据分析、建模、清理、处理的专业人员数据库（Database） - 一个以某种特定的技术来存储数据集合的仓库数据库即服务（Database-as-a-Service） - 部署在云端的数据库，即用即付，例如亚马逊云服务（AW
7、S: Amazon Web Services）数据库管理系统（DBMS: Database Management System） - 收集、存储数据，并提供数据的访问数据中心（Data centre） - 一个实体地点，放置了用来存储数据的服务器数据清洗（Data cleansing） - 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性数据管理员（Data custodian） - 负责维护数据存储所需技术环境的专业技术人员数据道德准则（Data ethical guidelines） - 这些准则有助于组织机构使其数据透明化，保证数据的简洁、安全及隐私
8、数据订阅（Data feed） - 一种数据流，例如 Twitter 订阅和 RSS数据集市（Data marketplace） - 进行数据集买卖的在线交易场所数据挖掘（Data mining） - 从数据集中发掘特定模式或信息的过程数据建模（Data modelling） - 使用数据建模技术来分析数据对象，以此洞悉数据的内在涵义数据集（Data set） - 大量数据的集合数据虚拟化（Data virtualization） - 数据整合的过程，以此获得更多的数据信息，这个过程通常会引入其他技术，例如数据库，应用程序，文件系统，网页技术，大数据技术等等去身份识别（De-identific
9、ation） - 也称为匿名化（anonymization），确保个人不会通过数据被识别判别分析（Discriminant analysis） - 将数据分类；按不同的分类方式，可将数据分配到不同的群组，类别或者目录。是一种统计分析法，可以对数据中某些群组或集群的已知信息进行分析，并从中获取分类规则。分布式文件系统（Distributed File System） - 提供简化的，高可用的方式来存储、分析、处理数据的系统文件存贮数据库（Document Store Databases） - 又称为文档数据库（document-oriented database）， 为存储、管理、恢复文档数据而
10、专门设计的数据库，这类文档数据也称为半结构化数据E探索性分析（Exploratory analysis） - 在没有标准的流程或方法的情况下从数据中发掘模式。是一种发掘数据和数据集主要特性的一种方法E 字节（EB: Exabytes） - 约等于 1000 PB（petabytes）， 约等于 1 百万 GB。如今全球每天所制造的新信息量大约为 1 EB提取-转换-加载（ETL: Extract, Transform and Load） - 是一种用于数据库或者数据仓库的处理过程。即从各种不同的数据源提取（E）数据，并转换（T）成能满足业务需要的数据，最后将其加载（L）到数据库F故障切换（Fa
11、ilover） - 当系统中某个服务器发生故障时，能自动地将运行任务切换到另一个可用服务器或节点上容错设计（Fault-tolerant design） - 一个支持容错设计的系统应该能够做到当某一部分出现故障也能继续运行G游戏化（Gamification） - 在其他非游戏领域中运用游戏的思维和机制，这种方法可以以一种十分友好的方式进行数据的创建和侦测，非常有效。图形数据库（Graph Databases） - 运用图形结构（例如，一组有限的有序对，或者某种实体）来存储数据，这种图形存储结构包括边缘、属性和节点。它提供了相邻节点间的自由索引功能，也就是说，数据库中每个元素间都与其他相邻元素直
12、接关联。网格计算（Grid computing） - 将许多分布在不同地点的计算机连接在一起，用以处理某个特定问题，通常是通过云将计算机相连在一起。HHadoop - 一个开源的分布式系统基础框架，可用于开发分布式程序，进行大数据的运算与存储。Hadoop 数据库（HBase） - 一个开源的、非关系型、分布式数据库，与Hadoop 框架共同使用HDFS - Hadoop 分布式文件系统（Hadoop Distributed File System）；是一个被设计成适合运行在通用硬件（commodity hardware）上的分布式文件系统高性能计算（HPC: High-Performance
13、-Computing） - 使用超级计算机来解决极其复杂的计算问题I内存数据库（IMDB: In-memory） - 一种数据库管理系统，与普通数据库管理系统不同之处在于，它用主存来存储数据，而非硬盘。其特点在于能高速地进行数据的处理和存取。物联网（Internet of Things） - 在普通的设备中装上传感器，使这些设备能够在任何时间任何地点与网络相连。J法律上的数据一致性（Juridical data compliance） - 当你使用的云计算解决方案，将你的数据存储于不同的国家或不同的大陆时，就会与这个概念扯上关系了。你需要留意这些存储在不同国家的数据是否符合当地的法律。K键值数
14、据库（KeyValue Databases） - 数据的存储方式是使用一个特定的键，指向一个特定的数据记录，这种方式使得数据的查找更加方便快捷。键值数据库中所存的数据通常为编程语言中基本数据类型的数据。L延迟（Latency） - 表示系统时间的延迟遗留系统（Legacy system） - 是一种旧的应用程序，或是旧的技术，或是旧的计算系统，现在已经不再支持了。负载均衡（Load balancing） - 将工作量分配到多台电脑或服务器上，以获得最优结果和最大的系统利用率。位置信息（Location data） - GPS 信息，即地理位置信息。日志文件（Log file） - 由计算机系统
15、自动生成的文件，记录系统的运行过程。MM2M 数据（Machine2Machine data） - 两台或多台机器间交流与传输的内容机器数据（Machine data） - 由传感器或算法在机器上产生的数据机器学习（Machine learning） - 人工智能的一部分，指的是机器能够从它们所完成的任务中进行自我学习，通过长期的累积实现自我改进。MapReduce - 是处理大规模数据的一种软件框架（Map: 映射，Reduce: 归纳）。大规模并行处理（MPP: Massively Parallel Processing） - 同时使用多个处理器（或多台计算机）处理同一个计算任务。元数据（
16、Metadata） - 被称为描述数据的数据，即描述数据数据属性（数据是什么）的信息。MongoDB - 一种开源的非关系型数据库（NoSQL database）多维数据库（Multi-Dimensional Databases） - 用于优化数据联机分析处理（OLAP）程序，优化数据仓库的一种数据库。多值数据库（MultiValue Databases） - 是一种非关系型数据库（NoSQL）， 一种特殊的多维数据库：能处理 3 个维度的数据。主要针对非常长的字符串，能够完美地处理 HTML 和 XML 中的字串。N自然语言处理（Natural Language Processing） -
17、是计算机科学的一个分支领域，它研究如何实现计算机与人类语言之间的交互。网络分析（Network analysis） - 分析网络或图论中节点间的关系，即分析网络中节点间的连接和强度关系。NewSQL - 一个优雅的、定义良好的数据库系统，比 SQL 更易学习和使用，比 NoSQL 更晚提出的新型数据库NoSQL - 顾名思义，就是“不使用 SQL“的数据库。这类数据库泛指传统关系型数据库以外的其他类型的数据库。这类数据库有更强的一致性，能处理超大规模和高并发的数据。O对象数据库（Object Databases） - （也称为面象对象数据库）以对象的形式存储数据，用于面向对象编程。它不同于关系
18、型数据库和图形数据库，大部分对象数据库都提供一种查询语言，允许使用声明式编程（declarative programming）访问对象。基于对象图像分析（Object-based Image Analysis） - 数字图像分析方法是对每一个像素的数据进行分析，而基于对象的图像分析方法则只分析相关像素的数据，这些相关像素被称为对象或图像对象。操作型数据库（Operational Databases） - 这类数据库可以完成一个组织机构的常规操作，对商业运营非常重要，一般使用在线事务处理，允许用户访问 、收集、检索公司内部的具体信息。优化分析（Optimization analysis） - 在
19、产品设计周期依靠算法来实现的优化过程，在这一过程中，公司可以设计各种各样的产品并测试这些产品是否满足预设值。本体论（Ontology） - 表示知识本体，用于定义一个领域中的概念集及概念之间的关系的一种哲学思想。（译者注： 数据被提高到哲学的高度，被赋予了世界本体的意义，成为一个独立的客观数据世界）异常值检测（Outlier detection） - 异常值是指严重偏离一个数据集或一个数据组合总平均值的对象，该对象与数据集中的其他它相去甚远，因此，异常值的出现意味着系统发生问题，需要对此另加分析。P模式识别（Pattern Recognition） - 通过算法来识别数据中的模式，并对同一数据
20、源中的新数据作出预测P 字节（PB: Petabytes） - 约等于 1000 TB（terabytes）， 约等于 1 百万 GB （gigabytes）。欧洲核子研究中心（CERN）大型强子对撞机每秒产生的粒子个数就约为 1 PB平台即服务（PaaS: Platform-as-a-Service） - 为云计算解决方案提供所有必需的基础平台的一种服务预测分析（Predictive analysis） - 大数据分析方法中最有价值的一种分析方法，这种方法有助于预测个人未来（近期）的行为，例如某人很可能会买某些商品，可能会访问某些网站，做某些事情或者产生某种行为。通过使用各种不同的数据集，例
21、如历史数据，事务数据，社交数据，或者客户的个人信息数据，来识别风险和机遇隐私（Privacy） - 把具有可识别出个人信息的数据与其他数据分离开，以确保用户隐私。公共数据（Public data） - 由公共基金创建的公共信息或公共数据集。Q数字化自我（Quantified Self） - 使用应用程序跟踪用户一天的一举一动，从而更好地理解其相关的行为查询（Query） - 查找某个问题答案的相关信息R再识别（Re-identification） - 将多个数据集合并在一起，从匿名化的数据中识别出个人信息回归分析（Regression analysis） - 确定两个变量间的依赖关系。这种方法
22、假设两个变量之间存在单向的因果关系（译者注：自变量，因变量，二者不可互换）RFID - 射频识别； 这种识别技术使用一种无线非接触式射频电磁场传感器来传输数据实时数据（Real-time data） - 指在几毫秒内被创建、处理、存储、分析并显示的数据推荐引擎（Recommendation engine） - 推荐引擎算法根据用户之前的购买行为或其他购买行为向用户推荐某种产品路径分析（Routing analysis） - 针对某种运输方法通过使用多种不同的变量分析从而找到一条最优路径，以达到降低燃料费用，提高效率的目的S半结构化数据（Semi-structured data） - 半结构化数据并不具有结构化数据严格的存储结构，但它可以使用标签或其他形式的标记方式以保证数据的层次结构情感分析（Sentiment Analysis） - 通过算法分析出人们是如何看待某些话题信号分析（Signal analysis） - 指通过度量随时间或空间变化的物理量来分析产品的性能。特别是使用传感器数据。相似性搜索（Similarity searches） - 在数据库中查询最相似的对象，这里所说的数据对象可以是任意类型的数据仿真分析（Simulation analysis） - 仿真是指模拟真实环境中进程或系统的操作。仿真分析可以在仿真时考虑多种不同的变量，确保产品性能达到最优
