1、嬀鬀昀戀攀搀愀昀昀昀搀愀搀戀昀昀攀攀戀愀愀昀愀挀昀3b19ad18dbf691a4d8e40b256e2ceaff9519c718f826f6ba195e4b1dd22b35d20闪哏翺嬀鬀愀搀搀挀挀搀戀挀攀戀愀攀愀搀挀戀愀戀戀愀搀攀愀攀960490206009837e35fe4a2b157e3f589d47efd77d4267ea5a2afd6c67babd4c0闬哑翺嬀鬀戀攀昀愀愀愀昀攀攀搀愀攀愀昀戀7e32c37a063c69060f5731b470b09142caee597ba3a3460af750b5b9665f32bf0问哓翺嬀鬀愀搀搀愀挀挀愀挀挀愀戀攀挀昀愀愀昀搀2c8be399
2、b575e153587195c327244a2be816f22c697df6a6a82becc8cd17fdf00闰哕翺嬀鬀攀挀戀愀搀挀戀搀戀挀昀昀攀戀搀搀搀攀挀挀挀昀戀昀戀戀昀攀昀搀戀攀2008bc9705b043d4f5c0eb37293eb220b9bc0b9b97c733b8f56e9227ce7d7d0a0闲哗翺嬀鬀攀攀愀昀攀挀愀愀戀愀戀昀搀愀昀攀挀愀愀戀攀挀戀愀挀搀昀戀搀昀挀攀攀8257a411ad4f2fc44f886c3014ac328ea160ecb5a876ea46d5a1739f6612f7290间哙翺嬀鬀挀戀昀昀搀昀攀挀昀挀愀挀愀搀挀搀攀攀攀愀戀愀455a2414f92
3、c127aa53100d4cd7e23aed04db390ce28d43710512854dbf0c2ba0闶哛翺嬀鬀搀挀攀戀搀愀戀昀戀愀愀搀挀搀戀搀戀昀愀愀愀昀攀愀昀愀攀戀挀攀搀搀be5ce5287375d4d6c765a12b3d04f54d3c2fc33fcdbcfd0d62ed7bbd3087bed70闸哝翺嬀鬀昀昀攀攀戀挀戀挀搀昀攀昀搀愀昀挀搀昀昀攀戀愀挀戀搀戀bdee2e47f1e401f3943d8a87b6770f25d63c0537aa83dcb2d738524c8c284de00闺哟翺嬀鬀戀挀愀挀愀戀昀攀愀愀攀攀挀攀戀攀愀戀戀攀戀愀昀攀攀愀搀31b3357bf45a9c8c
4、dafcd10844f92d0e3a236667267163a75aeaccbe7b11a28c0闼員翺嬀鬀搀戀攀搀挀攀挀挀昀愀昀搀挀昀攀搀愀挀戀搀昀搀搀挀挀愀d31be1d8b1b9d2f606f28bd16fcdef80ee613a59ae72ff6597f580993efc30660闾哣翺嬀鬀昀攀愀昀愀昀攀挀昀愀攀戀攀愀挀愀挀昀搀挀搀搀昀efe41cb2d0ea0d2cbff268c4790b6141ed88218e1dd43e0c5fcd0606030213b10阀哥翺嬀鬀昀昀搀愀挀搀愀挀昀攀攀戀搀攀愀挀昀挀攀愀搀昀戀戀攀愀昀愀愀feb03a8491e2674577f3eb48ef3c
5、1946e96cee81abb8a6526f5bc3940c449d650阂哧翺嬀鬀戀昀戀愀搀愀搀愀昀挀挀攀挀搀愀愀攀愀愀愀攀搀攀挀挀愀攀攀049e41f3ca4b1f8141b8031d1279b66f44cfb14e2651692f23a58188f94594f70阄哩翺嬀鬀愀愀昀愀愀昀昀搀挀搀愀搀昀攀攀搀挀搀e71813e8380e072dd506b5a83f45cb7ec144b87ee6d0667e9befde42b89c33c30阆哫翺嬀鬀昀挀攀搀戀愀攀攀挀挀戀搀愀攀昀昀昀挀e750776db55ba9c8606ea8aac5540c517771979bd15eb3f1fad3b2
6、533c3f5e190阈哭翺嬀鬀攀昀昀昀戀戀挀挀挀戀挀昀昀愀挀攀戀挀愀挀攀搀攀4eaa9f26a2d3bf894adc5faa0cc1d26d9994c91cd5d6058500171960f3bb374b0阊哯翺嬀鬀愀攀挀搀愀昀搀愀攀戀昀搀昀搀搀昀攀攀昀挀戀搀挀攀昀昀攀4c01accf231fe7a0d36f08aaeb4cd5687980c16b078eddfa40953053d80fbae70阌哱翺嬀鬀愀搀戀愀挀戀挀愀攀搀挀昀昀攀愀愀戀攀昀愀戀挀戀攀搀搀攀昀昀戀e2b655a4bc25ac9eccb6dac12e805969ce99282bc9143e61590b73e567c0d86a
7、0阎哳翺嬀鬀挀愀愀挀愀挀昀攀搀攀挀攀戀戀挀愀愀愀昀搀搀愀愀74a534ecd1ada3234ebac9abec87096c51b1dc350e674f55fa36f0a5641da2bd0阐哵翺嬀鬀愀攀攀昀戀搀搀戀挀昀攀挀挀戀搀攀戀昀搀愀攀昀攀戀攀愀搀戀挀1b1f5c118495a993c540c6ae478089f85f85e624076f8cde9b4a710ee7d22e050阒哷翺嬀鬀昀昀戀挀戀戀昀昀攀愀戀搀挀昀攀挀攀搀戀愀eab6af232510a0e8041fb84f1d77333d089585db38e982cfe689da2e634c13fd0阔哹翺嬀鬀戀戀昀搀搀搀挀搀攀挀搀愀
8、昀戀攀攀愀昀挀昀攀03879883764434da13c720ee5cbf05f50d815cf3e3fe40313ec84e4798c9630f0阖哻翺嬀鬀挀昀愀愀戀搀攀昀愀攀攀昀戀昀愀搀攀搀攀戀攀戀挀搀昀98ace3faafac5e6ae386ebcd33e94b555bf8b81e29d01f218d0edf68f79fec060阘哽翺嬀鬀挀愀攀搀昀戀昀攀挀搀攀愀愀挀昀戀戀愀戀戀愀昀搀戀攀攀3dc66cc43ca4d165ae71a900d48f5361cb3f3f117dfd2a2cb02ee67020da5e570阚哿翺嬀鬀攀愀戀攀昀搀搀搀昀戀昀攀搀搀愀搀昀愀攀愀搀昀攀昀搀搀 版权所
9、有 IBM 公司 2013商标 使用 IBM SmartCloud Entry 实现云资源使用情况的测量第 1 页，共 10 使用 IBM SmartCloud Entry 实现云资源使用情况的测量 使用自助服务门户来简化常见的云操作 Ai Jie Niu 高级软件工程师 IBM Yi Cong Lu 软件工程师 IBM Jun Hong Li 高级软件工程师 IBM Ni Yong 高级软件工程师 IBM 2013 年 1 月 28 日 在云计算中对服务进行测量，从而跟踪和计算客户的资源使用情况，这是云环境中按使用付费模 式的基础。本文介绍了 IBM SmartCloud Entry 中的计
10、量系统的架构和实现。SmartCloud Entry 使您能够在使用虚拟设备和工作负载时注重最终用户的观点，而不是只注重 IT 或系统管理员的观 点。 云计算允许将计算资源用于公共设施（像水和电），可以通过仪表跟踪使用情况并报告给服务提供 商和消费者，从而对计算资源进行测量。此外，云计算可以跟踪每个订阅用户消耗了多少资源和公 用设施，以便服务供应商向他们收取合理的费用。计量系统记录了资源利用率，比如 CPU、内存、 数据存储的使用情况，以及云服务用户消耗的其他许多相关资源。 计量也是限流和计费的基础。计量跟踪、整理并计算每个订阅用户的资源使用情况，使用给定的时 间单位生成准确的资源使用信息，因
11、此，计量成为了 “按使用付费” 的计费模型的基础。从另一个方 面看，企业私有云利用计量服务来显示每个用户的实际资源使用情况，确保计算环境的安全性和可 用性。例如，通过使用计量私有云资源，鼓励订阅用户在使用完资源后将它们释放到资源池，从而 提高私有云资源池的整体可用性。 developerWorks 使用 IBM SmartCloud Entry 实现云资源使用情况的测量第 2 页，共 10 目前，包括 Amazon Elastic Compute Cloud (Amazon EC2) 和 Microsoft Windows Azure 在内的 大多数云服务提供商都有自己的计量系统。通常，计量组
12、件的设计和实现的重点是：计量针对哪些 数据和可使用哪些数据，如何收集利用率数据，从收集的数据可以推算出哪些计量值。 IBM Tivoli Usage and Accounting Manager (TUAM) 使用数据收集器实现计量数据的收集，数据收 集器从不同的数据源收集数据，如 IBM z/VM、VMware 使用收集器，等等。数据被收集并转换成 Common Source Resource (CSR) 格式，然后传输到处理服务器，以便进行进一步处理。Tivoli Usage and Accounting Manager 的集成器和处理引擎将会处理收集到的数据。处理步骤可能会有所不同， 这
13、取决于所使用的收集器。可以根据给定的标识符汇总 CSR 格式的数据，并将该数据作为下一个处 理步骤的输入，从而实现计费或其他财务和组织级别的服务。 IBM SmartCloud Entry 概述 IBM SmartCloud Entry (SCEntry) 是一个强大的云计算软件产品，它将虚拟化环境从云就绪带进真 正的云。它利用底层的硬件和虚拟化管理系统（如 IBM Systems Director VMControl 和 VMware vCenter），提供易于使用的功能，轻松建立一个入门级的私有云。SmartCloud Entry 让用户在使用 虚拟设备和工作负载可以注重最终用户的观点，而
14、不是注重 IT 或系统管理员的观点。它支持基本的 云操作，如配置和取消配置、起草和克隆部署配置、虚拟服务器的电源管理，以及调整现有服务器 的大小。此外，它提供计量、计费和审批处理等特性，帮助 IT 经理监控和管理云环境，从而提高数 据中心的效率和利用率。 作为关键组件之一，计量与 SmartCloud Entry 中的其他组件松散地耦合在一起，从底层的适配器收 集虚拟服务器分配和其他使用信息，并生成计量记录，将它们存储在数据库中，使用给定的时间间 隔将数据导出到文件系统中。图 1 提供了 SmartCloud Entry 的高级架构。 图 1. IBM SmartCloud Entry 架构
15、架构和组件 SmartCloud Entry 计量服务在 SmartCloud Entry 基础服务之上运行，该基础服务向所有其他内部组件 提供基础的服务。SmartCloud Entry 计量服务的分层架构和组件将在下面的章节中进行介绍。 使用 IBM SmartCloud Entry 实现云资源使用情况的测量第 3 页，共 10 计量服务架构 计量服务的整体架构分为三层，如图 2 所示。 图 2. SmartCloud Entry 中的计量架构 Data Collection Layer（数据收集层）包括 Event Listener（事件侦听器）和 Data Refresher（数据刷
16、新器），它从各种计算资源收集计量数据。Data Transformation Layer（数据转换层）接收和处理 Data Collection Layer 所收集的计量数据，并将原始计量数据转换成内部格式，并使其继续保留在数 据库中。Data Consumption Layer（数据消费层）提供计量数据导出和归档等功能，还提供了与最终 用户的 RESTful 应用程序编程接口 (API) 的交互。 从数据流的角度来看，计量数据通过这三层从底部流到顶部。首先，Data Collection Layer 收集计 量数据，并将其传输到数据转换层进行处理和获得持久性，然后，由数据消费层组件使用这些数
17、 据。Data Export Service（数据导出服务）将计量数据转换为 Usage Detail Record (UDR) 格式，并将 其存储在本地文件系统的文件中。Data Archive Service（数据归档服务）清理已经过期的数据，防 止数据库变得太大。RESTful API 组件提供 SmartCloud Entry 的用户界面的接口和第三方软件集成， 以便初始化数据导出和归档请求。SmartCloud Entry 基础服务充当了整个数据流和处理的桥梁，其 中，计量组件调用 SmartCloud Entry 基础服务来完成各种计量数据处理。 计量服务组件 计量架构包含位于不同
18、层次的许多组件，并为不同的目的工作。这一节将介绍这些组件是如何配合 工作的，以及它们的配置。 Data Collection Layer Data Collection Layer 收集资源的使用数据，如 CPU、内存、存储和虚拟服务器状态。收集计量 数据有两种不同的机制。Event Listener 使用 Metering Listen 机制来侦听 SmartCloud Entry 基础 事件，这是 SmartCloud Entry 基础服务所产生的事件。Data Refresher 使用 Metering Refresh 机 制定期检索计量数据。从本质上说，Metering Listen
19、是确保计量数据的完整采集的基本机制。同 时，Metering Refresh 是一种补充机制，可以避免某些特殊情况下的信息丢失。Data Refresher 定期 通过 SmartCloud Entry 基础服务刷新计量数据，并对计量数据与相应的现有记录进行比较。只要收 集的计量数据发生修改（相比现有数据），它就会立即相应地更新计量记录，如图 3 所示。 developerWorks 使用 IBM SmartCloud Entry 实现云资源使用情况的测量第 4 页，共 10 图 3. 计量机制 对于一个大规模的云环境，每个刷新周期都可能很费时。因此，我们不建议频繁地运行此数据进行 刷新。Sm
20、artCloud Entry 提供了一个配置属性，可以在 metering.properties 文件中设置时间间隔： com.ibm.cfs.metering.interval=180 Data Processing and Persistence Layer 该层位于 Data Collection Layer 和 Data Consumption Layer 的中间。其组件 Data Collection Layer 接 受原始计量数据，然后将数据转换为内部格式，并将其保存到数据库。此外，Data Processing and Persistence Layer 提供了连接到更高层次的内
21、部 API，以查询计量数据。 在生产云环境中，保存到数据库中的计量数据增长迅速。为了避免降低计量数据操作性能，我们在 数据库和其他组件之间引入了一个缓存，以缓存最新的计量数据。当系统需要对现有的计量数据 和新收集的数据进行比较，从而决定是否需要一个新的计量记录的时候，它会从缓存中获取最新的 现有数据，不必从数据库中查询现有记录。为了避免此内存缓存意外丢失数据，我们将它作为一个 文件保存到文件系统中。每当 SmartCloud Entry 从意外终止中恢复，计量组件就会从该文件恢复缓 存。另一个重要的文件为恢复记录最新的关机时间。SmartCloud Entry 每分钟更新一次该文件，所 以如果
22、系统意外关闭，它仍然可以恢复关机时间，误差不到 1 分钟。 Data Consumption Layer Data consumption Layer 包括 Data Export Service、Data Archive Service 和 RESTful API。Data Export Service 将 UDR 格式的计量数据从数据库导出为 UDR 文件。 每个 UDR 由三部分组成：Header（标头）、Identifier（标识符）和 Resource（资源）。Header 用 于记录该记录的一般属性，如开始时间和结束时间。Identifier 记录可以标识此记录所描述的属性 的计量
23、资源，如工作负载 ID，指定目标虚拟服务器属于哪个工作负载。Resource 记录了该虚拟机 (VM) 使用的资源量。示例 UDR 数据如表 1 所示。 表 1. 示例 UDR 数据表 元素字段注释 使用 IBM SmartCloud Entry 实现云资源使用情况的测量第 5 页，共 10 Header453_1此记录的 ID 20111201开始日期 20111201结束日期 10:12:34开始时间 10:22:34结束时间 The blank移位代码 Identifier15在这部分中将有 15 个属性 Project_ID,151此 VM 的项目 ID Workload_ID,302
24、工作负载 id Cloud_Type,VMControl1,VMControl, 2,VMware Global_Object_Id,cloud:/default/38864SCEntry 范围内的惟一 ID Resource3在这部分中将有三个资源 Memory,1024.0内存使用是 1024 CPU,0.5CPU 使用 0.5 Storage,5120.0存储使用 5120 此 UDR 存储 10:12:34 和 10:22:34 之间的所有 VM 状态及其他属性。每当状态或属性发生变 化，SmartCloud Entry 就会创建一个新的 UDR，以反映这种变化。因此，下一个记录的开始
25、时间应 该是 10:22:34；在 UDR 的帮助下，IT 管理员可以确定虚拟服务器在任何特定时间的状态和属性。不 仅 SmartCloud Entry 可以使用 UDR 格式的计量数据，Tivoli Usage and Accounting Manager 计费系统 也可以无缝地消费这些数据。 Data Export Service 以可配置的时间间隔将计量数据导出为 UDR 文件，我们可在 metering.properties 文件中设置该间隔，如下： com.ibm.cfs.metering.data.interval=1 导出的 UDR 文件在每个文件夹中是按日期组织的，每个文件夹包
26、括 1个月的 UDR 文件。为了确保 UDR 文件的数据完整性，Data Export Service 将为每个 UDR 文件创建一个摘要文件，其中包含一个 基于 UDR 文件的内容生成的 MD5 代码（参见图 4）。 图 4. UDR 文件 developerWorks 使用 IBM SmartCloud Entry 实现云资源使用情况的测量第 6 页，共 10 Data Archive Service 负责对数据库中的数据进行归档并清理过期的计量数据，以避免数据库变得过 于庞大。它根据每个计量记录的开始时间和结束时间来确定计量数据是否已过期，并采取相应的归 档操作。用户可以使用以下属性配置
27、计量数据在数据库中的过期时间： com.ibm.cfs.metering.data.expired.days=370 请注意，计量数据导出的时间间隔应该小于计量数据在数据库中的过期时间长度。即使归档的组件 从数据库中删除了过期的计量数据，在导出的 UDR 文计中仍然可以发现计量数据，因此它有助于确 保系统中不会丢失计量数据。 RESTful API 为管理员和用户提供访问权限，以便初始化数据导出或数据查询请求，该请求会转发到 相应的计量服务进行处理（参见图 5）。 图 5. 计量处理流 不同的数据处理流一般没有顺序关系，因为它们可以异步或同时进行： 1、2 和 5。SmartCloud Ent
28、ry 基础服务通知 Event Listener 在云中是否发生了资源消耗或虚拟服 务器状态改变。Event Listener 会获得这些事件，并将计量数据传输到计量数据处理组件，该组 件会调用持久性组件，实现数据的持久性。 3、4 和 5。Data Refresher 在给定的时间间隔内被调用，以刷新计量数据，从而检测计量数据 是否发生变化。SmartCloud Entry 基础服务从 Data Refresher 接收请求，并获取和返回云资源的 使用情况信息。计量数据处理组通过调用计量数据持久性服务来保存此计量数据。 6。Data Archive Service 在给定的时间间隔内启动归档
29、作业，以便从数据库中清理历史计量数 据。 7 和 8。Data Export Service 在给定的时间间隔内启动导出作业，将计量数据从数据库导出为 UDR 文件。 9、10 和 5。用户或第三方应用程序调用 RESTful API 查询计量数据。调用计量数据处理从计量 数据持久性服务查询数据，然后将相关的计量数据作为响应返回给 API 消费者。 使用 IBM SmartCloud Entry 实现云资源使用情况的测量第 7 页，共 10 SmartCloud Entry 计量集成 SmartCloud Entry 计量系统为第三方应用程序集成提供了数据访问接口，其中的计量数据是通过 UDR 文件或 JavaScript Object Notation (JSON) 消息集成的。报告系统可以使用
