1、 1*集团大数据系统Splunk 项目立项书及建设方案12/18/2013北京宇信智臻信息技术有限公司1 项目建设目标1.1辅助*集团实现企业数据战略规划目标大数据产业已经成为全球高科技产业竞争的前沿领域，以美、日、欧为代表的全球发达国家已经展开了以大数据为核心的新一轮信息战略。 IT 产业竞争从此前的企业间竞争转变为技术系统、产业体系的竞争，下一步浪潮应该加快整合产业链上下游资源，增强技术生态系统的竞争力,进一步推进行业化应用。*集团作为保险领域的领军企业， *集团如何布局大数据？1.实现数据化:制定策略,要保存什么数据,如何保存等;2.建设自己的大数据管理与应用平台;3.自己培养大数据理念
2、或是小数据挖掘的团队;4.做好外部数据储备;5.要有数据侦测能力;6.开放共享的态度,通过与其他企业合作共享形成数据化;7.做好数据方面的战略投资Splunk 是机器数据的引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备（物理、虚拟和云中）生成的快速移动型计算机数据 。对于机器数据的生命周期可以划分为 “数据产生 数据采集 数据传输 数据存储 数据处理 数据分析 数据发布、 展示和应用 产生新数据” 等阶段。Splunk 都有考虑支持；由所有 IT 系统生成，大量不同类型的格式 巨量数据驱动业务的长足进步，驱动了我们的技术发生了变革。数据导入、模型建立、正则表达式的生成、
3、数据分析报表、控制面板、实时搜索、支持 PB 级以上的数据是大数据系统的必须的。Splunk 可以完成；作为领先的保险业务发展的*集团集团，在规划企业数据战略目标时一直以来都遵循着自己独创的宗旨和理念，现在，站在新的起点和经济结构转型升级的浪潮中，*集团人继续秉持着这种宗旨和理念，以极大的热忱致力于创新和实现富有活力的增长模式，数据化战略是实现企业战略目标的重要手段，是提升管理水平的重要途径，为此我们需要配合企业的战略目标规划的目标，我们可以通过应用 Splunk 平台完成数据数据战略的规划；1.2解决现有实际问题目前整个*集团集团的数据化战略刚刚启动，从软件、人员水平和硬件等方面可大致分为以
4、下几点：（1）实际工作效率和质量有待提高：目前公司 web 分析和业务分析全部是手工完成，工作效率通过可以通过 splunk 系统进一步提升；具体如下：1） IT 智能运维、人员通常得要协助: 捞数据库 (SQL SELECT) 查询 ERP、CRM、Log files 写程序、客制化 作报表 (Excel? Crystal Report?WebTrends?etc) 开启多个窗口/面板登入多种系统、服务器、设备分析多种的记录文件或数据使用多种诊断工具写程序来捞数据或处理数据用 Excel 或其它报表工具产生报表二、web 分析1）web 分析：公司主要网站的 web 流量分析，替代 awst
5、ats（这个产品不能按小时，分钟查询，不能定制） ，扩展分析（如问题定位，非法访问控制） ；2）业务分析：业务数据分析主要是 推广分析web 注册分析客户登陆进件分析-信息批审分析放贷- 贷后分析；3）集成分析或者更多大数据应用（风险控制、保险分析、以后的项目建设重点） ；三、业务分析（2）数据分析水平有待提高：具有按照现有数据分析和引入外部数据管理工具还没有建立起来，有很好的数据分析人员，但是仍有大幅提升的空间；（3）在软件应用方面，公司只能在开源的应用软件，excel，电子文档表格等应用。但不能实现共享，数据重复录入比较频繁，并且数据统一性差。数据的规范性和追溯性不强；缺少数据集中的管理平
6、台；（4）没有可以支持大规模处理的数据的硬件平台和数据存储机制，数据利用不够；借助 splunk 平台，即可以培养人才、也可以构架企业级的大数据建设理念和软件平台，解决实际问题，开启大数据之旅；2 项目建设的范围、功能模块以及工程时间本次项目的实施范围包括宜人贷 web 分析部门，宜人贷业务分析部门，共同参与打造的大数据分析系统。推动管理数据化战略，在两项业务应用的基础上，进行数据挖掘分析（细化数据绩效管理）和电子商务平台应用；3 项目建设人员配置、软硬件配置要求企业信息中心人员配置要求：角色 来源 职能业务工程师 内部现有人员 需求规划数据工程师 内部现有人员 软件实施、培训、硬件网络构架项
7、目管理 乙方人员 培训、推广在项目立项后，成立项目选型小组，由公司网络部门黄总，亲自担任组长，副总经理担任执行组长，各职能部分负责人协同完成；4 项目预算1）软件 splunk 具体见报价2）硬件（主要为机房硬件投入、可以复用）3) 长远投入功能点 功能子需求项目内容 金 额（万） 制度建立、人员培训、实施推进专项奖金分公司局域网建设，硬件购买，培训等 项目部网络及电脑购置、培训等 合 计 5 项目管理5.1 实施计划服务商为项目实施安排了为期 1 个月的计划，厂商和我方工程师以及用户方共同完成实施工作。日期 实施任务 所出文档及工作内容 参与人员及完成时间成立项目组成立由 ABC、代理商、S
8、plunk公司组成项目实施小组，负责整个工程的实施和协调。ABC、代理商、Splunk 召开实施协调会讨论项目实施安排事宜 ABC、代理商、Splunk阶段一现状调研与方案设计（？天）实施调研 网络拓扑调研、应用系统调研 代理商、ABC实施方案 编写Splunk 系统实施方案 代理商、ABC、Splunk实施方案审核 审核Splunk 系统实施方案 ABC到货验收组织相关人员进行验收，提交设备到货验收报告ABC、代理商现场安装 项目组对系统进行安装和调试代理商、Splunk ，ABC 相关人员协助系统联调 对系统与现有系统的联合调试代理商、Splunk ，ABC 相关人员协助子项联调子系统联调
9、，Splunk 系统初始化配置，使监控、管理等所有功能正常运行代理商、Splunk ，ABC 相关人员协助现场培训 对所安装项目进行现场培训代理商、Splunk ，ABC 相关人员参加系统初验项目初步验收，提交Splunk 系统初验报告由 ABC 组织相关人员进行初验，代理商人员协助阶段二系统集成实施（？天）添加大数据分析数据源添加各层次分析数据源，建立索引和应用代理商、Splunk ，ABC 相关人员协助抽取定义事件关键参数梳理各层次、网络、系统、应用等大数据分析的格式，以及关键事件定义参数代理商、Splunk ，ABC 相关人员协助定义搜索语句根据用户管理需求定义搜索语句代理商、Splun
10、k ，ABC 相关人员协助定义报表 根据用户管理需求定义报表代理商、Splunk ，ABC 相关人员协助定义Dashboard根据管理需求和监控需求定义Dashboard代理商、Splunk ，ABC 相关人员协助邮件和告警设置根据管理需求配置邮件和告警代理商、Splunk ，ABC 相关人员协助测试实时事件监控测试实时的事件采集、索引、分析代理商、Splunk ，ABC 相关人员协助测试报表输出 测试报表定义和自动输出代理商、Splunk ，ABC 相关人员协助阶段三项目整体调测和项目最终验收（？天） 测试告警 测试告警通知 代理商、Splunk ，ABC 相关人员协助系统试运行 Splun
11、k 系统试运行ABC 组织相关人员对系统进行试运行，代理商人员协助试运行系统终验 对工程项目进行最终验收，提交系统终验报告ABC 组织相关人员对系统进行终验，代理商人员协助系统维护 系统投产维护 系统投产运行，进入维护阶段 代理商、ABC、Splunk6 投入产出分析收益项目 具体说明建立大数据应用管理平台 一体会的大数据系统平台提升数据分析能力 20%提高工作效率 40%为后续的大数据应用打下基础 可以扩展应用，驱动业务决策，创新；6 方案设计6.1 产品架构和部署要求Splunk 作为大数据分析平台，管理数据的规模根据不同的应用场景从每天数十 GB 到几个 TB 不等。为此 splunk
12、设计了灵活的产品架构，通过在服务器上部署功能不同的组件，满足负载均衡和可用性的要求。这些功能组件包括：索引服务节点（Indexer）索引服务提供对本地和远程数据进行索引的功能，并作为 splunk 主要的数据存储，同时提供 splunk 的 web 界面访问功能。搜索总头（Search Head）搜索总头的主要功能是将 splunk 接收到的搜索请求分配给其他索引服务器，并将返回的搜索结果通过报表呈现。搜索总头自身并不对数据进行索引，所有的结果都来自远端的索引服务节点。管理服务器(Deployment Server) 管理服务器可以对分布式环境中各个功能组件的配置进行同步和管理。转发节点（Fo
13、rwarder）转发节点使用与索引服务节点相同的 splunk 软件包部署，但不在本地保存索引数据，所有索引的数据都转发到远端的索引服务器上。以上功能部件都包含在单一的 splunk 软件安装包中，因此安装部署十分方便，可以根据不同的 IT 数据规模和应用场景选择单台服务器上的集中部署和不同地域或负载均衡的分布式部署。数据量支持搜索用户数量 建议索引服务节点数量建议搜索总头数量 2GB/day 2 1 N/A2GB/day to100GB/dayup to 4 1 N/A200GB/day up to 8 2 1300GB/day up to 12 3 1400GB/day up to 8 4 1500GB/day up to 16 5 21TB/day up to 24 10 25TB/day up to 40 50 46.2 部署方案ABC 公司目前的日均大数据分析数据量在 20GB 左右，在此应用场景下，只需在一台专用的服务器上安装 splunk 各个功能组件即可满足数据索引，存储，搜索，报表展示等各项功能需求。此外部分数据源可以通过安装 Splunk 转发节点收集并转发的数据至索引服务器上进行统一分析和管理。
