1、大数据技术丛书Python数据分析与挖掘实战张良均 等著ISBN：978-7-111-52123-5本书纸版由机械工业出版社于2015年出版，电子版由华章分社（北京华章图文信息有限公司，北京奥维博世图书发行有限公司）全球范围内制作与发行。版权所有，侵权必究客服热线：+ 86-10-68995265客服信箱：官方网址：新浪微博 华章数媒微信公众号 华章电子书（微信号：hzebook）目录前言基础篇第1章 数据挖掘基础1.1 某知名连锁餐饮企业的困惑1.2 从餐饮服务到数据挖掘1.3 数据挖掘的基本任务1.4 数据挖掘建模过程1.5 常用的数据挖掘建模工具1.6 小结第2章 Python数据分析简
2、介2.1 搭建Python开发平台2.2 Python使用入门2.3 Python数据分析工具2.4 配套资源使用设置2.5 小结第3章 数据探索3.1 数据质量分析3.2 数据特征分析3.3 Python主要数据探索函数3.4 小结第4章 数据预处理4.1 数据清洗4.2 数据集成4.3 数据变换4.4 数据规约4.5 Python主要数据预处理函数4.6 小结第5章 挖掘建模5.1 分类与预测5.2 聚类分析5.3 关联规则5.4 时序模式5.5 离群点检测5.6 小结实战篇第6章 电力窃漏电用户自动识别6.1 背景与挖掘目标6.2 分析方法与过程6.3 上机实验6.4 拓展思考6.5 小
3、结第7章 航空公司客户价值分析7.1 背景与挖掘目标7.2 分析方法与过程7.3 上机实验7.4 拓展思考7.5 小结第8章 中医证型关联规则挖掘8.1 背景与挖掘目标8.2 分析方法与过程8.3 上机实验8.4 拓展思考8.5 小结第9章 基于水色图像的水质评价9.1 背景与挖掘目标9.2 分析方法与过程9.3 上机实验9.4 拓展思考9.5 小结第10章 家用电器用户行为分析与事件识别10.1 背景与挖掘目标10.2 分析方法与过程10.3 上机实验10.4 拓展思考10.5 小结第11章 应用系统负载分析与磁盘容量预测11.1 背景与挖掘目标11.2 分析方法与过程11.3 上机实验11
4、.4 拓展思考11.5 小结第12章 电子商务网站用户行为分析及服务推荐12.1 背景与挖掘目标12.2 分析方法与过程12.3 上机实验12.4 拓展思考12.5 小结第13章 财政收入影响因素分析及预测模型13.1 背景与挖掘目标13.2 分析方法与过程13.3 上机实验13.4 拓展思考13.5 小结第14章 基于基站定位数据的商圈分析14.1 背景与挖掘目标14.2 分析方法与过程14.3 上机实验14.4 拓展思考14.5 小结第15章 电商产品评论数据情感分析15.1 背景与挖掘目标15.2 分析方法与过程15.3 上机实验15.4 拓展思考15.5 小结参考文献前言为什么要写这本
5、书LinkedIn对全球超过3.3亿用户的工作经历和技能进行分析后得出，目前最炙手可热的25项技能中，数据挖掘排名第一。那么数据挖掘是什么？数据挖掘是从大量数据（包括文本）中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程。数据挖掘有助于企业发现业务的趋势，揭示已知的事实，预测未知的结果，因此“数据挖掘”已成为企业保持竞争力的必要方法。但跟国外相比，由于我国信息化程度不太高，企业内部信息不完整，零售业、银行、保险和证券等对数据挖掘的应用并不理想。但随着市场竞争的加剧，各行业对数据挖掘技术的需求越来越强烈
6、，可以预计，未来几年各行业的数据分析应用一定会从传统的统计分析发展到大规模数据挖掘应用。在大数据时代，数据过剩、人才短缺，数据挖掘专业人才的培养又需要专业知识和职业经验积累。本书注重数据挖掘理论与项目案例实践相结合，可以让读者获得真实的数据挖掘学习与实践环境，更快、更好地学习数据挖掘知识与积累职业经验。总的来说，随着云时代的来临，大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素，人们对于海量数据的运用预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据，为企业经营决策提供帮助。
7、大数据分析作为数据存储和挖掘分析的前沿技术，广泛应用于物联网、云计算和移动互联网等战略性新兴产业。虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来，特别是有实践经验的大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才需求，很多大学开始尝试开设不同程度的大数据分析课程。“大数据分析”作为大数据时代的核心技术，必将成为高校数学与统计学专业的重要课程之一。本书特色本书从实践出发，结合大量数据挖掘工程案例及教学经验，以真实案例为主线，深入浅出地介绍数据挖掘建模过程中的有关任务：数据探索、数据预处理、分类与预测、聚类分析、时序预测、关联规则挖掘、智能推荐和偏差检测等。因此
8、，图书的编排以解决某个应用的挖掘目标为前提，先介绍案例背景提出挖掘目标，再阐述分析方法与过程，最后完成模型构建。在介绍建模过程的同时穿插操作训练，把相关的知识点嵌入相应的操作过程中。为方便读者轻松地获取真实的实验环境，本书使用目前在数据科学领域非常热门的Python语言对样本数据进行处理以进行挖掘建模。根据读者对案例的理解，本书配套提供真实的原始样本数据文件，读者可以从“泰迪杯”全国大学生数据挖掘竞赛网站（http:/www.tipdm.org/ts/661.jhtml ）免费下载。另外，为方便教师授课，本书还特意提供了建模阶段的过程数据文件、Python语言代码程序和PPT课件，以及基于Py
9、thon、SAS、SPSS Modeler等上机实验环境下的数据挖掘各阶段程序/模型及相关代码，读者可通过本书“勘误和支持”中提供的联系方式咨询获取。本书适用对象（1）开设数据挖掘课程的高校教师和学生目前，国内不少高校将数据挖掘引入本科教学中，在数学、计算机、自动化、电子信息和金融等专业开设了数据挖掘技术相关课程，但目前这一课程的教学仍然主要限于理论介绍。单纯的理论教学过于抽象，学生理解起来往往比较困难，教学效果也不甚理想。本书提供的基于实战案例和建模实践的教学，能够使教师充分发挥互动性和创造性，理论联系实际，使教师获得最佳的教学效果。（2）需求分析及系统设计人员需求分析及系统设计人员可以在理
10、解数据挖掘原理与建模过程的基础上，结合数据挖掘案例完成精确营销、客户分群、交叉销售、流失分析、客户信用记分、欺诈发现和智能推荐等数据挖掘应用的需求分析和设计。（3）数据挖掘开发人员数据挖掘开发人员可以在理解数据挖掘应用需求和设计方案的基础上，结合本书提供的基于第三方接口快速完成数据挖掘应用的编程实现。（4）进行数据挖掘应用研究的科研人员许多科研院所为了更好地对科研工作进行管理，纷纷开发了适应自身特点的科研业务管理系统，并在使用过程中积累了大量的科研信息数据。但是，这些科研业务管理系统一般没有对数据进行深入分析，并没有对数据所隐藏的价值进行充分挖掘和利用。科研人员需要通过数据挖掘建模工具及有关方
11、法论来深挖科研信息的价值，从而提高科研水平。（5）关注高级数据分析的人员业务报告和商业智能解决方案对了解过去和现在的状况可能是非常有用的。但是，数据挖掘的预测分析解决方案还能使关注高级数据分析的人员预见未来的发展状况，使他们的机构能够先发制人，而不是处于被动。因为数据挖掘的预测分析解决方案将复杂的统计方法和机器学习技术应用到数据之中，通过使用预测分析技术来揭示隐藏在交易系统或企业资源计划（ERP）、结构数据库和普通文件中的模式与趋势，从而为这类人员的决策提供科学依据。如何阅读本书本书共15章，分两篇：基础篇和实战篇。基础篇介绍了数据挖掘的基本原理，实战篇介绍了一个个真实案例，通过对案例深入浅出
12、的剖析，使读者在不知不觉中通过案例实践获得数据挖掘项目经验，同时快速领悟看似难懂的数据挖掘理论。读者在阅读过程中，应充分利用随书配套的案例建模数据，借助相关的数据挖掘建模工具，通过上机实验快速理解相关知识与理论。基础篇（第15章），第1章的主要内容是数据挖掘概述；第2章对Python以及本书所用到的数据挖掘建模库进行了简明扼要的说明；第3章、第4章和第5章对数据挖掘的建模过程，包括数据探索、数据预处理及挖掘建模的常用算法与原理进行介绍。实战篇（第615章），重点对数据挖掘技术在电力、航空、医疗、互联网、生产制造以及公共服务等行业的应用进行分析。在案例结构组织上，本书是按照先介绍案例背景与挖掘目
13、标，再阐述分析方法与过程，最后完成模型构建的顺序进行的，在建模过程的关键环节穿插程序实现代码。最后通过上机实践，加深对数据挖掘技术在案例应用中的理解。勘误和支持除封面署名外，参加本书编写工作的还有杨坦、肖刚、刘名军、樊哲、廖晓霞、周龙、焦正升等。由于笔者的水平有限，加之编写时间仓促，书中难免会出现错误或者不准确的地方，恳请读者批评指正。为此，读者可通过作者微信公众号TipDM（微信号：TipDataMining）、TipDM官网（ ）反馈有关问题。也可通过热线电话（40068-40020）或企业QQ（40068-40020）进行在线咨询。读者可以将书中的错误及遇到的任何问题反馈给我们，我们将尽
14、量在线上为读者提供最满意的解答。本书的全部建模数据文件及源程序，可以从“泰迪杯”全国大学生数据挖掘竞赛网站（www.tipdm.org ）下载，我们会将相应内容的更新及时发布出来。如果您有更多的宝贵意见，欢迎发送邮件至邮箱，期待能够得到您的真挚反馈。致谢在本书编写过程中，得到了广大企事业单位及科研人员的大力支持！在此谨向中国电力科学研究院、广东电力科学研究院、广西电力科学研究院、广东电信规划设计院、珠江/黄海水产研究所、轻工业环境保护研究所、华南师范大学、广东工业大学、广东技术师范学院、南京中医药大学、华南理工大学、湖南师范大学、韩山师范学院、广东石油化工学院、中山大学、广州泰迪智能科技有限公
15、司、武汉泰迪智慧科技有限公司等单位给予支持的专家与师生致以深深的谢意。本书得到华北科技学院“应用数学”校级重点学科建设项目资助（项目编号hkxjzd 201402），同时在本书的编辑和出版过程中还得到了参与“泰迪杯”全国大学生数据挖掘建模竞赛（http:/www.tipdm.org ）的众多师生，以及机械工业出版社杨福川、高婧雅等人的无私帮助与支持，在此一并表示感谢。张良均基础篇第1章 数据挖掘基础第2章 Python数据分析简介第3章 数据探索第4章 数据预处理第5章 挖掘建模第1章 数据挖掘基础1.1 某知名连锁餐饮企业的困惑国内某餐饮连锁有限公司（以下简称T餐饮）成立于1998年，主要经
16、营粤菜，兼顾湘菜、川菜等综合菜系。至今已经发展成为在国内具有一定知名度、美誉度，多品牌、立体化的大型餐饮连锁企业。员工1000多人，拥有16家直营分店，经营总面积近13000平方米，年营业额近亿元。其旗下各分店均坐落在繁华市区主干道，雅致的装潢，配之以精致的饰品、灯具、器物，出品精美，服务规范。近年来餐饮行业面临较为复杂的市场环境，与其他行业一样，餐饮企业都遇到了原材料成本升高、人力成本升高、房租成本升高等问题，这也使得整个行业的利润急剧下降。人力成本和房租成本的上升是必然趋势，如何在保持产品质量的同时提高企业效率，成为了T餐饮企业急需解决的问题。从2000年开始，T餐饮企业通过加强信息化管理
17、来提高效率，目前已上线的管理系统如下。（1）客户关系管理系统客户关系管理系统详细记录了每位客人的喜好，为顾客提供个性化服务，满足客户个性化需求。通过客户关怀，提高客户的忠诚度。例如，企业能随时查询今天哪位客人过生日或其他纪念日，根据客人的价值分类进行相应关怀，如送鲜花、生日蛋糕和寿面等。通过本系统，还可对客户行为进行深入分析，包括客户价值分析、新客户分析与发展，并根据其价值情况提供给管理者，为企业提供决策支持。（2）前厅管理系统前厅管理系统通过掌上电脑无线点菜方式，改变了传统“饭店点菜、下单、结账一支笔、一张纸，服务员来回跑的局面”，快速完成点菜过程。通过厨房自动送达信息，服务员的写菜速度加快
18、，不需要再通过手写，同时传菜部也轻松不少，菜单会通过电脑自动打印出来，差错率降低，也不存在厨房人员看不懂服务员字迹而搞错的问题。（3）后厨管理系统信息化技术可实现后厨与前厅沟通无障碍，客人菜单瞬间传到厨房。服务员只需单击掌上电脑的发送键，客人的菜单即被传送到收银管理系统中，由系统的电脑发出指令，设在厨房等处的打印机立即打印出相应的菜单，厨师按单做菜。与此同时，收银台也打印出一张同样的菜单放在客人桌上，以备客人查询以及作结账凭据，使客人明明白白地消费。（4）财务管理系统财务管理系统完成销售统计、销售分析、财务审计，实现对日常经营销售的管理。通过报表，企业管理者很容易掌握前台的销售情况，从而达到对
19、财务的控制。通过表格和图形显示餐厅的销售情况，如菜品排行榜、日客户流量、日销售收入分析等；通过统计每天的出菜情况，我们可以了解哪些是滞销菜，哪些是畅销菜，从而了解顾客的品位，有针对性地制定出一套既适合餐饮企业发展又能迎合顾客品位的菜肴体系和定价策略。（5）物资管理系统物资管理系统主要完成对物资的进销存，实际上就是一套融采购管理（入库、供应商管理、账款管理）、销售（通过配菜卡与前台销售联动）、盘存为一体的物流管理系统。对于连锁企业，还涉及统一配送管理等。通过以上信息化的建设，T餐饮已经积累了大量的历史数据，有没有一种方法可帮助企业从这些数据中洞察商机，提取价值？在同质化的市场竞争中，怎样找到一些市场以前并不存在的“捡漏”和“补缺”呢？
