1、云计算云计算(1)(1)Cloud Computing北京邮电大学计算机学院袁燕妮物联网技术云计算概述第1页提要1.云计算与大数据2.云计算概念与特征3.云计算发展现实状况 4.云计算关键技术5.云计算关键算法6.OpenStack与Docker7.云计算几个相关专题 8.中国云计算发展前景和问题9.总结与展望物联网技术云计算概述第2页1.1云计算起源1983年1.云计算与大数据物联网技术云计算概述第3页We have a dream We have a dream 愿景愿景愿景愿景:计算机计算机服务能力服务能力能够作为一个商品进行流通。就像能够作为一个商品进行流通。就像水、电、水、电、气一样
2、取之方便，费用低廉气一样取之方便，费用低廉1.云计算与大数据物联网技术云计算概述第4页云计算愿景p云计算利用分布式计算和虚拟资源管理等技术，经过网络将分散IT 资源集中起来形成共享资源池，以动态、按需和可度量方式向用户提供服务。p用户可使用各种形式终端(PC、平板电脑、智能手机等)经过网络接入云，获取资源服务。p“云”中资源在用户端看来可无限扩展，随时获取，按需使用，按使用付费。1.云计算与大数据物联网技术云计算概述第5页云计算概念提出p8月9日，Google首席执行官埃里克施密特（Eric Schmidt）在搜索引擎大会（SES San Jose）首次提出“云计算”（Cloud Comput
3、ing）概念。Google“云端计算”源于Google工程师克里斯托弗比希利亚所做“Google 101”项目。p为何是Google一个企业首先提出呢？p绞尽脑汁降低成本、实现盈利最大化p用廉价集群，而不是昂贵超级计算机支撑大型互联网应用p云是网络、互联网一个比喻说法。1.云计算与大数据物联网技术云计算概述第6页虚拟服务服务器集群和虚拟化服务器集群和虚拟化专业服务造成服专业服务造成服务器多样化务器多样化更多任务由服务器负担更多任务由服务器负担服务器登场服务器登场浏览器/服务器客户机/服务器服务器井喷服务器托管服务器托管形成市场服务器托管形成市场搜索服务器搜索服务器视频服务器视频服务器安全服务器
4、安全服务器邮件服务器邮件服务器数据服务器数据服务器互联网资源配置变迁互联网资源配置变迁出现了基于云计算各种服务模式物联网技术云计算概述第7页（1 1）数据在云端）数据在云端 不怕丢失不怕丢失 无须备份无须备份（2 2）软件在云端）软件在云端 无须下载无须下载 自动升级自动升级（3 3）无所不在云计算）无所不在云计算 任何设备任何设备 登录后就是你登录后就是你（4 4）无限强大云计算）无限强大云计算 无限空间无限空间 无限速度无限速度云计算时代到来 标志：计算和数据资源日益迁移到云（互联网）上，用户使用资源不在客户端而在网络中。1.云计算与大数据物联网技术云计算概述第8页 搜索（baidu、谷歌
5、）、网上银行、在线购物（亚马逊、淘宝、京东）、社交网络（微信、微博、Facebook、开心网、人人网）、互联网金融、网络云盘、即时通讯（MSN、QQ）、有道词典、搜狗输入法、360杀毒软件、电子邮件（Gmail）等等。触手可及云应用触手可及云应用1.云计算与大数据物联网技术云计算概述第9页1.21.2大数据时代大数据时代云计算第三版配套PPT课件“大数据”(Big Data)搜索指数数据起源：baidu指数 baidu“大数据”这个词从才引发关注，之后搜索量便迅猛增加。为何大数据这么受关注？1.云计算与大数据10物联网技术云计算概述第10页(EB)(年份)全球数据总量改变图1.1大数据时代云计
6、算第三版配套PPT课件1.云计算与大数据1.21.2大数据时代大数据时代物联网技术云计算概述第11页为何全球数据量增加如此之快？物联网技术云计算概述第12页一：数据产生方式改变二：人类活动越来越依赖数据1.人类日常生活已经与数据密不可分2.科学研究进入了“数据科学”时代3.各行各业也越来越依赖大数据伎俩来开展工作1.1大数据时代云计算第三版配套PPT课件1.云计算与大数据4.技术发展大势所趋物联网，将深入推进数据大规模增加1.21.2大数据时代大数据时代物联网技术云计算概述第13页何谓大数据？物联网技术云计算概述第14页海量数据或巨量数据，其规模巨大到无法经过当前主流计算机系统在合理时间内获取
7、、存放、管理、处理并提炼以帮助使用者决议。定义15物联网技术云计算概述第15页1C4V多样（Variety）快速（Velocity）价值密度低（Value）复杂度（Complexity）数据量大（Volume）存放数据量巨大，PB级别是常态，因而对其分析计算量也大。数据起源及格式多样，数据格式除了传统结构化数据外，还包含半结构化或非结构化数据，比如用户上传音频和视频内容。而伴随人类活动深入拓宽，数据起源愈加多样。对数据处理和分析难度大。数据增加速度快，而且越新数据价值越大，这就要求对数据处理速度也要快，方便能够从数据中及时地提取知识，发觉价值。在成本可接收条件下，经过快速采集、发觉和分析，从大
8、量、各种类别数据中提取价值体系架构。1.1大数据时代云计算第三版配套PPT课件1.云计算与大数据1.21.2大数据时代：大数据特征大数据时代：大数据特征16物联网技术云计算概述第16页G=f(x)大数据与云计算关系我们目标云计算大数据云计算第三版配套PPT课件1.2云计算大数据计算1.云计算与大数据17物联网技术云计算概述第17页提要1.云计算与大数据2.云计算概念与特征3.云计算发展现实状况 4.云计算关键技术5.云计算关键算法6.OpenStack与Docker7.云计算几个相关专题 8.中国云计算发展前景和问题9.总结与展望物联网技术云计算概述第18页广泛被接收定义：美国国家标准与技术研
9、究院，NIST）云计算精简定义 云计算是一个按使用量付费模式，这种模式提供可用、便捷、按需网络访问，进入可配置计算资源共享池（资源包含网络，服务器，存放，应用软件，服务），这些资源能够被快速提供，只需投入极少管理工作，或与服务供给商进行极少交互。云计算是经过网络 按需提供可动态伸缩廉价计算服务。2.1 云计算概念云计算概念物联网技术云计算概述第19页云计算超大规模虚 拟 化高可靠性通 用 性高可伸缩性按需服务极其廉价云计算特点2.2云计算特征云计算特征物联网技术云计算概述第20页2.2云计算特征资源池：计算资源汇聚在一起，经过多租户模式服务多个消费者。在物理上，资源以分布式共享方式存在，但最终
10、在逻辑上以单一整体形式展现给用户。按需、自助：用户能够依据本身实际需求，经过网络方便地进行计算能力申请、配置和调用，服务商能够及时进行资源分配和回收。物联网技术云计算概述第21页2.2云计算特征快速弹性：服务商计算能力能够快速而弹性地实现供给。服务商能够依据访问用户多少，增减对应IT资源（包含CPU、存放、带宽和软件应用等），使得IT资源规模能够动态伸缩，满足应用和用户规模改变需要。广泛网络访问：使用者不需要布署相关复杂软硬件基础设施和应用软件，直接经过互联网或企业内部网访问即可获取云中计算资源。物联网技术云计算概述第22页2.2云计算特征可度量服务：云服务系统能够依据服务类型提供对应计量方式
11、，如依据用户使用云资源时间长短和资源多少进行服务收费。所以，云服务平台都让您能够快速访问灵活且成本低廉 IT 资源。透过云计算，您无需先期巨款投入硬件，再花大量时间来维护和管理这些硬件。与此相反，您能够精准配置所需适当类型和规模计算资源，您能够依据需要访问任意多资源，基本是实时访问，而且只需按实际用量付费。物联网技术云计算概述第23页云计算把 IT 资源看成服务来提供p应用程序、计算能力、存放容量、网络、编程工具、通信服务、协作工具等等。大部分云计算基础构架是由经过数据中心传送可信赖服务和建立在服务器上不一样层次虚拟化技术组成。人们能够在任何有提供网络基础设施地方使用这些服务。云计算软件和数据
12、均存放在数据中心，并经过Web方式提供通用商业应用服务用户（云客户端）能够在各类设备上运行Web浏览器，访问云计算平台上在线应用服务。2.3云计算服务类型云端：“一切即服务”（XaaS）物联网技术云计算概述第24页将软件作为服务SaaS（Software as a Service）将平台作为服务PaaS（Platform as a Service）将基础设施作为服务IaaS（Infrastructure as a Service）针对性更强，它将一些特定应用软件功效封装成服务如：Salesforce online CRM对资源抽象层次更深入，提供用户应用程序运行环境如：Google App E
13、ngine Microsoft Windows Azure将硬件设备等基础资源封装成服务供用户使用如：Amazon EC2/S3云计算按服务类型大致分为三类：专用通用云服务2.3云计算服务类型物联网技术云计算概述第25页“一切皆服务”，XaaS物联网技术云计算概述第26页“信息时代核电站”Google数据中心物联网技术云计算概述第27页云计算将计算变成了大众用得上和用得起“水和电”成 本 资源利用率 硬件成本电价管理费用10%15%80%57倍30倍节约总成本云计算较之传统方式性价比优势云计算压倒性成本优势2.4云计算优势低成本物联网技术云计算概述第28页p从为我全部到为我所用买服务p无需关注
14、是谁提供服务，只关注自己真正需要什么样资源或者得到什么样服务。最大好处：能提供灵活、个性化、多样化、简单应用和服务。2.4云计算优势灵活物联网技术云计算概述第29页提要1.云计算与大数据2.云计算概念与特征3.云计算发展现实状况 4.云计算关键技术5.云计算关键算法6.OpenStack与Docker7.云计算几个相关专题 8.中国云计算发展前景和问题9.总结与展望物联网技术云计算概述第30页 互联网上大量计算资源和服务器井喷 如Google,Amazon,Hotmail各自独立提各自独立提供网络服务供网络服务 基础设施服务商如 Amazon Web services搜搜索索论论坛坛邮邮件件购
15、购物物聊聊天天 软件服务商如Google map和Apple服务平台服务商如和Google APP Engine软件服务商如salesforce软件集成服务商如programmable web著名著名软件软件服务服务商同商同时也时也能够能够成为成为其它其它SaaSSaaS供给供给商基商基础平础平台台云计算中心内部生态链物联网技术云计算概述第31页云层集结 IT巨头纵向整合产业链物联网技术云计算概述第32页微软紧跟云计算步伐，推出了Windows Azure操作系统亚马逊云计算称为Amazon Web Services（AWS）谷歌是最大云计算技术使用者国外云计算先行者33物联网技术云计算概述第
16、33页率先在全球提供了弹性计算云EC2（Elastic Computing Cloud）和简单存放服务S3（Simple Storage Service），为企业提供计算和存放服务。收费服务项目包含存放空间、带宽、CPU资源以及月租费。AWS（Amazon Web Services）服务种类非常齐全全球用户数量100万+https:/ Machine Image，AMI）是包含了操作系统、服务器程序、应用程序等软件配置模板当用户使用EC2服务去创建自己应用程序时，首先需要构建或获取对应AMI四种获取AMI路径无偿使用Amazon提供公共AMI依据本身需要定制一个或多个私有AMI向开发者付费购置
17、AMI使用其它开发者分享共享AMI1234构建好AMI分为Amaznon EBS支持和实例存放支持两类物联网技术云计算概述第36页实例（Instance）EC2中实例由AMI开启，能够像传统主机一样提供服务。同一个AMI能够用于创建含有不一样计算和存放能力实例。Amazon提供了各种不一样类型实例，分别在计算、GPU、内存、存放、网络、费用等方面进行了优化Amazon还允许用户在应用程序需求发生变更时，对实例类型进行调整，从而实现按需付费。Amazon EC2还为实例提供了许多附加功效，帮助用户更加好地布署和管理应用程序。弹性计算云EC2物联网技术云计算概述第37页p例：亚马逊 EC2p按需实
18、例：使用按需实例，您只需要按小时支付计算容量费用，无需签署长久协议或交纳预付款。您能够依据应用程序需求提升或降低计算容量，而且只需按要求小时费率为所使用实例付费。p按需实例推荐用途：n希望拥有低成本和 Amazon EC2 提供灵活性，而且无法支付预付款或签署长久协议用户n含有短期、难应付或无法预测且不能中止工作负载应用程序n首次在 Amazon EC2 上开发或测试应用程序 38收费模式收费模式物联网技术云计算概述第38页p例：亚马逊 EC2p竞价型实例：Amazon EC2 竞价型实例让您能够对空闲 Amazon EC2 计算容量进行竞价，与按需实例价格相比，这类实例最多能够节约 90%成
19、本。p竞价实例推荐用途：n开始时间和结束时间灵活应用程序n只能承受极低计算价格应用程序n含有紧急计算需要，需要获取大量附加容量用户39收费模式收费模式物联网技术云计算概述第39页p例：亚马逊 EC2p预留实例:与按需实例定价相比，预留实例可为您提供大幅折扣(最高可达 75%)。另外，预留实例在分配给特定可用区后，能够提供容量预留，让您更相信自己能够按需开启实例。p对于使用率稳定或能够预测应用程序，与使用按需实例相比，预留实例可节约大量成本。p预留实例推荐用途：n使用率稳定应用程序n可能需要预留容量应用程序n愿意使用 EC2 1 年或 3 年以上来降低总计算成本客户收费模式收费模式物联网技术云计
20、算概述第40页亚马逊IaaS应用经典案例：纽约时报使用使用亚马逊云计算服务亚马逊云计算服务效果：效果：在不到 24个小时时间里处理了1100万篇文章（转为PDF文件）费用：费用：累计花费240美元利用自己服务器利用自己服务器时间：时间：数月时间费用：费用：多得多费用 41物联网技术云计算概述第41页为何成功pAmazonAmazon在云计算方面成功并非其一开始就在云计算方面成功并非其一开始就要成为云计算供给商，而是因为其在电子要成为云计算供给商，而是因为其在电子商务方面出众成就，将庞大闲置资源经过商务方面出众成就，将庞大闲置资源经过其先进其先进Web ServicesWeb Services技
21、术提供给需要人们技术提供给需要人们使用。使用。42物联网技术云计算概述第42页最大云计算技术使用者谷歌搜索引擎就建立在分布在200多个站点、超出100万台服务器支撑之上，而且这些设施数量还在迅猛增加发表学术论文形式公开其云计算三大法宝：GFS、MapReduce和Bigtable，并在美国、中国等高校开设怎样进行云计算编程课程采取Google Docs之类应用，用户数据会保留在互联网上某个位置，能够经过任何一个与互联网相连终端十分便利地访问和共享这些数据谷歌已经允许第三方在谷歌云计算中经过Google App Engine运行大型并行应用程序https:/cloud.谷歌.com/43物联网技
22、术云计算概述第43页44云产品https:/cloud.谷歌.com/products/物联网技术云计算概述第44页45收费模式https:/cloud.谷歌.com/products/，灵活多样物联网技术云计算概述第45页Google应用商店p3月9日Google正式宣告Google Apps Marketplace开始运行，从而将应用商店概念引入到云计算领域。pGoogle Apps Marketplace为Google用户提供各类产品和服务，包含可安装能直接集成GoogleApps应用程序。p这些应用程序非常轻易使用，支持单点登录、Google通用导航、以及能集成用户自己数据特征。46h
23、ttps:/developers.谷歌.com/apps-marketplace/物联网技术云计算概述第46页微软于10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后，微软又一次颠覆性转型。微软云平台包含几十万台服务器.在中国，微软3月27日宣告由世纪互联负责运行Microsoft Azure公有云服务正式商用，这是国内首个正式商用国际公有云服务平台。Azure底层是微软全球基础服务系统，由遍布全球第四代数据中心组成。微软将为Windows Azure用户推出许多新功效，不但能更简单地将现有应用程序转移到云中，而且能够加强云托管应用程序可
24、用服务，充分表达出微软“云”+“端”战略。47物联网技术云计算概述第47页微软云计算服务平台Windows Azure属于PaaS模式，普通面向是软件开发商。当前版本Windows Azure平台包含4个组成部分Windows AzureSQL AzureWindows Azure AppFabricWindows Azure Marketplace作为微软云计算操作系统，提供了一个在微软数据中心服务器上运行应用程序和存放数据Windows环境它是云中关系数据库，为云中基于SQL Server关系型数据提供服务为在云中或当地系统中应用提供基于云基础架构服务为购置云计算环境下数据和应用提供在线服
25、务微软云计算平台48物联网技术云计算概述第48页Windows Azure平台体系架构Windows AzureAppFabricSQL AzureWindows Azure应用Windows AzureMarketplace49物联网技术云计算概述第49页Sp客户应用经典代表客户应用经典代表 提供可灵活定制提供可灵活定制 CRM 平台平台p采取了多租户架构，使得全部用户和应用程序共享一采取了多租户架构，使得全部用户和应用程序共享一个实例，同时又能够按需满足不一样客户要求个实例，同时又能够按需满足不一样客户要求50物联网技术云计算概述第50页CRM 和云计算p借助多租户架构（类似于 A 和 G
26、oogle），全部客户共享一个通用技术，运行于最新版本之上，并受益于自动升级。所以，它们能够集中精力经营业务，而无须管理技术。pSS 是企业级云计算领导者。CRM 应用程序（Sales Cloud 和 Service Cloud），运行在F 平台和架构之上，完全基于互联网。nSales Cloud：全球首屈一指销售应用程序 nF：是一个CRM 云平台 51物联网技术云计算概述第51页Sales Cloud pSales Cloud： 销售应用程序pSales Cloud 是最为完善销售应用程序：从潜在客户到投标，再到分析和控制，Sales Cloud 均可提升并优化全部销售阶段。p这使得用户能
27、够使用更少时间，跟踪更多销售机会，做出愈加准确预测，并实现销售业绩连续增加。Sales Cloud 含有直观界面，可轻松实现自定义，所以广为众多用户所接收。52物联网技术云计算概述第52页Fp是构建企业应用程序云平台p使用诸如 WebLogic、WebSphere 和 Microsoft.Net 等工具开发应用程序和网站通常都会碰到速度低、程序复杂且成本高昂问题。现在，F 为业务应用程序和网站提供了新一代云平台。p使用 F 平台，开发人员无需购置硬件或安装软件即可快速创建丰富、协作企业应用程序。p构建应用程序速度比原来快 5 倍，而成本仅为原来二分之一 p轻松将应用程序布署给任何人、布署到任何
28、位置 p让应用程序马上具备协作性和移动性 p完善、兼具协作功效和值得信赖开发平台p与传统开发平台相比，在 F 上构建应用程序更加快更简单。F 包含数据库、安全性、工作流、用户界面和逐步引导您构建功效强大业务应用程序、移动应用程序和网站其它工具。53物联网技术云计算概述第53页为何成功pS是一家提供商务软件在线软件即服务（SaaS）企业，用户每个月需要支付类似租金费用来使用网站上各种服务。p最著名产品是客户关系管理（CRM），以SaaS模式经过Internet提供业务。服务包括客户关系管理各个方面，从普通联络人管理，产品目录到订单管理，机会管理，销售管理等。p获福布斯杂志选为发展最快速科技企业，
29、排名仅次Google。并成为首家年度收入达10亿美元企业云计算企业。54物联网技术云计算概述第54页国内云计算崛起代表企业存放服务为特色多处拥有云计算数据中心游戏托管为特色国际上云计算产品最全提供类似AWS服务专门支撑智能硬件大数据无偿托管55物联网技术云计算概述第55页提要1.云计算与大数据2.云计算概念与特征3.云计算发展现实状况 4.云计算关键技术5.云计算关键算法6.OpenStack与Docker7.云计算几个相关专题 8.中国云计算发展前景和问题9.总结与展望物联网技术云计算概述第56页4.1虚拟化虚拟化是实现云资源共享关键技术虚拟存放虚拟机虚拟网络虚拟小区虚拟计算能力计算设施本身
30、细节和物理位置对用户透明。57物联网技术云计算概述第57页4.2分布式任务和分布式数据管理 为满足业界对“大数据”处理需求，需要实现在底层大规模ICT 资源上进行分布式海量计算，并对大量结构化与非结构化数据进行存放与管理。p分布式计算p分布式文件系统p分布式数据库58物联网技术云计算概述第58页4.3分布式计算技术p经典代表：谷歌MapReduce。将可分解处理任务分配至多个节点同时完成，提升处理效率。p基本思想：将一个大规模处理任务分解为同质化较小处理任务，并分散在不一样计算节点中完成，之后对结果进行汇总，得到最终处理结果。59物联网技术云计算概述第59页MapReduce这种并行编程模式并
31、行编程模式思想最早是在1995年年提出。与传统分布式程序设计相比，MapReduce封装了并行处理、容并行处理、容错处理、当地化计算、负载均衡错处理、当地化计算、负载均衡等细节，还提供了一个简单而简单而强大接口强大接口。MapReduce把对数据集大规模操作，分发给一个主节点管理下各分发给一个主节点管理下各分节点分节点共同完成，经过这种方式实现任务可靠执行与容错机制实现任务可靠执行与容错机制。产生背景产生背景2.2 分布式数据处理MapReduceGoogle MapReduce架构设计师Jeffrey Dean4.3分布式计算技术60物联网技术云计算概述第60页编程模型编程模型MapMapM
32、apReduceReduce原始数据 1原始数据 2原始数据 M结果 1结果 RMap函数函数对一部分原始数据进行指定操作。每个Map操作都针对不一样原始数据，所以Map与Map之间是相互独立，这使得它们能够充分并行化。Reduce操作对每个Map所产生一部分中间结果进行合并操作，每个Reduce所处理Map中间结果是互不交叉，全部Reduce产生最终止果经过简单连接就形成了完整结果集.2.2 分布式数据处理MapReduce4.3分布式计算技术61物联网技术云计算概述第61页编程模型编程模型Map:(in_key,in_value)(keyj,valuej)|j=1kReduce:(key,
33、value1,valuem)(key,final_value)Map输入参数：in_key和in_value，它指明了Map需要处理原始数据 Map输出结果：一组对，这是经过Map操作后所产生中间结果 Reduce输入参数：（key,value1,valuem）Reduce工作：对这些对应相同keyvalue值进行归并处理Reduce输出结果：（key,final_value），全部Reduce结果并在一起就是最终止果 2.2 分布式数据处理MapReduce4.3分布式计算技术62物联网技术云计算概述第62页实现机制实现机制4.3分布式计算技术物联网技术云计算概述第63页实现机制实现机制（1
34、）MapReduce函数首先把输入文件分成输入文件分成M块块（2）分配执行程序中有一个主控程序主控程序Master（3）一个被分配了Map任务Worker读取并处理相关输入块（4）这些缓冲到内存中间结果将被定时写到当地硬盘，这些数据经数据经过分区函数分成过分区函数分成R个区个区（5）当Master通知执行ReduceWorker关于中间正确位置时，它调用远程过程，从Map Worker当地硬盘上读取缓冲中间数据（6）Reduce Worker依据每一个唯一中间key来遍历全部排序后中间数据，而且把key和相关中间结果值集合传递给用户定义Reduce函数（7）当全部Map任务和Reduce任务都
35、完成时候，Master激活用户程序4.3分布式计算技术物联网技术云计算概述第64页第一个步骤第一个步骤对原始数据进行分割（Split），得到N个不一样数据分块。2.2 分布式数据处理MapReduce怎样经过MapReduce完成排序工作，使其有序（字典序）呢？4.3分布式计算技术物联网技术云计算概述第65页第二个步骤第二个步骤对每一个数据分块都开启一个Map进行处理。采取桶排序方法，每个Map中按照首字母将字符串分配到26个不一样桶中。怎样经过MapReduce完成排序工作，使其有序（字典序）呢？4.3分布式计算技术66物联网技术云计算概述第66页第三个步骤第三个步骤对于Map之后得到中间结
36、果，开启26个Reduce。按照首字母将Map中不一样桶中字符串集合放置到对应Reduce中进行处理。怎样经过MapReduce完成排序工作，使其有序（字典序）呢？4.3分布式计算技术物联网技术云计算概述第67页4.4分布式文件系统p经典代表：谷歌GFS 实现了大文件在多个节点上分布式存放，可满足高并发I/O 访问需求。p基本思想：将数据分为一样大小（GFS 中最初为64M）文件块，分散存放在不一样服务器之中，由一个元数据服务器来进行统一管理，并为用户提供数据读写块地址。p优点：n支持用户对数据高并发读写，提升了I/O 能力n实现对数据低成本容错保护n实现存放系统弹性扩展68物联网技术云计算概
37、述第68页谷歌谷歌GFS系统架构系统架构应用程序GFS客户端(文件名，Chunk索引)(Chunk句柄 Chunk位置)GFS主服务器文件命名空间/foo/barChunk2ef0向数据块服务器发出指令数据块服务器状态GFS数据块服务器Linux文件系统GFS数据块服务器Linux文件系统(Chunk句柄，字节范围)Chunk数据标注：数据信息控制信息2.1 Google文件系统GFS4.4分布式文件系统物联网技术云计算概述第69页GFS将整个系统节点分为三类角色将整个系统节点分为三类角色Client（客户端）Master（主服务器）Chunk Server（数据块服务器）Client是GFS
38、提供给应用程序访问接口，以库文件形式提供Master是GFS管理节点，负责整个文件系统管理Chunk Server负责详细存放工作系统节点系统节点GFS2.1 Google文件系统GFS4.4分布式文件系统物联网技术云计算概述第70页GFS实现机制实现机制客户端首先访问Master节点，获取交互Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。这种设计方法实现了控制流和数据流分离。Client与Master之间只有控制流，而无数据流，极大地降低了Master负载。Client与Chunk Server之间直接传输数据流，同时因为文件被分成多个Chunk进行分
39、布式存放，Client能够同时访问多个Chunk Server，从而使得整个系统I/O高度并行，系统整体性能得到提升。2.1 Google文件系统GFS4.4分布式文件系统物联网技术云计算概述第71页4.5分布式数据库 在互联网应用中，为处理大量文本、图像、声音和视频等非结构化数据，出现了众多可支持非结构化数据数据库（谷歌BigTable，Hadoop 项目中Hbase等)n采取了与GFS 类似架构n含有高可扩展性n支持分布式存放n采取开源方式公布72物联网技术云计算概述第72页Bigtable数据存放格式数据存放格式2.4 分布式结构化数据表BigtableBigtable是一个分布式多维映
40、射表，表中数据经过一个行关键字（Row Key）、一个列关键字（Column Key）以及一个时间戳（Time Stamp）进行索引Bigtable存放逻辑能够表示为：(row:string,column:string,time:int64)string4.5分布式数据库物联网技术云计算概述第73页2.4 分布式结构化数据表Bigtable行列时间戳Bigtable行关键字能够是任意字符串，不过大小不能够超出64KB表中数据都是依据行关键字进行排序，排序使用是词典序同一地址域网页会被存放在表中连续位置倒排便于数据压缩，能够大幅提升压缩率将其组织成所谓列族（Column Family）族名必须有
41、意义，限定词则能够任意选定组织数据结构清楚明了，含义也很清楚族同时也是Bigtable中访问控制（Access Control）基本单元Bigtable中时间戳是64位整型数，详细赋值方式能够用户自行定义Google很多服务比如网页检索和用户个性化设置等都需要保留不一样时间数据，这些不一样数据版本必须经过时间戳来区分。4.5分布式数据库Bigtable数据存放格式数据存放格式物联网技术云计算概述第74页4.6云计算开发技术开源化Hadoop：实际上云计算标准 云计算领域软件开源化趋势十分显著，最具代表性是由雅虎创建，当前由Apache 基金会支持Hadoop 项目。pHadoop 项目：实现了
42、谷歌MapReduce、GFS 和BigTable 关键功效，是当前业界广泛采取分布式计算系统架构。pIBM、Facebook、Rackspace 等著名企业都在利用Hadoop 开发分布式计算集群系统。75物联网技术云计算概述第75页Hadoop生态系统76http:/hadoop.apache.org/物联网技术云计算概述第76页77Spark 生态系统http:/spark.apache.org/采取Scala语言开发物联网技术云计算概述第77页78Spark 生态系统物联网技术云计算概述第78页79Spark 生态系统实时流式数据采集与处理基于内存RDD、Dataframe并行大数据处
43、理编程模式物联网技术云计算概述第79页80OpenStack是一个由NASA（美国国家航空航天局）和Rackspace合作研发并发起，以Apache许可证授权自由软件和开放源代码项目。OpenStack是一个云操作系统框架。OpenStack支持几乎全部类型云环境，项目目标是提供实施简单、可大规模扩展、丰富、标准统一云计算管理平台。OpenStack经过各种互补服务提供了基础设施即服务（IaaS）处理方案，每个服务提供API以进行集成。OpenStack是一个意在为公共及私有云建设与管理提供软件开源项目。它小区拥有超出130家企业及1350位开发者，这些机构与个人都将OpenStack作为基础
44、设施即服务（IaaS）资源通用前端。OpenStack项目标首要任务是简化云布署过程并为其带来良好可扩展性。4.6云计算开发技术开源化-OpenStack物联网技术云计算概述第80页814.6云计算开发技术开源化-容器开源软件DockerpDocker 是一个开源应用容器引擎，让开发者能够打包他们应用以及依赖包到一个可移植容器中，然后公布到任何流行 Linux 机器上，也能够实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。pDocker自以来非常炽热，不论是从 github 上代码活跃度，还是Redhat在RHEL6.5中集成对Docker支持,就连 Google Compute
45、Engine 也支持 docker 在其之上运行。物联网技术云计算概述第81页 云资源共享关键技术云资源共享关键技术-虚拟化虚拟化物联网技术云计算概述第82页p虚拟相对于真实，虚拟化就是将原本运行在真实环境虚拟相对于真实，虚拟化就是将原本运行在真实环境上计算机系统或组件运行在虚拟出来环境中。上计算机系统或组件运行在虚拟出来环境中。虚拟内存Java语言虚拟机虚拟化83物联网技术云计算概述第83页虚拟化定义84物联网技术云计算概述第84页虚拟化定义p虚拟化技术是一个调配计算资源方法n将不一样层面硬件、软件、数据、网络、存放隔离开来，从而打破数据中心、服务器、存放、网络、数据和应用中物理设备之间划分
46、，实现架构动态化，到达集中管理和动态使用物理资源及虚拟资源p三层含义：n虚拟化对象是各种各样资源n经过虚拟化后逻辑资源对用户隐藏了无须要细节n用户能够在虚拟环境中实现其在真实环境中部分或者全部功效85物联网技术云计算概述第85页虚拟化常见类型-基础设施虚拟化p网络虚拟化：将网络硬件和软件资源整合，向用户提供虚拟网络连接n虚拟局域网Virtual LANn虚拟专用网VPNp存放虚拟化：为物理存放设备提供一个抽象逻辑视图，用户能够经过这个视图中统一逻辑接口来访问被整合存放资源n基于存放设备存放虚拟化p磁盘阵列技术（RAID）n基于网络存放虚拟化p网络附加存放（NAS）、存放区域网（SAN）86物联
47、网技术云计算概述第86页虚拟化常见类型-系统虚拟化n实现操作系统与物理计算机分离，使得在一台物理计算机上能够同时安装和运行一个或多个虚拟操作系统n虚拟机：使用系统虚拟化技术，运行在一个隔离环境中、含有完整硬件功效逻辑计算机系统，包含操作系统和其中应用程序pVMware WorkstationpIBM z系列和p系列服务器87物联网技术云计算概述第87页虚拟化常见类型虚拟化常见类型-软件虚拟化软件虚拟化n应用虚拟化p将应用程序与操作系统解耦合，为应用程序提供一个虚拟运行环境n高级语言虚拟化p处理可执行程序在不一样体系结构计算机之间迁移问题88物联网技术云计算概述第88页服务器虚拟化p服务器虚拟化
48、将系统虚拟化技术应用于服务器上，将一个服务器虚拟成若干个服务器使用p服务器虚拟化经过虚拟化软件向上提供对硬件设备抽象和对虚拟服务器管理n虚拟机监视器（Virtual Machine Monitor）n虚拟化平台（Hypervisor）89物联网技术云计算概述第89页关键特征关键技术 三种硬件资源虚拟化：CPU、内存、设备和I/O，还有虚拟机实时迁移90服务器虚拟化物联网技术云计算概述第90页 关键技术（CPU虚拟化）p处理x86体系结构下CPU虚拟化问题软件方案p硬件辅助虚拟化:在CPU中加入新指令集和处理器运行模式来完成与CPU虚拟化相关功效91服务器虚拟化物联网技术云计算概述第91页关键技
49、术p实时迁移技术是在虚拟机运行过程中，将整个虚拟机运行状态完整、快速地从原来宿主机硬件平台迁移到新宿主机硬件平台上p整个过程是平滑，用户不会觉察p需要虚拟机监视器帮助92服务器虚拟化物联网技术云计算概述第92页 云计算实现机制云计算实现机制物联网技术云计算概述第93页服务接口服务注册服务查找服务访问服务工作流SOA构建层管理中间件层用户环境配置计算资源池存放资源池网络资源池数据资源池软件资源池计算机存放器网络设施数据库软件资源池层物理资源层账号管理用户管理任务管理资源管理用户交互管理使用计费身份认证访问授权综合防护安全审计安全管理任务调度映像布署和管理任务执行生命期管理故障检测负载均衡故障恢复
50、监视统计云计算功效体系架构94物联网技术云计算概述第94页计算机、存放器、网络设施、数据库和软件等 封装云计算能力成标准Web Services服务，并纳入到SOA体系云计算资源管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务 将大量相同类型资源组成同构或靠近同构资源池云计算体系结构SOA构建层 管理中间件层 物理资源层资源池层 管理中间件层和资源池层是云计算技术最关键部分，SOA构建层功效更多依靠外部设施提供。云计算实现机制95物联网技术云计算概述第95页均衡使用云资源节点，检测节点故障并试图恢复或屏蔽之，并对资源使用情况进行监视统计 资源管理 任务管理安全管理 用户管理
