zoukankan      html  css  js  c++  java
  • 读书笔记:云计算概念、技术和架构

    最近开始看之前买了好久的书《云计算概念、技术和架构》,最近公司和部门都在紧锣密鼓地推动云计算在生产运维中部署落地,未来的五年规划更是围绕云计算进行铺开,在这个背景下实在有必要多啃几本关于云计算的书籍才能跟得上公司技术发展脚步了。总而言之,这是一本入门的好书,在本文我会把其中精彩的观点摘录并结合网络搜集内容,以备后续查看,并作为读书笔记存档。

    1.关于云计算概念的定义区分。

    知乎用户@Jinn Xu谁能用诙谐幽默、一针见血的笔法剖析下“云计算”?中机智的回答:

    你娶了一个老婆,这叫传统IT架构
    你觉得一个老婆不够,这叫传统企业CIO的困境
    你又娶了一个老婆,这叫双活数据中心
    你在外地又娶了一个小老婆,这叫两地三中心容灾
    你娶了很多风格气质各异的小老婆,以至于形成了后宫,这叫私有云。你的后宫就叫计算资源池
    你从后宫里选出懂事有能的管理其他小老婆,这叫私有云管理方案。管事的那个就是HYPERV或VMWARE。
    你不娶小老婆,改成包养很多情人,这叫托管云。 你是穷人,没有钱包养任何人也没钱娶小老婆,你选择去洗浴中心解决问题,这叫面向中小企业的公有云服务。 你在享受公有云服务的同时还得交公粮,这叫中小企业的混合IT架构
    你是富人,但也喜欢去高级夜总会,这叫面向大企业用户的公有云服务
    你有钱,同时包养小老婆和情人,还去洗浴中心,这叫混合云。但是在混合云里,最关键的业务还是会谨慎地采用传统IT架构。
    你有钱,包养小老婆,但有一天所有小老婆都来大姨妈,你还得去洗浴中心,这叫CLOUD BURST
    洗浴中心就是云服务提供商。 本地最大的洗浴中心是AWS。 高端那个比如****是18M。 打出商务**的名头的是SALESFORCE。 在****上发帖“我们的技师服务态度超过对面家9倍”的是微软O记。
    不开洗浴中心,但是专门卖水床卖情趣床的是等灯等灯。 不开洗浴中心,但是做陌陌类应用开发运营的是C记。 本地的洗浴中心都是两个有背景的大老板开的,他们是OPENSTACK和CLOUDSTACK。
    场子小且只用本地或附近技师的是本土中小云服务商。 如果上头没人罩,本土中小云服务商很难开得长。 开洗浴中心的老板有政府背景,这是城市云。 开洗浴中心的老板有黑社会背景,这是电信云。 洗浴中心要VIP卡才让进,这是行业云。 洗浴中心只面向本小区业主服务,这是园区云
    你的小老婆们和情人们可能因为矛盾而让你的经济问题败露,这叫私有云安全问题。 你去洗浴中心可能染上病,这是公有云安全问题。 由此可见公有云和私有云的安全问题是两种不同性质的问题。 只提供场所,需要你自己去找技师的洗浴中心叫IAAS。 提供场所和技师的洗浴中心叫PAAS。 做到东莞ISO的程度就叫SAAS。 下载AV录像自己打飞机叫VAAS。
    一个有很多人分享心得的洗浴中心信息网站,这是开放数据中心联盟。 洗浴中心的行业协会叫CLOUD BUILDER。 下榻一家五星级宾馆,你习惯性地用你用微信陌陌定个位,这叫CLOUD FINDER。 良家妇女下海,这叫传统IT应用的云化。
    你去洗浴中心的经验很多,看见门脸就知道洗浴中心提不提供服务,看见新技师就能推测出服务质量,这叫数据分析和挖掘。 你把这些信息和心得有偿分享给其他人,你是大数据服务商。 一 个地方不严打洗浴中心,这是智慧城市。

    2. 在确定实施云计算方案之前,书中提出企业的管理者和运维人员必须明确以下的观点:

    • 并不是所有被打上“云”标签的产品和技术都已经足够成熟到可以实现真正的云计算效益。从本质上来说,云计算是提供服务的一种形式,和其他雇佣或者外包的服务一样,人们通常面对的是一个由服务提供商组成的市场,这些供应商具备不同的服务质量和可靠性。
    • 云计算的使用范围与其他使用方法同样重要,两者都取决于业务要求,而不是由产品的供应商、云供应商或者所谓的“云专家”来决定的。在使用云计算的每个阶段中,企业的业务目标都必须是具体的和可衡量的。
    • 企业决定采用云计算解决方案之前需要考虑的要素包括:IT策略,即通过云计算的解决方案来优化当前的IT框架,从而使得企业的持续的长期成本削减;商业利益,需要从当前的哪些应用和IT基础实施来实施云计算从而达到优化和成本降低的目的,同事也应该考虑如何实现云计算带来的商业灵活性、可拓展性和可靠性的商业收益;技术考量,如何建立标准来选择最合适的云交付和部署模型、云供应商和产品;云安全,如何确保和降低应用和数据迁移到云中的风险。
    • 企业在实施云方案应做好路线图设计,路线图包括的要素有:业务收益,明确云计算交付模型下具体的与服务范围标准化有关的业务收益;服务范围:需要明确转移到云计算上的服务和用户组别;技术挑战,理解和说明当前技术基础设施的限制于云计算模型对运行时处理的要求之间的关系,必须尽可能地利用现有的基础实施降低开发基于云的服务所占用的前期资本;定价和SLA,制定一个适当的合同、定价和服务质量策略。在设计路线图之后首先要改变当前的合同格式以及确定对业务和客户产生的影响。

    3.本文对云计算定义是:云计算是分布式计算的一种特殊形式,它引入效用模型来远程供给可拓展和可测量的资源。云计算的商业动机包括三个方面:

    1. 容量规划,IT资源容量和需求之间的平衡在企业进行容量规划中无法相等,往往出现过度配置或者配置不足的问题;
    2. 降低成本,与容量矛盾相似,IT成本与业务性能之间的平衡很难达到,书中提到一个很有意思的观点:持续的内部技术基础设施所有权带来的是沉重的责任。似乎与UP-DATA部门现有情况有所对应。这种责任对于企业的反应能力、盈利能力和总体发展有负面的影响。
    3. 组织的灵活性,外部变化、业务需求变更和优先级调整都对IT资源的可拓展性、可用性和可靠性提出要求,但是现实的情况是传统的IT企业为了实现可拓展性往往牺牲了IT系统的可用性和可靠性。

    4.云计算兴起的技术积累包括了:硬件集群化、网格计算、虚拟化等多种新近技术。Internet和云的区别:1.Internet是通过万维网的基于内容的IT资源的访问;云是提供后端的处理能力和对这些能力进行基于用户的访问。2.Internet是必须基于web的,但是云可以支持任何远程访问其资源的协议。总结而言,就是提供的服务不一样,提供服务的途径也不一样。

    5.云的特性包括以下六个,作为衡量给定的云平台所提供的价值(如何综合考虑云平台的价值)

    • 按需使用:云平台的基于服务的特性和使用驱动的特性就是由于云平台本身按需使用的特性决定的。运用户可以通过自助服务来完成对所需服务的申请和使用,不需要与云提供者进行交互。
    • 随处访问:云服务可以被广泛访问的能力,需要综合考虑云平台采用的设备、传输协议、接口和安全技术。良好的云服务架构可以满足不同云服务用户的特殊需求。
    • 多租户和资源池:一个软件实例可以有多个初始化实例并服务不同的用户,不用用户之间彼此隔离(可以参考进程的定义)。多租户技术可以根据云服务用户的需求动态分配及再分配IT资源。资源池允许云提供者把大量的IT资源放到一起为多云用户服务。不同的物理和虚拟IT资源是根据云用户的需求动态分配和再分配的。资源池往往通过多租户的技术来实现。可以认为同一个物理服务器提供多个用户使用,多个用户并不会察觉到这个物理服务器被其他用户在使用。多租户可以认为是用户容器的一种体现?
    • 弹性:弹性是云计算的核心概念。具有大量IT资源的云提供者可以提供极大范围的弹性。
    • 可测量的使用:云平台记录IT资源使用情况的能力。云计算收费的凭据。
    • 可恢复性:当一个资源出现鼓掌是,就自动转移到另外一个冗余的实现上处理。要实现多个云的冗余资源。

    6.云交付模型是指云提供者提供的具体的、事先打包好的IT资源组合,其中三种比较常见的模型是:

    基础设施作为服务IaaS: IaaS管理的是以基础设施为中心的IT资源,包括硬件、网络、连通性、操作系统或者其他原始的资源,但是注意的是:这些IT资源已经被虚拟化打包与传统的托管或外包服务的区别),方便计算和拓展。在此环境下,管理云资源由云用户来承担责任,这适用于对IT资源有较高控制权需求的云用户。IaaS公司会提供场外服务器,存储和网络硬件,你可以租用。节省了维护成本和办公场地,公司可以在任何时候利用这些硬件来运行其应用。

    平台作为服务PaaS:由已经部署好和配置好的IT资源组成,PaaS依赖于使用ready-made环境(已经定义好),设立号一套预先打好包的产品和用来支持定制化应用的整个交付声明周期的工具,即可以理解为用户必须使用云提供者定义好的IDE/开发语言/配置环境等。PaaS公司在网上提供各种开发和分发应用的解决方案,比如虚拟服务器和操作系统。这节省了你在硬件上的费用,也让分散的工作室之间的合作变得更加容易。网页应用管理,应用设计,应用虚拟主机,存储,安全以及应用开发协作工具等。

    软件作为服务SaaS:基于一个可重用云服务对于大多数云用户可用。大多是通过网页浏览器来接入。任何一个远程服务器上的应用都可以通过网络来运行,就是SaaS了。例如消费的服务完全是从网页如Netflix, MOG, Google Apps, Box.net, Dropbox或者苹果的iCloud那里进入这些分类。尽管这些网页服务是用作商务和娱乐或者两者都有,但这也算是云技术的一部分。例子:百度云盘。

     

     

    最后,惯例还是要分享一篇11年关于云计算的博文,文章虽旧了点,但是里面仍有值得琢磨的内容。

    当我们谈论云计算的时候,硅谷在干什么

    原文链接http://www.ceocio.com.cn/e/action/ShowInfo.php?classid=328&id=128631

    云计算在硅谷不像是一场革命,而只是一种选择,在很多时候,这也是不得不做的选择;没那么轰轰烈烈,而是静悄悄地日新月异。

    8月的某天傍晚,硅谷的心脏地带。加州山景城的NASA(美国航空航天局)研究园区内,大约30名有着典型“书呆子”(Nerd)气质、程序员模样的人挤进了23号楼里一间很偏僻的小屋。小屋隔壁的长桌上,摆着几张硕大的披萨、几瓶果汁和一大碗草莓,时不时有人走过来各取所需。这座不起眼的小楼正是卡内基梅隆大学硅谷分校的所在地。

    屋里多是穿着T恤、牛仔裤的青年男人,彼此间并不认识,场面显得很安静,大家只是埋头摆弄他们手里的苹果笔记本,个别几个还梳着马尾辫。白色的苹果logo闪成一片。

    刚过6点,身形矮小的种冀科博士(音译)走到投影幕布前,开始向观众们介绍今天这场聚会的主题:围绕GPU(图形处理器)加速和HPC(高性能计算)所展开的一切开发实践,在座的既有专家学者、一线的开发人员,也有来自GPU生产商的工程师,大家可以就该领域内所有感兴趣的话题畅所欲言。主讲人吴韧博士(音译)在惠普帕罗奥图研究院任职,在他的“GPU加速的商业智能分析”PPT中推荐了一本有关GPU的参考书,刚介绍了几句,台下一位男青年略带羞涩的举起了手:“这本书是我写的”。

    这是一场典型的meetup(类似沙龙形式的兴趣小组线下聚会)。在大多数时候,带着观点、经验、疑问、困惑等多种目的而来的参与者总能有所斩获,甚至会是一段程序代码。像这样的meetup几乎每天都会在硅谷各地上演,场地灵活,主题多以高科技话题为主,几乎涵盖技术圈内的任何角落。

    只要你对某个话题感兴趣,你可以很方便地在像 www.meetup.com这样的聚会召集网站上找到组织。比如这场在卡内基梅隆大学硅谷分校的教学楼里举办的GPU聚会,其组织者和参与者就来自于该网站上的HPC & GPU Supercomputing Group of Silicon Valley——一个对高性能计算和图形处理器感兴趣的松散团体。

    硅谷这种Geek和Nerd扎堆的地方,技术谈资是一种奇妙的硬通货,品类繁多的各场meetup在很大程度上承载了这些“科技控”们的社交需求,聚会现场经常会出现一些高科技公司的CTO、总裁乃至创始人扎堆亮相的情景,大家既善于倾听,又乐于分享,许多创新的灵感就在这样的氛围中酝酿发酵。早年间,在Google还未如日中天之前,其创始人Larry Page就曾经非常热衷于混迹在各类meetup之间。

    经年累积,meetup网站上依照技术话题所分隔而成的各类Group的规模和活跃程度,也在客观上成为了某种技术的流行指数。目前在湾区规模最大也最活跃的一个Group,是始建于2007年9月11日的硅谷云计算小组——Silicon Valley Cloud Computing Group,该团体4年来的变迁正折射出硅谷对云的态度。

    看得见的云

    Jack在上世纪90年代初从北京来到美国,写过代码也做过工程师,现在的身份是一家投资机构的顾问。他算不上极客也谈不上对技术有多热爱,但由于工作需要,自2009年至今亲身参与了硅谷云计算小组的历次线下聚会,几乎每场都没落下。

    据Jack讲述,在前几年,这个小组的规模很小,一般每月活动一次,线上报名的、线下来到现场的,基本都不超过20人,因为人少,场地的选择就很随意,随便找个大学的会议室或是咖啡馆就完全搞得定。到了2010年春天,线上报名的人开始多了起来,而且越来越多,每次聚会的场面也越来越热闹。6~8月间的每次聚会,都吸引了近100名听众。

    硅谷云计算小组的meetup热潮在2010年9月到达了沸点。由于Netflix的云计算架构师Adrian Cockcroft应邀在当月的meetup上分享该公司的云应用经验,线上的报名人数很快就突破了500人。考虑到场地限制和组织工作的难度,这场meetup最终只接受了大约300位听众的申请,组织者不得不在现场特意安排了网络直播。

    确实,Netflix的光环足够有号召力。作为当今世界上最大的在线影片租赁服务提供商,Netflix自上世纪末成立以来,一直以提供传统形式的DVD影片邮寄租赁服务为主营业务,凭借新颖高效的会员制和影片推荐算法一步步稳扎稳打,其发展势头很快就盖过了该领域内的老牌霸主Blockbuster。随着带宽资源和即时点播技术的进步,Netflix非常敏锐地觉察到了流媒体的市场机遇,自2008年起,开始全面推动传统DVD租赁业务的线上改造,并为其注册会员开辟了多样化的流媒体点播渠道:Netflix的网站平台、机顶盒、手机、游戏主机等等,这种灵活性极强的在线数字化点播业务立刻为其攫取了大量拥趸。截至今年年初,Netflix的会员数已由2009年初的1000万左右迅速扩充到近2500万人。与此同时,Netflix的股票也引发了资本市场的狂热追捧,其股价从2009年初的30美元左右一路飙升,在今年7月突破了300美元。

    然而,在Netflix的传奇背后,该公司颇具戏剧性的云之旅才是硅谷云计算小组此次meetup之所以人声鼎沸的引爆点。Adrian回忆说,Netflix的数据库系统在2008年8月11日发生了一次崩溃事件,直接导致公司业务全面停滞,他们紧急在Twitter的官方微博上向用户致歉,解释说事故的原因是“硬件系统的关键组件存在缺陷”。一面是公司转型的关键期,一定要保障稳定和统一的用户体验;一面又是注册会员数量和业务规模的急速扩张,现有的技术支撑系统该如何应对?

    买服务器、建数据中心似乎是唯一解决方案,但时间和成本呢?Netflix需要一次性增加超过1000台服务器,可按业界通行规律计算,建造一座功能完备的数据中心需要18-24个月的时间,而且花费高昂。可以说,已经等不及的Netflix是“被迫”选择了亚马逊的公有云计算平台。对Netflix当时的处境而言,低成本、高灵活性的亚马逊公有云服务俨然就是其唯一的可行方案。

    云之旅的路程上也并非全是喜悦。传统的企业级软件其实无法很顺畅的迁移到云中,最根本的一个原因在于,传统的软件开发过程中,硬件和软件是一种很紧密的耦合状态,而在云上,所有的一切都是松耦合。Netflix的解决之道是,他们把公司里最核心的12名开发人员在一间屋子里关了2天,强迫他们忘掉传统的开发思维,并且只能用云的方式来重新编写企业应用。后来的实践效果证明,他们成功了。

    改变已经发生。Adrian在一年前说,Netflix已有近80%的在线视频租赁业务完全是在亚马逊的云计算平台上完成的,只有一小部分非常核心的业务资料,比如会员信息还保留在自己的数据中心里。Netflix希望,到2014年其利用云平台完成的业务比例能够达到100%,彻底变成一家云驱动的公司。

    将自己的关键业务放到别人的数据中心里去运行,这可靠吗?Netflix副总裁Kevin McEntee回答说,和公司自己的数据中心相比,亚马逊由数万台服务器组成的冗余架构显然更加可靠。公司的研发团队反而能把更多的精力放在不断地为海量用户改善体验上。

    用户不会在意你的数据中心到底在哪里,而只会在意你提供的服务好不好。更重要的是,对于像Netflix这样有着鲜明“爆发力”的公司,投身云几乎是一个完美的方案,因为云的高度灵活性和可扩展性,只有依靠云的力量,Netflix才能完成爆发式增长。

    爆发力问题

    这一点其实也正是云时代最显著的特征之一,金沙江创业投资的合伙人贾石琏对此深有感触。“云确实带来了颠覆性的变化,尤其对新一批的新创公司,这种变化的影响更加明显。”金沙江创投的硅谷办公室隐藏在斯坦福大学那座古老的大门外,沿着那条著名的“大学街”走到头就到了。坐在布置得古色古香、中国风十足的会议室里,贾石琏对记者说,现在他看到的TMT领域内的创新几乎全都构建在云上,从开发工具、产品测试到代码查错、上线发布,乃至是图标设计,都可以利用云里的资源来支撑。

    “按这样的趋势,十几年之后的新兴企业很可能将不再需要自己的IT部门。”

    一个很直观的例子是,社交游戏新贵Zynga目前所推出的每款游戏都会先放到亚马逊的EC2(弹性计算云)平台上试运行3到6个月,如果游戏缺乏竞争力或者市场反响不佳,Zynga就会迅速将游戏从EC2平台中拿下,整个过程中,Zynga自己都不需要考虑硬件方面的任何问题。

    按照硅谷另一家著名的风投机构Accel Partners的合伙人李平粗略统计,在该公司目前所投的公司中,已经有近3/4是构建在云平台上,其中也不乏如Cloudera、Dropbox这样风头正劲的新型云服务商。“根据我的经验,新创公司根本就不需要VC的建议或是鼓动去拥抱云,他们自己从云中的收益已经是足够强大的驱动力了。实际上,如果没有云计算,很多新的商业模式根本就不可能行得通。”

    在贾石琏看来,硅谷最近5年来的创新主旋律围绕社会化媒体展开,而云在这一股大的创新潮流中的确发挥了非常重要的推动作用。因为几乎每家新兴公司在构建自己的IT基础设施时,都可以非常方便和灵活地从云层中得到帮助。“核心价值是自己的,其余所有的一切都可以用别人的,而且大部分都是基于云的服务,核心和外部服务的比例大致为2:8。更关键的是,这些服务又便宜又好用,从基础设施、开发环境到中间的平台层以及最上面的应用,整个产业链上都涌现出了大量的低价高效的云服务商。”

    Marc Andreessen因在十年前创办Netscape而一举成名,经过后来的几年沉浮,他目前已成功蜕变成了活跃在硅谷的一位投资人,其最近参与投资创办并亲任董事会主席的Ning就带有典型的云平台特征,可以应用户的需求而非常快速地创建出一个属于用户自己的社交网站。在不久前的一次采访中,他这样告诉《华尔街日报》:“当我在十年前创办Netscape时,我的创业伙伴Ben Horowitz在2000年也创建了世界上第一家云计算公司Loudcloud,那时候他的每位客户每月要在互联网基础服务上投入15万美元,而现在呢?用亚马逊的云服务,每月1500美元就足够了。”

    数字上的巨大反差正是创新环境已经发生了巨变的真实写照。在这个更加推崇爆发力的时代里,云计算的到来在事实上成了爆发力的推动力,以及爆发力中的一部分。

    玩家越来越多,因为门槛越来越低。更多“重数据、轻资产”的新兴互联网公司可以在完全不用构建自己的软件解决方案和昂贵复杂的数据中心的前提下,发布自己的产品和服务。这样的改变大大缩短了“超新星”的成长周期,其中当然也包括改变本身。比如正在迅速走红的云存储公司Box.net、以无缝衔接私有云和公有云平台扬名的云管理公司Eucalyptus等。

    硅谷凭什么

    当我们还在谈论云计算的时候,硅谷在干什么?——他们已经用了5年。

    硅谷云计算小组在不久前的某次meetup上,曾邀请过一家已经应用亚马逊云服务多年的欧洲公司来分享经验,据说双方在合作之初也曾问题多多,当这家公司向亚马逊寻求技术支持时,对方的反馈经常是只给他们发来一个网址,或者寄来一本书。这反映了两个问题:一是亚马逊的云服务成本之所以低是有原因的;二是当时的亚马逊,自己其实也处于对云计算的探索期。

    如果将亚马逊在2006年3月推出首个商用云计算服务S3视作起点,硅谷的云计算之路的确已经走了至少5年。5年之后,云计算已经在美国进入了稳定发展期,并逐渐演进为一个非常多样化的生态系统。亚马逊CTO、副总裁Werner Vogels曾经说,云计算要在一个国家或地区成功落地,至少需要两个条件:一是开发人员的认可,二是企业客户的认可。对硅谷而言,要满足这两个条件实在易如反掌。

    在著名高校、著名高科技公司、著名风投机构密集分布的硅谷,在其享誉世界的50多年里一直都不缺少四样东西:人才、资金、创新精神以及开放心态。当然,更宽泛的范围里,美国社会较为完善的信任机制和契约精神,也是很重要的支点。种种这些,使云计算、开发人员、企业客户这三个节点之间,形成了正向的良性循环。

    再加上在2008年,美国出现了严重的次债危机,整个高科技行业遭受重创,消减预算、裁员、收缩业务成为普遍现象,低迷的经济环境在客观上成了云计算大行其道的催化剂。一大批“云公司”也都是在那一时期攫取了云计算的第一桶金。

    种种这些,使云应用在硅谷这个特殊环境中的实践呈现出了一些有趣的特点:不像是一场革命,而只是一种选择,在很多时候,这也是不得不做的选择;没那么轰轰烈烈,而是静悄悄的日新月异。

    但在硅谷之外,顶着新一次计算革命光环的云计算对商业社会生态的改变却才刚刚开始,应用端的异彩纷呈更加反衬出在云服务供应商阵营的兵荒马乱。早有业界分析师忧心忡忡地表示,云计算概念范畴中最具活力的公有云平台将很快比目前广泛存在的传统数据中心更安全、更高效、更灵活且成本更低,因而必然会日渐主流化。而这样的计算迁移浪潮势必将对原有的大型硬件、软件、平台提供商如IBM、惠普、Oracle、微软等公司构成严峻挑战。

    转型在所难免。其实,在IaaS(基础设施即服务)层,真正有实力提供冗余服务器、存储以及计算资源的云服务商并没有太多,传统的IT巨头们在近几年间都利用收购进行着尽可能充分的转型准备;PaaS(平台即服务)层的玩家更多一些,但也有着较高的准入门槛; 相比之下,SaaS(软件即服务)的历史最久、门槛最低、参与者最多、接受度最高、应用也最成熟。

    机会永远都在,就看你敢不敢去抓、抓不抓得住。硅谷能够成为榜样,但硅谷你也学不会。

     

     

  • 相关阅读:
    Spring spEL
    Spring 使用外部部署文件
    Spring 自动装配
    spring 属性配置细节
    hdu 1054 Strategic Game
    fzu 2037 Maximum Value Problem
    将博客搬至CSDN
    HDU 4714 Tree2Cycle
    HDU 1009 The Shortest Path in Nya Graph
    POJ 1942 Paths on a Grid 组合数的优化
  • 原文地址:https://www.cnblogs.com/kendrick/p/5022559.html
Copyright © 2011-2022 走看看