Pinterest、Flipboard和Yelp如何节省云计算开支

cloud-infrastructure_1

在亚马逊的ReInvent大会上,来自Pinterest、Flipboard和Yelp的工程师分享了他们各自公司降低云计算成本的策略:紧盯负载,精算成本,巧妙组合云资源。

亚马逊这样的云计算服务对于小规模的创业公司来说是个福音,但是随着公司的成长,云计算的开支增长往往会超过营收的增长,对于那些提供免费服务的创业公司来说更是如此。在亚马逊的Re:Invent大会上,来自Pinterest、Flipboard和Yelp的工程师分享了他们控制成本的独家窍门。

精算成本,精益运营

在管理云计算基础设施方面,Flipboard的工程师Scallan提出另一个看似矛盾的观点:拥抱云计算,同时敬畏云计算。如果方法得当,云计算是灵活的和低成本的选择,但是如果缺乏规划,让服务器空转,成本就会失控。这也是为什么Flipboard工程师的绰号是"超级吝啬鬼",他们的任务是为应用分配合适的资源并加以充分利用。

在"吝啬"的驱使下,经过无数尝试,如今Flipboard日常的运行实例数从高峰期的1500个降低到了今天的900个。

Flipboard AWS usage

FlipBoard的亚马逊云资源配置

Flipboard实现云计算精益运营的关键是对业务输入和输出的准确判断和预测。Kleiner Perkins的Bradford建议公司精算出支持一位免费用户的单位成本,以及这个成本随着用户规模的变化,以及与付费用户体验的关系。选出最重要的评估指标(例如每用户每月的基础设施成本),并评估目前的基础架构在升级前能够支撑这个成本多久。

成本的游戏:实例组合

为了节省成本,Pinterest、Yelp和Flipboard都采用了亚马逊AWS的预付费专用实例。通过租用亚马逊的高性能专用实例(Reserved Instance)而不是按需实例(On-demand Instance),Flipboard过去三年节省了80%的云计算费用,Pinterest则声称节省了70%。实际上,专用实例与按需实例的盈亏平衡点只需要8、9个月,如果企业需要长期租用云计算资源,那么专用实例显然是更划算的选择。

Yelp是亚马逊Elastic MapReduce(EMR)大数据引擎的重度用户,当开发人员同时运行Hadoop任务,或者夜间分析日志文件的时候,最高峰会同时启用超过350个EMR实例。为了降低成本,Yelp尽可能租用高性能专用实例减少计时费用,此外Yelp还部署了一个任务缓冲池,让排队的Hadoop任务能够尽量平稳、高效率地使用云计算资源。这就避免了为单独的一个61分钟的任务支付两个小时的资源费用。

为了判断何时使用何种实例,Yelp开发了一个名为EMRio的工具,通过分析过往的使用情况,来为任务选择最高效的资源。

emrio

EMRio的实例成本分析结果(横轴:时长;纵轴:成本)

在AWS云计算成本优化方面,Pinterest颇有心得,该公司甚至会使用所谓的“机动实例”(Spot Instance),此类实例也是按需提供,但是当其价格浮动超出用户最初的出价时,会在不通知用户的情况下随时终止。Pinterest开发了自动扩展的看门狗(Watchdog)服务,能够在需要更多资源的时候自动判断是租用按需实例还是机动实例。

虽然机动实例的价格有时候会被炒高,但通常情况下比较稳定,能为企业节省大量成本。通过租用机动实例,Pinterest的80台前端服务器的成本只有20美元/小时,每天的计算成本从最高峰的1200美元降低到了440美元。是的,你没看错,Pinterest每天的前端服务器成本只要440美元。

Pinterest的Park认为组合使用按需实例、专用实例和机动实例比看上去要复杂,你必须了解不同实例之间的运作机制。例如有些地区和规模专用实例会缺乏灵活性,而配置机动实例的应用也必须能够适应机动实例随来随走的特性。不过随着亚马逊推动机动实例交易市场(Spot marketplace),用户之间可以交易机动实例,这让云计算的成本游戏变得更加复杂起来。

技术选型与人力资源成本

虽然选择数据库类型主要是技术架构问题,但也直接关系到企业云计算的成本。Instagram创始人Mike Krieger曾说:"你的用户才不关心你的数据库技术是不是自己开发的,这方面适用就好,那怕是租用的也行。 Pinterest的Park也同意这个观点,他的团队就曾经尝试了太多新潮数据库技术,从MongoDB、Cassandra、Redis等各种时髦技术试了个便,最后发现这些新技术的学习成本和管理成本成了很大的负担。最后Pinterest用回了"过时"的MySQL、Memcached和Redis,因为这些成熟技术拥有强大的社区支持。此外,新加入的工程师中,掌握这些技术的人也更多,这都会降低云计算的人力资源成本。

Via GigaOM

第一时间获取面向IT决策者的独家深度资讯,敬请关注IT经理网微信号:ctociocom

   
除非注明,本站文章均为原创或编译,转载请务必注明出处并保留原文链接: 文章来自IT经理网
相关文章:


关于作者

写评论

忘记密码

X