好钢用在刀刃上,Google数据中心如何使用闪存

flash disk

数据诚可贵,闪存价更高,对于财大气粗的Google来说,闪存也是一种昂贵的资源,不可能把所有数据都存储在固态硬盘中,于是Google开发了一个代号Janus的固态/机械硬盘数据分配管理器,能够智能判断数据该存储在闪存中还是传统的机械硬盘中。

在成功搭建了Gmail、MapReduce任务和视频处理等大规模分布式云存储系统后,Google的工程师们在本周的USENIX大会上公布了一个云存储闪存优化论文,给出的研究结论就是:在云计算数据中心里,闪存是传统硬盘的有益补充,但是闪存的利用率需要优化才能取得最佳的性能价格表现。

而Google代号Janus的闪存分配推荐系统,能给系统中的数据设置强制规则,例如数据何时将被从闪存中转移到硬盘。在判断一个工作负载是否值得写入闪存时,Janus推荐系统首先会判断数据的“年龄”,因为大多数I/O读写操作都发生在新创建的文件中。总的来说,较新的工作负载数据会在闪存中呆一段时间才会被转移到硬盘中。

在确定数据在闪存中滞留的时间期限时,Janus系统会依据数据被访问的频率,访问频率低的数据将最先被“打入”速度较慢但成本更低的传统存储介质中。

目前来看,Google的数据分配管理系统大大提升了闪存系统的效率:

我们的结果显示,28%的读操作都通过访问闪存完成,而我们其实只将1%的数据放到了闪存中。

Google并非唯一一家寻求存储资源利用率最大化的公司,很多年来Facebook都在研究如何将对访问速度和实效不敏感的数据以更低成本的方式进行存储,例如那些很少访问的老照片,以及为了合规生成的各种分析数据。

Facebook甚至还考虑使用蓝光技术存储部分“大数据”,Facebook还开发了全部采用闪存的McDipper键值缓存服务器(memcached),而不是一味依赖昂贵的DRAM内存来提高数据访问速度。

Google和Facebook的混合存储技术表明,提高闪存的利用效率,“好钢用在刀刃上”,才能以经济的方式解决应用的性能瓶颈问题,同时也避免了硬件资源的浪费。

第一时间获取面向IT决策者的独家深度资讯,敬请关注IT经理网微信号:ctociocom

   

除非注明,本站文章均为原创或编译,未经许可严禁转载。

相关文章:


关于作者

隐私已经死去,软件正在吃掉世界,数据即将爆炸

写评论

忘记密码

X