Hortonworks改进内存分析平台Spark与Hadoop全面整合

spark hadoop-hortonworks-ctocio

Hortonworks的新代码改进了Spark与Hive的集成,并计划对Spark内存分析平台进行安全和性能方面的升级。

Apache Spark内存分析平台如今是大数据分析领域的热门技术,Hadoop发行商Hortonworks近日决定加大对Spark的投入。本周三Hortonworks宣布其Spark软件将提升Hive集成度,并增加对Spark的ORC数据格式的支持,Hortonworks还计划提升Spark通过YARN资源管理工具与Hadoop协作的安全性和性能表现。

Hortonworks的产品营销总监Jim Walker在接受媒体采访时指出,Hortonworks的目标是确保Spark支持YARN并为YARN优化,同时配备合适的安全和运营工具。

YARN 是 Hadoop 内的数据操作系统,可在一个集群上组合多个数据集,并使用各种处理引擎访问它们。(参考阅读:Hadoop2.0:大数据新突破在即

而Spark是Databricks公司开发推广的一种内存(in-memory)机器学习平台(借助MLLib)。Spark同时还支持SQL分析(借助SparkSQL),流分析(借助Spark Streaming),并有望支持流行的R分析库和图谱分析(分别借助SparkR和GraphX)。Spark既可以作为一个单独的分布式集群运行,也能在Hadoop和Cassandra上运行,还能与MongoDB和传统关系型数据库资源对接。

Hortonworks致力于让Spark能更好地与Hadoop协作,因此为Spark贡献了不少代码,提升其与Hive——一种Hortonworks偏爱的原生Hadoop开源SQL查询工具的集成。值得注意的是Hortonworks的竞争对手也采用Hive,但是Cloudera和MapR例外,Cloudera致力于推广自己专有的Impala SQL查询引擎,MapR则支持开源的Apache Drill

据Hortonworks透露,本周将在其官网提供预览的新代码能够提升Spark读写Hive数据的性能,包括支持以ORC(Optimized Row Columnar)格式写入数据,ORC是一种列存储个事,为数据读取和压缩性能进行了优化,而ORC也正在成为Hive的事实存储格式。

 

 

 

 

Hortonworks是发行Spark软件的十个厂商之一,其他厂商还包括BlueData、CLoudera、DataStax、Guavus、IBM、Oracle、Pivotal、SAP和Stratio。其中三家厂商Cloudera、DataStax和MapR是Databricks的认证服务提供商。Hortonworks的认证虽然还没有下来,但是已经开始对发售的Spark软件提供支持。

第一时间获取面向IT决策者的独家深度资讯,敬请关注IT经理网微信号:ctociocom

   

除非注明,本站文章均为原创或编译,未经许可严禁转载。

相关文章:


关于作者

隐私已经死去,软件正在吃掉世界,数据即将爆炸

X