大数据应用开发的12个辅助开发工具

InfographicGuys-6_600

在大数据应用的开发中, 除了基础的Hadoop或者R语言之外,还有很多优秀的辅助开发工具, 能使开发者如虎添翼。

就像当年的旧金山淘金热时, 最后挣钱的除了淘金者, 还有Levi’s这样的做牛仔裤的和那些给淘金这卖水的人,在现在的大数据淘金热里, 也出现了很多提供开发工具或者开发环境的公司。 下面介绍12个公司和他们的工具, 无论你是从事大数据应用的开发,还是希望分析你的移动应用,这些工具都可以帮助你更好的淘金。

 

1) BitDeli

BitDeli是一家刚刚成立的公司, 他的产品就是可以让开发者利用Python脚本, 对应用进行分析。 Python脚本可以很简单, 也可以很复杂。 一切可以由开发者来定制。 BitDeli的产品甚至包含了一些机器学习的模块。相比较庞大的Hadoop分析工具, BitDeli把自己比作是应用分析方面的RoR (Ruby on Rail)。

clip_image002

2) Continuity

Continuity的两个创始人是雅虎的前首席云架构师Todd Papaioannou和前Facebook的HiBase工程师 Jonathan Gray。 他们的目的, 就是想使客户能够像雅虎和Facebook

利用大数据。 Continuity的产品App Fabric主要是把复杂的与Hadoop和HBase集群的工作作为一个抽象层, 提供各种大数据开发工具, 来满足企业内部或外部数据需求。

clip_image004

3) Flurry

Flurry是个一站式的移动应用商店, 它每年已经有100美元的营收了。 它不但帮助开发者在它的平台上开发,还可以帮助开发者通过运营数据, 对应用进行分析以改善应用。 而且, Flurry平台还可以和广告网络相对接, 帮助开发者更好的实现盈利。

clip_image006

4) Google Predictive API

在Google提供的众多开发工具中, Google Predictive API 是最酷的一个了。如果你有好的训练样本数据, 那么Google Predictive API将会利用机器学习算法来为你的应用建立模型,并把这些模型整合到你的应用中去。 在Google给出的例程里, 包括了反垃圾邮件, 推荐引擎, 以及情绪分析等模型的搭建步骤和代码。

clip_image008

5) Infochimps

尽管Infochimps把自己定义为面向企业的IT平台, 他们大数据平台对开发者来说也非常有帮助。它的技术平台叫做Wukong(悟空), 用来进行大数据环境的配置和管理。 从起一个Hadoop进程到用Ruby脚本来传递数据流。 Wukong都可以让开发者的工作变得更简单。 此外, Infochimps的平台还包括了一个数据市场,以API或者下载方式提供各类数据。

clip_image010

6) Keen IO

Keen IO是个强大的移动应用分析工具。 开发者只需要简单到一行代码, 就可以跟踪他们想要的关于他们应用的任何信息。开发者接下来只需要做一些Dashboard或者查询的工作就可以了。

clip_image012

7)Kontagent

Kontagent是一个移动, 社交, 网站应用的分析平台。 它基于Hadoop大数据平台而建。 今年, Kontagent平台增添了新功能。 它可以让用户直接采用Hive查询语言对数据进行任意查询和分析,而不像原来那样只能进行预定义的查询和分析

clip_image013

8) Mortar Data

Mortar Data是专为开发者打造的Hadoop开发平台,它用Pig 和Python的组合替代了MapReduce以便开发者能简单地编写Hadoop管道(Pipeline)。 今年11月, 它推出了Mortar Data开源开发框架, 利用开源社区来推动数据共享。 Mortar Data平台运行在亚马逊的云平台上。 支持亚马逊S3 以及MangoDB。

9) Placed Analytics

利用脚本语言以及API, Placed Analytics能够提供针对移动和网络应用的详细用户行为分析。包括, 用户使用时间和地理位置信息。 这些可以帮助开发者的应用更好地吸引广告商, 也可以帮助开发者对自己的应用进行改善。

clip_image014

10) Precog

Precog提供的是一个基于开源查询语言Quirrel的交互式开发环境, 名为Labcoat。可以帮助开发者进行应用分析的开发。 这个IDE环境还提供了关于Quirrel的教程,以及其他一些复杂的函数。 用公司首席运营官Jeff Carr的话来说:“就算是一个非技术人员, 几个小时也能掌握基本功能。”

11) Spring For Apache Hadoop

尽管Hadoop是用Java写的, 但是这并不意味着, 在Hadoop上编程或者使用Hadoop对Java程序员来说就很简单。因此, 在2012年初, SpringSource宣布推出了Spring For Apache Hadoop项目。 把Spring开发框架和Hadoop结合起来。 这样也便于其他的Spring应用或者基于Java虚拟机的脚本, 更好地和Hadoop以及利用Hadoop的其他技术如Hive或者HBase进行整合。

12) StatMix

和BitDeli以及Keen IO一样, StatMix也希望能够使开发者用他们所熟知的语言来进行数据查询与分析。 因此, 出来提供预定义的查询之外, StatMix也提供API和代码库来让开发者定制化的查询。 并可以把不同数据源的查询结果整合在一个定制的Dashboard里。

clip_image016

第一时间获取面向IT决策者的独家深度资讯,敬请关注IT经理网微信号:ctociocom

   

除非注明,本站文章均为原创或编译,未经许可严禁转载。

相关文章:


关于作者

主要关注社会化商务时代的客户关系管理、业务流程管理、数据挖掘、商业智能和企业协作等领域的新技术、新应用和新趋势。曾长期从事信息化咨询服务和软件开发工作,服务过首都机场、国家电网公司、中国蓝星等企业。邮箱:guanzhigang@ctocio.com