TripAdvisor工程师如何帮业务人员使用Hadoop

hive

Hadoop是数据科学家分析数据的利器,但是对于完全不了解SQL的销售和客服人员来说Hadoop就像天书,一位TripAdvisor的工程师找到了改变这一局面的方法。

最近几个月来,全球最大旅游点评网站TripAdvisor(中国官网是daodao.com)的业务分析师们经常往开发部门跑,因为他们听说在Hadoop集群中有大量有价值的数据,但却不知如何查询。

如何帮这些业务人员无需学习类SQL的HQL查询语言就能使用Hive查询Hadoop数据呢?TripAdvisor的攻击软件开发人员Stephen Scaffidi利用业余时间想出了一个办法。

hive-query-tool

Scaffidi开发了一个Hive查询工具并开源到Github上,这样很多部门的人员都可以借助这个工具使用Hive查询Hadoop数据。业务人员登录这个工具的界面后可以请求Hive查询,当任务完成时该工具会给用户发送一封电子邮件,内容包括一个web网页链接,显示工作的进度,还提供数据下载。整个过程非常简单,非数据科学家也能用上Hive。

在本周圣何塞的Hadoop峰会上,Scaffidi说道:

我们需要能让用户快速用起来的工具,而不是在繁冗的安装、配置后依然无法使用。目前我们的员工对这个工具很满意,而且要求增加更多功能。

下一步,Scaffidi打算改进后台代码,并开发一个系统让用户能够调用重复的查询任务,这里有一个Scaffidi介绍Hive查询工具的演讲稿

Scaffidi的Hadoop查询工具大大推动了TripAdvisor公司内部的大数据民主化进程,而开源后更多的企业也将从中获益。

第一时间获取面向IT决策者的独家深度资讯,敬请关注IT经理网微信号:ctociocom

   

除非注明,本站文章均为原创或编译,未经许可严禁转载。

相关文章:


关于作者

主要关注社会化商务时代的客户关系管理、业务流程管理、数据挖掘、商业智能和企业协作等领域的新技术、新应用和新趋势。曾长期从事信息化咨询服务和软件开发工作,服务过首都机场、国家电网公司、中国蓝星等企业。邮箱:guanzhigang@ctocio.com

X