您好,欢迎您来到我的个人博客!
柳正利的个人博客
文章内容

Impala hive hbase 整合

0
发布时间:『 2016-06-29 20:23』  博客类别:计算机视觉  阅读(1266) 评论(12)

用过Hive的人想必都有一种一种感觉,这玩意太慢了,每次

执行一次查询,启动mapreduce作业,据测试,查询1800 row,

hive用时84s,impala用时 12s,所以在做一些线分析的时候,

执行时间有要求的时候,还是用impala吧。

  我们知道,HBase是一个基于列的NoSQL数据库,它可以实现的

数据的灵活存储。它本是一个大表,在一些应用中,通过设计

RowKey,可以实现对海量数据的快速存储和访问。但是,对于复

杂的查询统计类需求,如果直接基于HBase API来实现,性能非

常差,者,可以通过实现MapReduce程序来进行查询分析,

这也继承了MapReduce所具备的延性。实现Impala与HBase

整合,我们能够获得的好处有如下几个:

  可以使用我们熟悉的sql;

  impala执行查询分析,比原生的mapreduce和hive快得多,

据网上传言快了3-30倍,本人测试大概6倍左右。

  Impala与HBase整合,需要将HBase的RowKey和列映射到

Impala的Table字段中。Impala使用Hive的Metastore来

存储元数据信息,与Hive类似,在于HBase进行整合时,

也是通过外部表(EXTERNAL)的方式来实现。

  本人假设你已经安装好cdh或hadoop,环境已配置好,

hbase表已创建完毕,hive外表已建好,如果上述工作

没完成,请参考:

    centos6.5 32位搭建hadoop2.2.0 集群

    centos 6.5-hadoop-2.2.0配置hive1.2.1


  Hbase 建表操作实例源码

    hive 创建外表操作

 下面开始正式开始。

   在centos下,打开终端,输入

   impala-shell    

进入impala  shell环境,然后连接一个server,

  输入命令

   connect   datanode2 

然后是同步hive的元数据,输入命令

   INVALIDATE METADATA;   

即可同步数据,同步完毕以后,输入命令

    show tables;

即可查看impala的表。   

    

然后的操作就和hive类似了。

关键字:   Hbase     Impla     Hive  
声明:本站部分资源来源于互联网,如果侵犯了您的权利,请来信告知,我们将在24小时以内删除. 联系邮箱:zhengli_liu@126.com
Powered by liuzhengli.com 豫ICP备18011046号
Copyright © 2018 liuzhengli.com All rights reserved.