博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Apche pig 数据导入hbase方法
阅读量:6617 次
发布时间:2019-06-25

本文共 1006 字,大约阅读时间需要 3 分钟。

hot3.png

1.pig将数据导入或加载到hbase使用HBaseStorage UDF函数,地址:
   在shell中案例:

     pig -Dpig.additional.jars=/home/pps_recommend/pig-0.11.0/lib/protobuf-java-2.4.0a.jar -x $varPigMode << EOF

           recommend_data = LOAD '$recommend_output' as(id:chararray,items:chararray);
          STORE recommend_data INTO 'hbase://short_video_recommend' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('info:items');
     EOF

   (提示:EOF是将其他应用程序在shell中输出,切记:特别在shell中有if判断语句 EOF要顶格写)

 2.    STORE [加载pig数据集别名] INTO 'hbase://[HBASE表名]' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('[HBASE列簇]:PIG字段名');
 3.注意:
   1.在伪分布式下启动,在zookeeper,hbase正常启动情况下可以导入,
    2.正式环境下配置:
       2.1在 $PIG_HOME/conf/pig.properties加入:
     # -------------------------------------------------------------------------------------------------------------

  #pig.load.default.statements= 

    hbase.zookeeper.quorum=10.11.8.161,10.11.8.162,10.11.8.163,10.11.8.164,10.11.8.165,10.11.8.166,10.11.8.167       

 hbase.master.info.bindAddress=10.11.5.222 

 hbase.master.port=60000

转载于:https://my.oschina.net/guoenzhou/blog/390554

你可能感兴趣的文章
利用wordcloud生成云图
查看>>
Ubantu安装Mysql
查看>>
【2018.06.04学习笔记】【linux基础知识 11.32】
查看>>
网络基础知识(华为)
查看>>
Spring Cloud云架构 - commonservice-sso服务搭建(一)
查看>>
maven project中不更新自定义插件的解决办法
查看>>
LNMP架构二
查看>>
8.6 管道符和作业控制 8.7/8.8 shell变量 8.9 环境变量配置文件
查看>>
实际项目(SpringBoot项目)中集成Druid实现监控功能
查看>>
资本寒冬下的android面经
查看>>
Django 各种关系字段详解
查看>>
集成测试——Spring TestContext框架支持详细解说
查看>>
Linux查看系统版本
查看>>
大数据spark计算引擎快速入门
查看>>
使用OPCAutomation实现对opc数据的访问
查看>>
0010-Hive多分隔符支持示例
查看>>
人工智能成"创作"主体 版权问题何解
查看>>
CascadeType属性说明
查看>>
Andorid安装错误的解决之道------INSTALL_FAILED_DEXOPT
查看>>
Jvm -D tomcat
查看>>