1.pig将数据导入或加载到hbase使用HBaseStorage UDF函数,地址:
在shell中案例:
pig -Dpig.additional.jars=/home/pps_recommend/pig-0.11.0/lib/protobuf-java-2.4.0a.jar -x $varPigMode << EOF
recommend_data = LOAD '$recommend_output' as(id:chararray,items:chararray); STORE recommend_data INTO 'hbase://short_video_recommend' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('info:items'); EOF(提示:EOF是将其他应用程序在shell中输出,切记:特别在shell中有if判断语句 EOF要顶格写)
2. STORE [加载pig数据集别名] INTO 'hbase://[HBASE表名]' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('[HBASE列簇]:PIG字段名');
3.注意:
1.在伪分布式下启动,在zookeeper,hbase正常启动情况下可以导入,
2.正式环境下配置:
2.1在 $PIG_HOME/conf/pig.properties加入:
# -------------------------------------------------------------------------------------------------------------
#pig.load.default.statements=
hbase.zookeeper.quorum=10.11.8.161,10.11.8.162,10.11.8.163,10.11.8.164,10.11.8.165,10.11.8.166,10.11.8.167
hbase.master.info.bindAddress=10.11.5.222
hbase.master.port=60000