hive UDF笔记

1.编写代码

  1. package com.billstudy.udf;
  2. import java.util.HashMap;
  3. import java.util.Map;
  4. import org.apache.hadoop.hive.ql.exec.UDF;
  5. import org.apache.hadoop.io.Text;
  6. /**
  7. * 自定义UDF函数
  8. * @author Bill
  9. * @since V1.0 2015年6月14日 - 下午10:33:00
  10. */
  11. public class NationUDF extends UDF{
  12. public static Map<String,String> nationMap = new HashMap<String,String>();
  13. static {
  14. nationMap.put("china", "中国");
  15. nationMap.put("japan", "日本");
  16. nationMap.put("usa", "美国");
  17. }
  18. private Text returnNation = new Text();
  19. /**
  20. * 名称必须是evaluate
  21. * @author Bill
  22. * @since V1.0 2015年6月14日 - 下午10:32:41
  23. * @param nationKey
  24. * @return
  25. */
  26. public Text evaluate(Text nationKey){
  27. String nation = nationMap.get(nationKey.toString());
  28. if (nation == null) {
  29. nation = "未知";
  30. }
  31. returnNation.set(nation);
  32. return returnNation;
  33. }
  34. }

(更多…)

ZooKeeper典型应用场景一览

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的介绍。

(更多…)

Hadoop 2.4.1 搭建Ha遇到问题记录

  1. 15/06/19 17:12:44 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.
  2. java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled. // 明明我配置了HA,却说没有,下面的配置写错了
  3. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:710)
  4. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:654)
  5. at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:892)
  6. at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1310)
  7. at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1424)
  8. 15/06/19 17:12:44 INFO namenode.FSNamesystem: Stopping services started for active state
  9. 15/06/19 17:12:44 FATAL namenode.NameNode: Exception in namenode join
  10. java.lang.NullPointerException
  11. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.stopActiveServices(FSNamesystem.java:1118)
  12. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.close(FSNamesystem.java:1446)
  13. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:781)
  14. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:654)
  15. at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:892)
  16. at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1310)
  17. at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1424)
  18. 15/06/19 17:12:44 INFO util.ExitUtil: Exiting with status 1
  19. 15/06/19 17:12:44 INFO namenode.NameNode: SHUTDOWN_MSG:
  20. /************************************************************
  21. SHUTDOWN_MSG: Shutting down NameNode at v1/192.168.32.91
  22. ************************************************************/

(更多…)

hive 连接 hbase操作

hive/conf/hive-site.xml