错误:ClassNotFoundException:com.cloudera.sqoop.mapreduce.RawKeyTextOutputFormat 解决方法

java.lang.RuntimeException: java.lang.ClassNotFoundException: com.cloudera.sqoop.mapreduce.RawKeyTextOutputFormat at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:996) at org.apache.hadoop.mapreduce.JobContext.getOutputFormatClass(JobContext.java:248) at org.apache.hadoop.mapred.Task.initialize(Task.java:486) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305) at org.apache.hadoop.mapred.Child$4.run(Child.java:240) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1115) at org.apache.hadoop.mapred.Child.main(Child.java:234)
阅读全文

ZooKeeper session 管理

ZooKeeper的session管理是由LearnerSessionTracker和SessionTrackerImpl类来进行管理的。
1)LearnerSessionTracker管理Leader节点的session信息
包括Leader节点所有的sessionId都是由SessionTrackerImpl.initializeNextSession来生成Id,因为Leader节点就一个,所以LearnerSessionTracker写很简单,这里就不叙述了。
阅读全文

淘宝 ZooKeeper 监控 TaoKeeper 源码读后感(源码下载)

怀着对淘宝的崇高敬意,今天仔细读把TaoKeeper的源码仔细读了一遍,看完后有点小失望。
源码看起来不少,但是发现核心代码就4个线程。
程序执行过程(过程中执行的命令附录中有说明)
Initialization类启动四个线程线程,每一个线程查询需要监控集群,再把查询到的集群中的服务器信息,分别作为创建子线程的参数:
阅读全文

ZooKeeper 的客户端、监控软件、插件及使用

有不少公司都会使用ZooKeeper进行集群管理,而且像我们一样经常需要查询ZooKeeper里面的信息来进行精确定位问题。
网上会找到有基于node.js开发的node-zk-browser监控软件(https://github.com/killme2008/node-zk-browser),但是对于很多对node.js开发不熟悉的同学来说,部署是个大问题。
分享一个zk浏览器工具,该工具除了能展示树形结构外,也能展示每个path的属性和数据,而且如果数据是文本的也可以进行编辑。
阅读全文