0%

hadoop问题集锦

Hadoop问题集锦

在使用flume将数据存储到hdfs时出现错误

[SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:459) - process failed
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

这个问题是由于flume和hadoop的guava的版本不一致导致的,看一下两个的版本,将低版本的删掉,统一使用高版本的

hdfs写文件失败

could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation.

这个问题可能是由于dataNode节点没起来,可以使用jps看一下是否有dataNode的进程