博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
nutch 部署到eclipse常见错误
阅读量:6437 次
发布时间:2019-06-23

本文共 1890 字,大约阅读时间需要 6 分钟。

  hot3.png

Nutch部署到eclipse常见错误

Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700

之前在eclipse上部署hadoop时好像也遇到过这个问题。但是,现在已经不知道怎么解决了。

所以,笔记很重要!!!

方法1

  1. 注释掉

<target name="create-native-configure">

<exec executable="autoreconf" dir="${native.src.dir}" searchpath="yes" failοnerrοr="yes">  <arg value="-if"/>

</exec>

  </target>

  1. 去掉compile-core-native

  <target name="compile-core-native" depends="create-native-configurecompile-core-classes"

 if="compile.native">

中的create-native-configure依赖

3、修改hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691行,把throw new IOException改为LOG.warn

4、用ant编译项目,编译成功后从build文件夹中取出hadoop-core.jar文件夹,放入我们eclipse中的hadoop项目中,替换项目中原有hadoop-core.jar,放入lib文件夹下。再通过buildpath添加jar包。

方法2

不用修改build.xml,直接修改FileUtil.java文件中的“checkReturnValue(rv, f, permission);”,直接注释掉,再用ant命令编译一遍即可产生hadoop-core.jar包,同样将hadoop-core.jar替换掉项目中hadoop-core.jar

 

继解决了上一个异常Failed to set permissions of path:之后,运行文件又出现异常:

运行参数为:urls -dir crawl -depth 2 -topN 2

异常为:

Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir

这个错是由于未正确指定参数Program arguments导致的。来来去去就这么几个错,折腾了一天。深刻体会到,有时候想问题真的不要那么狭隘,要敢于大胆假设。从没想过是Program arguments的问题。。。不过找到问题了就快了。

Eclipse查看hadoop源代码

Eclipse查看hadoop源代码导入不成功。以hadoop-1.2.1.tar.gz为例,我们先解压hadoop项目,然后在压缩成zip格式的文件,导入即可成功。

total number of urls rejected by filters: 0

我遇见的这个问题并不是由于程序本身问题导致的,而是因为传递配置参数时没写正确。

eclipse中运行injector类时,传的参数应当为:

Main class: org.apache.nutch.crawl.Injector

VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

Program arguments: crawldb urls

继续运行,这次会发现已经开始报错了。很好,报错是好事,害怕的就是它不报错。能报错就好办了,继续解决下边这个异常:

nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object

nutch部署过程中出现了下面错误,主要是没有正确配置插件导致的,可以通过设置nutch-site.xml文件的plugin.folders属性解决问题

 修改confnutch-default文件将plugin.folders的值由plugins修改为./src/plugin

因为plugin文件在src目录下。

 

转载于:https://my.oschina.net/HIJAY/blog/223932

你可能感兴趣的文章
Codeforces Codeforces Round #319 (Div. 2) A. Multiplication Table 水题
查看>>
各大浏览器CSS Hack收集
查看>>
再谈 $* 和 $@ 在 Bash 中的表现
查看>>
Apache Commons工具集简介
查看>>
Win8Metro(C#)数字图像处理--2.33图像非线性变换
查看>>
【翻译】Nginx的反向代理
查看>>
htm、html、shtml网页区别
查看>>
SpringCloud学习笔记:服务注册与发现Eureka(2)
查看>>
学习新 api 的思考过程 4.18
查看>>
想要设计自己的微服务?看这篇文章就对了
查看>>
一起撸个朋友圈吧(step5) - 控件篇【评论控件优化】
查看>>
一起撸个朋友圈吧 图片浏览(上)【图片点击前景色】
查看>>
[译] 原生 JavaScript 值得学习吗?答案是肯定的
查看>>
29岁了还一事无成是人生的常态?
查看>>
gRPC-rs:从 C 到 Rust
查看>>
Mysql-高性能索引
查看>>
chrome浏览器最小字号解决方案
查看>>
富文本编译器UEditor+SSM的使用
查看>>
Java EE之旅02 CSS基础
查看>>
kubernetes学习笔记 (二):k8s初体验
查看>>