博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
搭建eclipse环境下 Nutch+Mysql 二次开发环境
阅读量:5821 次
发布时间:2019-06-18

本文共 4736 字,大约阅读时间需要 15 分钟。

hot3.png

最近看了下Nutch,目前Nutch最新版本2.3.1,支持Hbase、MongoDB等存储,但在搭建和测试过程中发现对Mysql 的支持好像有点问题。

后来将Nutch版本改为2.2.1。基于Nutch2.2.1+Mysql 的环境配置过程如下:

1.下载Nutch2.2.1 源码:SVN:https://svn.apache.org/repos/asf/nutch/branches/branch-2.2.1

2.修改Nutch2.2.1 源码中的ivy/ivysetings.xml

  •   添加一个源:

      <property name="org.restlet"

    value="http://maven.restlet.org"
    override="false"/> 

  •    增加以下红色部分代码

   <chain name="default" dual="true">

      <resolver ref="local"/>
      <resolver ref="maven2"/>
      <resolver ref="apache-snapshot"/>
      <resolver ref="sonatype"/>
      <resolver ref="restlet"/>
    </chain>

经过测试,没有增加这个有些包下载不了,可能和网络有关系。

 

3.修改ivy/ivy.xml

启用以下两个依赖

   

4.进入命令行,并定位到Nutch目录

执行:

ant eclipse -verbose

由于网络带宽问题,整个过程执行了半个小时

执行完成之后如下图所示

 

发现build文件夹比原来多了很多内容。

 

5. 打开Eclipse

使用Import 导入Nutch工程

 

6.配置conf/nutch-site.xml

复制代码

http.agent.name
YourNutchSpider
http.accept.language
ja-jp, en-us,en-gb,en,zh-cn,zh-tw;q=0.7,*;q=0.3
Value of the “Accept-Language” request header field. This allows selecting non-English language as default one to retrieve. It is a useful setting for search engines build for certain national group.
parser.character.encoding.default
utf-8
The character encoding to fall back to when no other information is available
plugin.folders
src/plugin
Directories where nutch plugins are located. Each element may be a relative or absolute path. If absolute, it is used as is. If relative, it is searched for on the classpath.
storage.data.store.class
org.apache.gora.sql.store.SqlStore
The Gora DataStore class for storing and retrieving data. Currently the following stores are available: ….
generate.batch.id
*

 

7.配置 gora.properties

 

gora.datastore.default=org.apache.gora.sql.store.SqlStoregora.datastore.autocreateschema=truegora.sqlstore.jdbc.driver=com.mysql.jdbc.Drivergora.sqlstore.jdbc.url=jdbc:mysql://localhost:3306/nutch?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf8&autoReconnect=true&zeroDateTimeBehavior=convertToNullgora.sqlstore.jdbc.user=rootgora.sqlstore.jdbc.password=

8.创建mysql数据库和表结构

 

CREATE TABLE webpage (

id varchar(256) NOT NULL,
headers blob,
text longtext DEFAULT NULL,
status int(11) DEFAULT NULL,
markers blob,
parseStatus blob,
modifiedTime bigint(20) DEFAULT NULL,
prevModifiedTime bigint(20) DEFAULT NULL,
score float DEFAULT NULL,
typ varchar(32) CHARACTER SET latin1 DEFAULT NULL,
batchId varchar(32) CHARACTER SET latin1 DEFAULT NULL,
baseUrl varchar(256) DEFAULT NULL,
content longblob,
title text DEFAULT NULL,
reprUrl varchar(256) DEFAULT NULL,
fetchInterval int(11) DEFAULT NULL,
prevFetchTime bigint(20) DEFAULT NULL,
inlinks mediumblob,
prevSignature blob,
outlinks mediumblob,
fetchTime bigint(20) DEFAULT NULL,
retriesSinceFetch int(11) DEFAULT NULL,
protocolStatus blob,
signature blob,
metadata blob,
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

9. 配置Crawler.java 的执行参数

在run configuration 中配置java application  main class org.apache.nutch.crawl.Crawler

args配置:urls -depth 3 -topN 5

vm参数配:-Xms64m -Xmx512m    这项如果不配,会报内存溢出。

这时候就可以debug或者run了。按道理是可以出来了

 10. 修改Hadoop的FileUtil.java

由于windows平台问题,需要修改FileUtil.java 代码,将红色部分注释掉。否则在执行Crawl 过程中会报Hadoop的路径权限错误

1   private static void checkReturnValue(boolean rv, File p, FsPermission permission)2     throws IOException3   {4     //if (!rv)5     //  throw new IOException(new StringBuilder().append("Failed to set permissions of path: ").append(p).append(" to ").append(String.format("%04o", new Object[] { Short.valueOf(permission.toShort()) })).toString());6   }

11. 在工程目录创建urls 文件夹,并在文件夹中创建seed.txt文件

添加需要爬取的网站URL路径,如: http://www.cnblogs.com/

注意:这个urls文件夹与Crawler执行参数的urls 对应。

12.执行Crawler.java 观察Mysql 数据

 

13、按道理讲,源码应该不用修改。事实证明,源码也有问题,运行的时候会出错。

GeneratorJob类在运行的时候会出现空指针异常,需要在163行run 方法内,增加:

// generate batchId        int randomSeed = Math.abs(new Random().nextInt());        String batchId = (System.currentTimeMillis() / 1000) + "-" + randomSeed;        getConf().set(BATCH_ID, batchId);

 

14.在大多数情况下,网站可能配置了反爬虫的功能robots.txt

Nutch也遵守了该协议,但可以通过修改Nutch的源码绕过反爬虫。

只需要将类FetcherReducer 的以下这个代码注释掉即可

/*

if (!rules.isAllowed(fit.u.toString())) {
// unblock
fetchQueues.finishFetchItem(fit, true);
if (LOG.isDebugEnabled()) {
LOG.debug("Denied by robots.txt: " + fit.url);
}
output(fit, null, ProtocolStatusUtils.STATUS_ROBOTS_DENIED,
CrawlStatus.STATUS_GONE);
continue;
}
*/

转载于:https://my.oschina.net/huhaoren/blog/864074

你可能感兴趣的文章
oracle系列(五)高级DBA必知的Oracle的备份与恢复(全录收集)
查看>>
hp 服务器通过串口重定向功能的使用
查看>>
国外10大IT网站和博客网站
查看>>
android第十一期 - SmoothSwitchLibrary仿IOS切换Activity动画效果
查看>>
zabbix 批量web url监控
查看>>
MongoDB CookBook读书笔记之导入导出
查看>>
shell如何快速锁定所有账号
查看>>
HTML 5实现的手机摇一摇
查看>>
Linux 文件IO理解
查看>>
Ninject 2.x细说---2.绑定和作用域
查看>>
30个非常时尚的网页联系表单设计优秀示例
查看>>
使用membership(System.Web.Security)来进行角色与权限管理
查看>>
opticom 语音质量验证白皮书
查看>>
3D实时渲染中的BSP树和多边形剔除
查看>>
Frank Klemm's Dither and Noise Shaping Page: Dither and Noise Shaping In MPC/MP+
查看>>
网络抓包的部署和工具Wireshark【图书节选】
查看>>
Redis在Windows+linux平台下的安装配置
查看>>
Maven入门实战笔记-11节[6]
查看>>
几篇JavaEye的博客
查看>>
Local declaration of 'content' hides instance variable
查看>>