知识点
相关文章
更多最近更新
更多Heritrix源码分析(十一) Heritrix中的URL--CandidateURI和CrawlURI以及如何增加自己的属性(转)
2019-03-27 01:04|来源: 网路
本博客属原创文章,欢迎转载!转载请务必注明出处:http://guoyunsky.iteye.com/blog/649889
本博客已迁移到本人独立博客: http://www.yun5u.com/
欢迎加入Heritrix群(QQ):109148319,10447185 , Lucene/Solr群(QQ) : 118972724
Url是爬虫的核心,因为爬虫就是依赖URL一层一层的抓取下去,最后完成整个抓取。Heritrix中的URL比较特殊,有以下继承关系(由于不对继承关系作介绍,所以这里就不画图了):
1)org.archive.crawler.datamodel.CrawlURI——>CandidateURI
2)org.archive.net.UURI——>org.archive.net.LaxURI
——>org.apache.commons.httpclient.URI——>java.net.URL
前面说过CrawlURI和CandidateURI的区别在于CrawlURI是由通过了调度器(Frontier)的CandidateURI转换而来的。下面就先介绍CnadidateURI(主要介绍相关属性):
- public static final int HIGH = 1; //调度器调度等级:高
- public static final int HIGHEST = 0; //调度器调度等级:最高
- public static final int MEDIUM = 2; //调度器调度等级:中
- public static final int NORMAL = 3; //调度器调度等级:普通
- //URL字符串
- private String cachedCandidateURIString = null;
- //队列Key,不同队列有不同的classKey.其中相同classKey的CandidateURI则属于相同的队列
- private String classKey;
- //是否强制访问,强制访问的话会重复抓取
- private boolean forceRevisit = false;
- // 是不是种子
- private boolean isSeed = false;
- /**
- * 灵活的属性列表,Heritrix在运行过程中需要保存不固定的属性和属性值,
- *同时扩展Heritrix属性 也可以放在里面。不过需要特殊处理,等下单独介绍
- */
- private transient AList alist;
- /**
- * 该值代表当前CandidateURI是如何从种子那里生成的,有如下生成方式:
- * P:预先处理URL,一般是DNS,如DNS:www.baidu.com
- * R:重定向URL
- * E:嵌入式URL,如Frame、src等
- * X:特殊嵌入式URL,如JS中的URL
- * L:一般意义上的URL,如<a href="www.baidu.com">
- * 该属性除了可以记录从种子那来源方式的话同时还可以记录深度,因为
- * 该值是一层一层传递,每传递一层则增加一个以上字符.如此通过长度
- * 可以判断当前URL属于种子的第几层从而做到控制抓取深度, 如果当
- * 前CandidateURI是种子,则该值为null
- */
- private String pathFromSeed;
- private int schedulingDirective = NORMAL; // 调度等级,默认为普通
- private transient UURI uuri; //URL
- private transient UURI via; //来源URL
- private CharSequence viaContext;//来源URL内容
下面再介绍一下CrawlURI相关属性,前面说过CrawlURI和CandidateURI最大区别就是CrawlURI通过了调度器,这也就意味着CrawlURI会进入队列抓取,如此CrawlURI就会相比CandidateURI对很多属性来记录抓取情况,如处理器,下面请看代码以及注释:
- //数组用户保存alist成员的key,使得URI处理期间可以持久化访问.这个list中的所有的key在传递下去的处理链 后面都不会被清理掉
- private static final List<Object> alistPersistentMember = new CopyOnWriteArrayList<Object>(
- new String[] { A_CREDENTIAL_AVATARS_KEY });
- // 一个CrawlURI所允许的最大外链接数(就是该CrawlURI本身网页里所包含的链接数),默认为6000
- public static final int MAX_OUTLINKS = Integer.parseInt(System.getProperty(
- CrawlURI.class.getName() + ".maxOutLinks", "6000"));
- // 放弃的外链接个数(当一个URL抽取出来的链接数超过MAX_OUTLINKS时就放弃,然后本变量累加)
- transient private int discardedOutlinks = 0;
- public static final int UNCALCULATED = -1; //网页内容长度,默认值
- private String cachedCrawlURIString = null; //缓存的URL
- private byte[] contentDigest = null; //网页内容指纹,对内容进行MD5值,该对象可以用于对比该URL是否有更新
- private String contentDigestScheme = null; // 记录网页内容所采用算法,从配置文件里配置
- private long contentLength = UNCALCULATED; //相应内容长度
- private long contentSize = UNCALCULATED; //网页内容大小
- private String contentType = null; //网页内容类型
- private int deferrals = 0; //从先决条件URL延迟数
- private int fetchAttempts = 0; // 获取URL的个数
- private int fetchStatus = 0; //获取URL内容状态,默认为0,表示没有尝试过
- transient Object holder; // 所属的队列(WorkQueue)
- int holderCost = UNCALCULATED; //成本
- transient Object holderKey; //所属队列的classkey
- private transient HttpRecorder httpRecorder = null; //记录网页内容
- transient private boolean linkExtractorFinished = false; //抽取是否成功,如果成功则该URL不会再被抽取
- transient private Processor nextProcessor; // 下一个处理器
- transient private ProcessorChain nextProcessorChain;// 下一条处理链
- protected long ordinal; //Crawl自增数目,用于广度优先抓取
- transient Collection<Object> outLinks = new HashSet<Object>(); //该URL抽取到的所有的连接
- private boolean post = false; // 提交url是否post,对应HttpClient的HttpPost
- private boolean prerequisite = false; //是否有优先URL要处理,一般是DNS
- transient private int threadNumber; //线程个数
- private String userAgent = null; //用户代理,表名当前身份
- @Deprecated
- private int embedHopCount = UNCALCULATED;
- @Deprecated
- private int linkHopCount = UNCALCULATED; // 跃点数,表示来自种子的第几层,该值可以控制抓取深度
同时很多人在使用Heritrix的时候需要增加自己的属性,我之前也有这样的需求。不过那时是直接修改源代码增加几个属性,然后在抽取的时候将新的属性赋给抽取出来的URL即可。后来才发现完全没有这个必要,Heritrix已经提供了这样一个功能,可以自定义放入各种属性和属性值。同时Heritrix自己在运行过程中也是如此,把一些会动态变化的属性放入其中,如HttpStatus Code。下面就介绍下其相关原理以及如何使用这个功能:
1)原理:
CandidateURI里面有一个属性private transient AList alist;该属性实际上是一个HashTable,其中Key为属性,Value为属性值。如此一致贯穿整个抓取,可以随时动态读写。但由于该属性是transient,也就意味着HashTable里面的值不会被持久化,所以Heritrix在CrawlURI里面引入一个个变量来记录HashTable中需要持久化的Key,也就是我们所要持久化的属性了:private static final List<Object> alistPersistentMember = new CopyOnWriteArrayList<Object>( new String[] { A_CREDENTIAL_AVATARS_KEY });该属性类型为CopyOnWriteArrayList,也就是专门用于复制写的List,里面存放需要持久化的Key。所以当你需要某个HashTable中的某个Key持久化的时候,只需要在该变量里添加即可。
2)使用方法:
1.存放属性和属性值,变量可以按多种类型存放:
- //放入类型为Int的值
- public void putInt(String key, int value) {
- getAList().putInt(key, value);
- }
- //放入类型为Long的属性值
- public void putLong(String key, long value) {
- getAList().putLong(key, value);
- }
- //放入类型为Object的属性值
- public void putObject(String key, Object value) {
- getAList().putObject(key, value);
- }
- //放入类型为String的属性值
- public void putString(String key, String value) {
- getAList().putString(key, value);
- }
2.获得属性和属性值:
- //获得属性的值,该值为Int类型
- public int getInt(String key) {
- return getAList().getInt(key);
- }
- //获得属性的值,该值为Long类型
- public long getLong(String key) {
- return getAList().getLong(key);
- }
- //获得属性的值,该值为Object类型
- public Object getObject(String key) {
- return getAList().getObject(key);
- }
- //获得属性的值,该值为String类型
- public String getString(String key) {
- return getAList().getString(key);
- }
3.查看是否包含某个属性:
- //查看是否包含某个属性
- public boolean containsKey(String key) {
- return getAList().containsKey(key);
- }
4.获得所有的属性:
- //返回所有的属性值
- public Iterator keys() {
- return getAList().getKeys();
- }
5.让某个属性持久化:
- public void makeHeritable(String key) {
- @SuppressWarnings("unchecked")
- List<String> heritableKeys = (List<String>) getObject(A_HERITABLE_KEYS);
- if (heritableKeys == null) {
- heritableKeys = new ArrayList<String>();
- heritableKeys.add(A_HERITABLE_KEYS);
- putObject(A_HERITABLE_KEYS, heritableKeys);
- }
- heritableKeys.add(key);
- }
6.让某个属性不持久化:
- public void makeNonHeritable(String key) {
- List heritableKeys = (List) getObject(A_HERITABLE_KEYS);
- if (heritableKeys == null) {
- return;
- }
- heritableKeys.remove(key);
- if (heritableKeys.size() == 1) {
- // only remaining heritable key is itself; disable completely
- remove(A_HERITABLE_KEYS);
- }
- }
以上6个介绍完全可以让你扩展自己的属性以及让他们持久化,如果还有其他问题,请留言,或者加入群:10447185
转自:http://www.cnblogs.com/seurain/p/3198412
相关问答
更多-
Heritrix-1.14.1怎么配置?[2022-02-24]
1.下载heritrix-1.14.1.zip和heritrix-1.14.1.src 并解压,解压heritrix-1.14.1.jar. 2.在eclipse下创建java project,命名为比如heritrix,进入其工程的目录,我的是F:\workspace\myeclipse\heritrix,删除src文件夹。 3.copy解压后的heritrix-1.14.1.zip文件夹下的lib,webapps,heritrix-1.14.1到F:\workspace\myeclipse\heritr ... -
配置heritrix运行后出现一下问题[2023-09-15]
问题是地址被占用,一是通过cmd查看端口使用(命令:netstat -ao),关闭占用的应用程序后再运行,二是更改自己使用的地址至空闲地址。我也是初学者,不一定对,试试吧~ -
你要把下面的问题原因贴出来啊,就是这个错误下面一行的due to:信息
-
jsoup与heritrix之间的关系[2022-05-24]
登录的,建议你用jsoup带着cookie进去。 动态的,建议你用htmlunit。 webmagic和jsoup都很好学。有时间学学,虽然不是必会,但是这种小工具说不定什么时候就用得上。 -
如何学搜索引擎 ——Lucene 2.0+Heritrix[2022-03-12]
目前没有很少 刚帮你找了 -
你需要在Modules页面中将ARCWriterProcessor这项,修改成MirrorWriterProcessor才会保存为镜像文件的。 如果你在Modules页面中不能选择,需要在Eclipse里面设置conf为Classpath( 在Eclipse的Run Dialog中,Classpath标签Table,选中User Entries,然后右边会有Advance选项,选Add External Folder,把你的Conf加进去就行了)
-
用heritrix抓取下的 网页url被处理过 怎么还原[2023-06-11]
需要用正则表达式来过滤到你不想要的东西,抓取和过滤的原理是一样的,就是具有共性的头和尾,把中间部分抓出来. 正则表达式在抓取中应用比较多,也可以称之为一种规则,你抓取内容要按照一定的规则来抓取,无用的你还得按照一定的规则过滤. -
如果你打算制作一个ajax网站的“副本”,显然没有。 如果要通过分析网站内容来获取某些数据,可以使用Extractor自定义爬网程序,以确定要遵循的URL。 在大多数网站上,您可以轻松猜出对您的案例感兴趣的网址,而无需解释javascript。 然后将抓取ajax回调并将其提供给处理器链。 默认情况下,这会将ajax回调答案存储在存档文件中。 制作自己的Extractor看起来像这样: import org.archive.modules.extractor.ContentExtractor; ...
-
如何从heritrix抓取中排除除text / html之外的所有内容?(How do i exclude everything but text/html from a heritrix crawl?)[2022-06-06]
您引用的用例有些过时并且引用了Heritrix 1.x(过滤器已被替换为决策规则,非常不同的配置框架)。 基本概念仍然是一样的。 cxml文件基本上是一个Spring配置文件。 您需要将ARCWriter bean上的属性shouldProcessRule配置为ContentTypeMatchesRegexDecideRule 可能的ARCWriter配置:使用Heritrix的HtmlFormCredential和CredentialStore(Use of Heritrix's HtmlFormCredential and CredentialStore)[2023-10-27]
我还在Heritrix表单上提出了这个问题: http : //tech.groups.yahoo.com/group/archive-crawler/message/8235和Noah Levitt有想法将登录页面添加为我的爬行种子。 现在一切似乎都没有太多问题。 我的结论是我在配置文件中正确设置了所有内容,但是缺少了我需要的实际页面种子。 I also asked this question on the Heritrix forms: http://tech.groups.yahoo.com/grou ...