基于java网络蜘蛛程序

论文字数:12995,页数:42 有开题报告，任务书，PPT

 摘  要
 在互联网发展初期，网站相对较少，信息查找比较容易。然而伴随互联网爆炸性的发展，普通网络用户想找到所需的资料简直如同大海捞针，这时为满足大众信息检索需求的专业搜索网站便应运而生了。网络蜘蛛程序是Web搜索引擎技术中关键的一部分。
 本论文基于现有的知识理论实现了蜘蛛程序，从给定网址开始进行爬行搜索，利用数据库队列技术管理网页链接，将访问过的网页资源下载到本地硬盘保存。通过使用Lucene工具包对下载资源。利用java.url中的类实现Spider程序与外界通讯，以及处理网页中的URL连接，对蜘蛛程序的核心类（通讯核心、蜘蛛程序工作核心），资源索引的建立与搜索新型了详细的研究。
 通过设计分析，完成了自己的蜘蛛爬行程序。程序按照初始设计功能完成，实现了对网络资源的收集和整理。功能通过了测试，程序可以正常稳定运行
 最后论文对全文进行了总结，并对为了发展的方向进行了展望。
 
关键字：HTTP，线程，Spider，Lucene

Abstract
 At the initial stage of internet development， there were few websites， so information searching is comparatively easy. However， with the explosion of internet， searching for information became very hard to common website users which calls for the appearance of professional searching websites. A crucial part of web searching engine technology is web spider program.
 This paper realized the following procedures from give the website address to operate searching， make use of data base lining technology to manage webpage linkage to download visited sources to the local hard drives. Lucene tool bag is used to give content to the download sources. This paper is focused on the following technology: the core of spider program (communication core， spider program working core)， the establishment of sources and search.
 Though the design analysis， I have finished my own spider creeping program. The program is finished based on initial design， implement the collection and arranging of net sources. These functions passed the test， and is able to run normally.
 
Key words: HTTP， routine， spider， Lucene
 
 
 
 目   录
1  绪 论 1
1.1课题研究背景 1
1.2国内外研究现状 1
1.3 本论文的结构 4
2 程序设计目标及策略 5
2.1程序分析 5
2.1.1 多线程搜索 5
2.1.2 数据库队列管理 5
2.1.3 检索引擎——Lucene 6
2.2功能点技术分析 6
2.2.1 Spider如何获取URL链接的获取 6
2.2.2 程序结构的选择 6
2.2.3利用递归构造Spider 6
2.2.4利用非递归构造Spider 7
2.2.5 Spider程序的队列 7
2.2.6全文索引 8
3 程序设计与实现、测试 9
3.1 HTTP类及相关类的设计与实现 9
3.2 蜘蛛程序工作核心类设计与实现 13
3.2.1 蜘蛛程序中线程的设计 13
3.2.2 多线程同步 14
3.3 Spider类及其相关类的实现 15
3.3.1 ISpiderReportable接口 15
3.3.2 IWorkloadStorable接口 15
3.3.3 SpiderSQLWorkload类 16
3.3.4 SpiderWorker类 16
3.3.5 SpiderDone类 18
3.3.6 Spider类 19
3.4程序测试 20
3.4.1硬件环境 20
3.4.2软件环境 20
3.4.3测试用例 20
3.4.4测试结论 21
4 总结 22
致 谢 25
参考文献 26
附录：代码 27

相关论文