基于java的lucene全文搜索子系统

论文字数:11610,页数:30   附开题报告，任务书，外文翻译

基于Java的Lucene全文搜索子系统
摘要
随着网络信息资源的急剧增长，人们越来越多地关注如何快速有效地从海量的网络信息中，抽取出潜在的、有价值的信息，使之有效地在管理和决策中发挥作用。搜索引擎技术解决了用户检索网络信息的困难，目前Web搜索引擎(Search Engine)技术正成为计算机科学界和信息产业界争相研究、开发的对象。
搜索引擎 (Search Engine)是指因特网上专门提供查询服务的一类网站，这些网站通过网络搜索软件(又称为网络搜索机器人)或网站登录等方式，收集因特网上大量网站的页面，经过加工处理后建库，从而能够对用户提出的各种查询作出响应，提供用户所需的信息。
本文介绍了传统的基于关系数据库like检索的网站站内检索方案的不足，对开源的Lucene信息检索技术进行了分析，对比了Lucene与关系数据库的区别。在Lucene检索体系的基础上，采用Spring框架，结合网络爬虫Heritrix、Ajax等技术，最终建立起基于Java的Lucene全文搜索子系统的过程。

关键词：
  Lucene  全文检索  中文分词  Spider  全表扫描

Java-based Lucene full-text search subsystem

Abstract
 With the network of information resources of the rapid growth, people more and more concerned about how quickly and efficiently from the vast network of information, from a potential and valuable information to make it effective in the management and decision-making role. Search engine technology to solve the user network information retrieval difficulties, the Web search engine (Search Engine) technology is becoming computer science and information industry competing research and development targets.
 Search engine (Search Engine) is on the Internet to provide specialized services for a class of sites, these sites through the Internet search software (also known as the Web search robot) or log sites, including through the collection on the Internet site of the large number of pages, after processing the building, to enable the users to respond to the various enquiries, providing users the information needed.
 In this paper, based on the traditional relational database like search site station crawl under the programme, the Lucene open source information retrieval technology for the analysis, compared Lucene and the distinction between relational database. With an example and then introduced in the Lucene search system on the basis of a Spring framework, integrated network reptiles Heritrix, Ajax and other technologies, eventually establish a Java-based subsystem Lucene full-text search process.

Keywords：
Lucene    Full Text Search    Chinese Segmentation    Spider    Full-table scans
目 录
摘要 II
关键词： II
Abstract III
Keywords： III
目 录 IV
第一章  前言 1
1.1  系统必要性分析 1
1.1.1  企业网站本身的需要 1
1.1.2  站内全文搜索引擎的优势 2
1.2  Lucene全文搜索应用概述 3
1.2.1  Lucene背景 3
1.2.2  Lucene全文搜索的实现机制 3
1.3  Lucene的创新之处 5
第二章  搜索引擎的基本原理 6
2.1  搜索引擎的基本组成及其功能 6
2.1.1  业务流程 6
2.1.2  组件流程简介 6
2.1.3  搜索引擎程序各组成部分的功能详细介绍 7
2.2 信息检索系统构造过程 8
第三章  实例具体开发过程 9
3.1  实例开发准备 9
3.2  实例具体制作过程 10
3.2.1  网页清单抓取 10
3.2.2  为网页清单定制 11
3.2.3  建立全文文本数据库 12
3.2.4  建立关系数据库 15
3.2.5  WEB平台的搭建 19
3.2.6  Lucene的数据同步方案 23
3.2.7    实例存在的问题 24
结束语 25
致谢 26
参考文献 27

相关论文