目    录
 
 1引言…………………………………………………………………2
 1.1入侵检测技术的提出  ……………………………………………2
 1.2入侵检测技术技术研究史   ………………………………………3
 1.2.1 以Denning模型为代表的IDS早期技术 …………………………3
 1.2.2中期：统计学理论和专家系统相结合   …………………………4
 1.2.3基于网络的NIDS是目前的主流技术    ………………………5
 1.3 本课题研究的途径与意义   …………………………………11
 2 入侵检测技术原理    ……………………………………………12
 2.1  入侵检测技术第一步——信息收集 …………………………12
 2.1.1 网络入侵检测技术模块方式  ………………………………13
 2.1.2  主机入侵检测技术模块方式    ……………………………13
 2.1.3信息来源的四个方面  …………………………………………13
 2.2 入侵检测技术的第二步——信号分析 ……………………………15
 2.2.1模式匹配  ……………………………………………………16
 2.2.2统计分析  ……………………………………………………16
 2.2.3完整性分析  …………………………………………………16
 3入侵检测技术功能概要   …………………………………………18
 4 入侵检测技术技术分析  …………………………………………19
 4.1入侵分析按其检测技术规则分类 …………………………………19
 4.1.1基于特征的检测技术规则 ……………………………………19
 4.1.2基于统计的检测技术规则……………………………………20
 4.2 一些新的分析技术  ……………………………………………20
 4.2.1 统计学方法 …………………………………………………20
 4.2.2 入侵检测技术的软计算方法 …………………………………21
 4.2.3 基于专家系统的入侵检测技术方法 …………………………21
 5 入侵检测技术技术发展方向  ……………………………………22
 5.1分布式入侵检测技术与通用入侵检测技术架构……………………22
 5.2应用层入侵检测技术  …………………………………………22
 5.3智能的入侵检测技术  …………………………………………22
 5.4入侵检测技术的评测方法  ……………………………………22
 5.5网络安全技术相结合  …………………………………………22
 6 建立数据分析模型   ……………………………………………23
 6.1测试数据的结构 ………………………………………………22
 6.2数据中出现的攻击类型…………………………………………25
 6.2.1攻击（Attacks） ………………………………………………25
 6.2.2发现训练集中的攻击类型 ……………………………………26
 6.2.3其他主流的攻击类型 …………………………………………28
 7  聚类算法在网络入侵检测技术中的作用 …………………………29
 7.1模式识别的概念  ………………………………………………29
 7.2模式分类      ……………………………………………29
 7.3基于异常的入侵检测技术   ……………………………………32
 7.4聚类算法简介  …………………………………………………32
 7.4.1 K-means算法  ………………………………………………32
 7.4.2迭代最优化算法………………………………………………32
 7.4.3我的构想    …………………………………………………32
 结论…………………………………………………………………35
 致谢…………………………………………………………………35
 参考文献 ……………………………………………………………35
 
 
1引言
1.1入侵检测技术的提出
 随着Internet高速发展，个人、企业以及政府部门越来越多地依靠网络传递信息, 然而网络的开放性与共享性容易使它受到外界的攻击与破坏,信息的安全保密性受到严重影响。网络安全问题已成为世界各国政府、企业及广大网络用户最关心的问题之一。
 在计算机上处理业务已由基于单机的数学运算、文件处理，基于简单连结的内部网络的内部业务处理、办公自动化等发展到基于企业复杂的内部网、企业外部网、全球互联网的企业级计算机处理系统和世界范围内的信息共享和业务处理。在信息处理能力提高的同时，系统的连结能力也在不断的提高。但在连结信息能力、流通能力提高的同时，基于网络连接的安全问题也日益突出，黑客攻击日益猖獗，防范问题日趋严峻：● 具Warroon Research的调查，1997年世界排名前一千的公司几乎都曾被黑客闯入。● 据美国FBI统计，美国每年因网络安全造成的损失高达75亿美元。● Ernst和Young报告，由于信息安全被窃或滥用，几乎80%的大型企业遭受损失● 在最近一次黑客大规模的攻击行动中，雅虎网站的网络停止运行3小时，这令它损失了几百万美金的交易。而据统计在这整个行动中美国经济共损失了十多亿美金。由于业界人心惶惶，亚马逊(Amazon.com)、AOL、雅虎(Yahoo!)、eBay的股价均告下挫，以科技股为主的纳斯达克指数(Nasdaq)打破过去连续三天创下新高的升势，下挫了六十三点，杜琼斯工业平均指数周三收市时也跌了二百五十八点。遇袭的网站包括雅虎、亚马逊和Buy.com、MSN.com、网上拍卖行eBay以及新闻网站CNN.com，估计这些袭击把Internet交通拖慢了百分二十。"
 目前我国网站所受到黑客的攻击，还不能与美国的情况相提并论，因为我们在用户数、用户规模上还都处在很初级的阶段，但以下事实也不能不让我们深思：   1993年底，中科院高能所就发现有"黑客"侵入现象，某用户的权限被升级为超级权限。当系统管理员跟踪时，被其报复。1994年，美国一位14岁的小孩通过互联网闯入中科院网络中心和清华的主机，并向我方系统管理员提出警告。
  1996年，高能所再次遭到"黑客"入侵，私自在高能所主机上建立了几十个帐户，经追踪发现是国内某拨号上网的用户。同期，国内某ISP发现"黑客"侵入其主服务器并删改其帐号管理文件，造成数百人无法正常使用。    进入1998年，黑客入侵活动日益猖獗，国内各大网络几乎都不同程度地遭到黑客的攻击：　　7月，江西169网被黑客攻击，造成该网3天内中断网络运行2次达30个小时，工程验收推迟20天；同期，上海某证券系统被黑客入侵；　　8月，印尼事件激起中国黑客集体入侵印尼网点，造成印尼多个网站瘫痪，但与此同时，中国的部分站点遭到印尼黑客的报复；同期，西安某银行系统被黑客入侵后，提走80.6万元现金；　　9月，扬州某银行被黑客攻击，利用虚存帐号提走26万元现金。　　每年全球因计算机网络的安全系统被破坏而造成的经济损失达数百亿美元。进入新世纪之后，上述损失将达2000亿美元以上。
 看到这些令人震惊的事件，不禁让人们发出疑问："网络还安全吗？"
 试图破坏信息系统的完整性、机密性、可信性的任何网络活动都称为网络入侵。防范网络入侵最常用的方法就是防火墙。防火墙（Firewall）是设置在不同网络（如可信任的企业内部网和不可信任的公共网）或网络安全域之间的一系列部件的组合,它属于网络层安全技术,其作用是为了保护与互联网相连的企业内部网络或单独节点。它具有简单实用的特点，并且透明度高，可以在不修改原有网络应用系统的情况下达到一定的安全要求。    但是，防火墙只是一种被动防御性的网络安全工具，仅仅使用防火墙是不够的。首先，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击。其次，防火墙对来自内部的攻击无能为力。它所提供的服务方式是要么都拒绝，要么都通过,不能检查出经过他的合法流量中是否包含着恶意的入侵代码，这是远远不能满足用户复杂的应用要求的。　
对于以上提到的问题，一个更为有效的解决途径就是入侵检测技术。在入侵检测技术之前，大量的安全机制都是根据从主观的角度设计的,他们没有根据网络攻击的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全策略。而入侵检测技术正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。　

 
1.2入侵检测技术技术研究史
 审计是最早引入计算机安全领域的概念，像存取文件、变更他们的内容或分类等的活动都记录在审计数据中，安全管理员、系统操作员和维护人员和普通用户一样都要经过行为审核。安德森提出要建立一个安全监督系统，保护那些系统敏感信息。他还提出应该检查什么、如何分析他、以及如何保护监督系统免受攻击，这成了今天IDS研究的核心内容。    70年代后期，美国政府，包括DoD（国防部）和NIST（国家标准和技术协会）支持的计算机安全研究2开始了，安全审计也被考虑在这些研究中。1980年，安德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机处理大量的机密数据。报告中，安德森提出了减少分析数据量的方法，以及比较统计数据和总的观察——也就是统计行为，以发现反常的行为。当一个安全违例发生或（统计上）反常的事件出现时，就会提醒安全官员。安全官员还能利用详细的观测资料做后续的评估。安德森的报告为SRI（Stanford Research Institute）和TRW（美国著名的数据安全公司）的早期工作提供了蓝图。在1980年代中期，入侵检测技术方面的许多工作都被他的思路深深影响。1.2.1 以Denning模型为代表的IDS早期技术     1984～1985年，Sytex为SPAWAR（美国海军）开展了一个审计分析项目。他基于Unix系统的shell级的审计数据，论证这些数据能够识别“正常”和“反常”使用的区别。特里萨·兰特（Teresa Lunt）在Sytex为这个项目工作，后来又去了SRI，在那里她参与并领导了IDES（入侵检测技术专家系统）项目。     IDES项目是1984年由乔治敦大学的桃乐茜·顿宁（Dorothy Denning）和彼得·诺埃曼（PeterNeumann）开始的，是IDS早期研究中最重要的成就之一。IDES模型基于这样的假设：有可能建立一个框架来描述发生在主体（通常是用户）和客体（通常是文件、程序或设备）之间的正常的交互作用。这个框架由一个使用规则库（规则库描述了已知的违例行为）的专家系统支持。这能防止使用者逐渐训练（误导）系统把非法的行为当成正常的来接受，也就是说让系统“见怪不怪”。　　1988年，特里萨·兰特等人改进了顿宁的入侵检测技术模型，并开发出了一个IDES。该系统包括一个异常检测技术器和一个专家系统，分别用于异常模型的建立和基于规则的特征分析检测技术。系统的框架如图2所示。 
  顿宁的模型假设：入侵行为明显的区别于正常的活动，入侵者使用系统的模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别入侵者异常使用系统的模式，从而检测技术出入侵者违反系统安全性的情况。论文中的一些提法看起来很吸引人，但却并没有多少有力的证据，有些想当然。　　 顿宁的模型中有6个主要构件：主体、对象、审计数据、轮廓特征（或可称为“范型”profiles）、异常记录和行为规则。范型（profiles）表示主体的行为特色，也是模型检测技术方面的关键。行为规则描述系统验证一定条件后抽取的行为，他们能“……更新范型，检测技术异常行为，能把异常和可能的入侵关联起来并提出报告”。审计纪录由一个行为触发，而且记录主体尝试的行为、行为本身、行动对准的目标、任何可能导致例外的情况以及行为消耗的资源和独特的时间戳标记。审计记录会和范型进行比较（使用适当的规则），那些符合异常条件的事件将被识别出来。这个模型独立于特定的系统平台、应用环境、系统弱点以及入侵的类型，也不需要额外的关于安全机制、系统脆弱性或漏洞攻击方面的知识，他为构建入侵监测系统提供了一个通用的框架。1.2.2中期：统计学理论和专家系统相结合　　80年代末，一些其他值得注意的系统开发出来，大部分走的是将统计学理论和专家系统结合在一起的路子。有几个系统，特别是在Haystack和NADIR中，分析引擎把几个商业数据库管理系统（比如Oracle，Sybase）聚合在一起，发挥他们各自的优势。　　MIDAS由美国国家安全局下属的计算机安全中心开发，用来监控他的Multics系统——Dock master。他使用混合的专家系统和统计学分析方法，以及来自Multics应答系统（Answering System）的已检查的审计日志信息，应答系统控制用户的注册（注册信息由其他数据源扩充）。MIDAS是最早基于连接互联网的系统开发的产品之一。　　Wisdom和Sense，分别由Los Alamos和OakRidge开发，是另一个专家系统和统计学分析方法的混合。他使用非参量的统计技术从历史审计数据中产生规则。就像很多其他机器学习方法一样，他也遇到了很多问题，包括获取训练数据的困难、高的误报率和规则库对存储能力的过高需求。　　直到那时，IDS系统仍旧依靠受保护主机收集的审计数据，但加州大学戴维斯分校开发的网络系统监控器——NSM（The Network System Monitor）改变了这个状况。NSM在入侵检测技术技术发展史上是继IDES之后的又一个里程碑，他监控以太网段上的网络流量，并把他作为分析的主要数据源。从当时的检测技术报告上可以看到，NSM检测技术了超过100 000的网络连接，并从中识别出超过300个入侵。今天，大部分商业IDS系统直接使用从网络探测的数据作为他们主要，甚至是惟一的数据源。1.2.3基于网络的NIDS是目前的主流技术
 1994年，Mark Crosbie和Gene Spafford建议使用自治代理（Autonomous Agents）以便提高IDS的可伸缩性、可维护性、效率和容错性，这个思想跟上了计算机科学中其他领域的研究的潮流，比如说软件代理。另一个解决当时多数入侵检测技术系统伸缩性不足的研究成果是1996年提出的GRIDS(Graph-based Intrusion Detection System）系统，该系统对大规模自动或协同攻击的检测技术很有效，这种跨越多个管理区域的自动协同攻击显然是入侵行为发展的方向。　　1997年，CISCO要求WheelGroup公司将入侵检测技术与他的路由器结合。同年，ISS成功开发了RealSecure，他是在Windows NT下运行的分布式网络入侵检测技术系统，被人们广泛使用。1996年的第一次开发是传统的基于探测器的NIDS（网络入侵检测技术系统，监视整个网络段），在Windows和Solaris 2．6上运行。1998年后期，RealSecure发展成为一个混合式的入侵检测技术系统。他对入侵行为具有广泛的反应能力包括断开连接、发送SNMP信息、Email提醒、运行客户程序记录会话内容等，并能根据检测技术自动产生审计策略。　　NIDS系统由安全控制中心和多个探测器组成。安全控制中心完成整个分布式安全监测预警系统的管理与配置。探测器负责监测其所在网段上的数据流，进行实时自动攻击识别和响应。　　近年来的技术创新还有：Forrest将免疫原理运用到分布式入侵检测技术中；1998年Ross Anderson和AbidaKhattk将信息检索技术引入这个领域。
本课题研究的途径与意义
 聚类是模式识别研究中非常有用的一类技术。用聚类算法的异常检测技术就是一种无监督的异常检测技术技术，这种方法可以在未标记的数据上进行，它将相似的数据划分到同一个聚类中，而将不相似的数据划分到不同的聚类，并为这些聚类加以标记表明它们是正常还是异常，然后将网络数据划分到各个聚类中，根据聚类的标记来判断网络数据是否异常。
 本课题是网络入侵检测技术的研究，主要介绍模式识别技术中两种聚类算法，K-means算法和迭代最优化算法，并阐述此算法在入侵检测技术技术中的应用原理，接着分析这两种算法具体应用时带来的利弊，最后针对算法的优缺点提出自己改进的算法，并对此算法进行分析，可以说这种算法是有监督和无监督方法的结合，是K-means算法和迭代最优化算法的折中，是一种较理想的算法。
 通过研究本课题，可以了解入侵检测技术技术的发展历程，及国内外研究水平的差距，熟悉各种入侵检测技术原理方法的异同，以便今后对某种检测技术方法作进一步的改进时能够迅速切入要点；在对入侵检测技术技术研究的同时，认真学习了模式识别这门课程，这是一门交叉学科，模式识别已经在卫星航空图片解释、工业产品检测技术、字符识别、语音识别、指纹识别、医学图像分析等许多方面得到了成功的应用，但所有这些应用都是和问题的性质密不可分的，学习过程中接触了许多新理论和新方法，其中包括数据挖掘，统计学理论和支持向量机等，极大的拓展了自己的知识面，这所带来的收获已经不仅仅停留在对入侵检测技术技术研究这个层面上。
入侵检测技术原理
 入侵检测技术（Intrusion Detection）的定义为：识别针对计算机或网络资源的恶意企图和行为，并对此做出反应的过程。IDS则是完成如上功能的独立系统。IDS能够检测技术未授权对象（人或程序）针对系统的入侵企图或行为(Intrusion)，同时监控授权对象对系统资源的非法操作(Misuse)。
 入侵检测技术作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。入侵检测技术系统能很好的弥补防火墙的不足，从某种意义上说是防火墙的补充，帮助系统对付网络攻击，扩展了系统管理员的安全管理能力（包括安全审计、监视、进攻识别和响应），提高了信息安全基础结构的完整性。它从计算机网络系统中的若干关键点收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭击的迹象。入侵检测技术被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。这些都通过它执行以下任务来实现：　　　◆ 监视、分析用户及系统活动；　　　◆ 系统构造和弱点的审计；　　　◆ 识别反映已知进攻的活动模式并向相关人士报警；　　　◆ 异常行为模式的统计分析；　　　◆ 评估重要系统和数据文件的完整性；　　　◆ 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。　　对一个成功的入侵检测技术系统来讲，它不但可使系统管理员时刻了解网络系统（包括程序、文件和硬件设备等）的任何变更，还能给网络安全策略的制订提供指南。更为重要的一点是，它应该管理、配置简单，从而使非专业人员非常容易地获得网络安全。而且，入侵检测技术的规模还应根据网络威胁、系统构造和安全需求的改变而改变。入侵检测技术系统在发现入侵后，会及时做出响应，包括切断网络连接、记录事件和报警等。
 入侵检测技术第一步——信息收集
 在现实生活中，警察要证明罪犯有罪，必须先收集证据。只有掌握了充足的证据，才能顺利破案。IDS也是一样。一般来说，IDS通过2种方式获得信息：
 
 
2.1.1 网络入侵检测技术模块方式
 当一篇文章从网络的一端传向另一端时，是被封装成一个个小包(叫做报文)来传送的。每个包包括了文章中的一段文字，在到达另一端之后，这些包再被组装起来。因此，我们可以通过检测技术网络中的报文来达到获得信息的目的。一般来说，检测技术方式只能够检测技术到本机的报文，为了监视其他机器的报文，需要把网卡设置为混杂模式。通过在网络中放置一块入侵检测技术模块，我们可以监视受保护机器的数据报文。在受保护的机器将要受到攻击之前，入侵检测技术模块可最先发现它。
实际应用中网络结构千差万别，用户只有根据具体情况分别设计实施方案，才能让网络入侵检测技术模块检测技术到需要保护机器的状况。同时，网络入侵检测技术模块得到的只是网络报文，获得的信息没有主机入侵检测技术模块全面，所检测技术的结果也没有主机入侵检测技术模块准确。网络入侵检测技术模块方式的优点是方便，不增加受保护机器的负担。在网段中只要安装一台网络入侵检测技术模块即可。
2.1.2  主机入侵检测技术模块方式
另外一种获取信息的方式是主机入侵检测技术模块方式。它是在受保护的机器上安装了主机入侵检测技术模块，专门收集受保护机器上的信息。其信息来源可以是系统日志和特定应用程序日志，也可以是捕获特定的进程和系统调用等等。
  采用主机入侵检测技术模块方式的缺点是依赖特定的系统平台。用户必须针对不同的操作系统开发相应的模块。由于一个网络中有多种不同的操作系统，很难保证每个操作系统都有对应的主机入侵检测技术模块，而一个主机入侵检测技术模块只能保护本机，所以在使用上有很大的局限性。此外，它要求在每个机器上安装，如果装机数量大时，对用户来说，是一笔很大的投入。不过，这种模式不受网络结构的限制，在使用中还能够利用操作系统的资源，以更精确地判断出入侵行为。
 在具体应用中，以上2种获得信息的方式是互为补充的。
2.1.3信息来源的四个方面
 就信息收集来说，内容包括系统、网络、数据及用户活动的状态和行为。而且，需要在计算机网络系统中的若干不同关键点（不同网段和不同主机）收集信息，这除了尽可能扩大检测技术范围的因素外，还有一个重要的因素就是从一个源来的信息有可能看不出疑点，但从几个源来的信息的不一致性却是可疑行为或入侵的最好标识。    当然，入侵检测技术很大程度上依赖于收集信息的可靠性和正确性，因此，很有必要只利用当前的优秀软件来报告这些信息。因为黑客经常替换软件以搞混和移走这些信息，例如替换被程序调用的子程序、库和其它工具。黑客对系统的修改可能使系统功能失常并看起来跟正常的一样，而实际上不是。例如，unix系统的PS指令可以被替换为一个不显示侵入过程的指令，或者是编辑器被替换成一个读取不同于指定文件的文件（黑客隐藏了初试文件并用另一版本代替）。这需要保证用来检测技术网络系统的软件的完整性，特别是入侵检测技术系统软件本身应具有相当强的坚固性，防止被篡改而收集到错误的信息。
 入侵检测技术利用的信息一般来自以下四个方面：
 1）系统和网络日志文件
 黑客经常在系统日志文件中留下他们的踪迹，因此，充分利用系统和网络日志文件信息是检测技术入侵的必要条件。日志中包含发生在系统和网络上的不寻常和不期望活动的证据，这些证据可以指出有人正在入侵或已成功入侵了系统。通过查看日志文件，能够发现成功的入侵或入侵企图，并很快地启动相应的应急响应程序。日志文件中记录了各种行为类型，每种类型又包含不同的信息，例如记录“用户活动”类型的日志，就包含登录、用户ID改变、用户对文件的访问、授权和认证信息等内容。很显然地，对用户活动来讲，不正常的或不期望的行为就是重复登录失败、登录到不期望的位置以及非授权的企图访问重要文件等等。2）目录和文件中的不期望的改变网络环境中的文件系统包含很多软件和数据文件，包含重要信息的文件和私有数据文件经常是黑客修改或破坏的目标。目录和文件中的不期望的改变（包括修改、创建和删除），特别是那些正常情况下限制访问的，很可能就是一种入侵产生的指示和信号。黑客经常替换、修改和破坏他们获得访问权的系统上的文件，同时为了隐藏系统中他们的表现及活动痕迹，都会尽力去替换系统程序或修改系统日志文件。3）程序执行中的不期望行为网络系统上的程序执行一般包括操作系统、网络服务、用户起动的程序和特定目的的应用，例如数据库服务器。每个在系统上执行的程序由一到多个进程来实现。每个进程执行在具有不同权限的环境中，这种环境控制着进程可访问的系统资源、程序和数据文件等。一个进程的执行行为由它运行时执行的操作来表现，操作执行的方式不同，它利用的系统资源也就不同。操作包括计算、文件传输、设备和其它进程，以及与网络间其它进程的通讯。一个进程出现了不期望的行为可能表明黑客正在入侵你的系统。黑客可能会将程序或服务的运行分解，从而导致它失败，或者是以非用户或管理员意图的方式操作。4）物理形式的入侵信息这包括两个方面的内容，一是未授权的对网络硬件连接；二是对物理资源的未授权访问。黑客会想方设法去突破网络的周边防卫，如果他们能够在物理上访问内部网，就能安装他们自己的设备和软件。依此，黑客就可以知道网上的由用户加上去的不安全（未授权）设备，然后利用这些设备访问网络。例如，用户在家里可能安装Modem以访问远程办公室，与此同时黑客正在利用自动工具来识别在公共电话线上的Modem，如果一拨号访问流量经过了这些自动工具，那么这一拨号访问就成为了威胁网络安全的后门。黑客就会利用这个后门来访问内部网，从而越过了内部网络原有的防护措施，然后捕获网络流量，进而攻击其它系统，并偷取敏感的私有信息等等。2.2 入侵检测技术的第二步——信号分析
 当收集到证据后，用户如何判断它是否就是入侵呢？一般来说，IDS有一个知识库，知识库记录了特定的安全策略。IDS获得信息后，与知识库中的安全策略进行比较，进而发现违反规定的安全策略的行为。
 定义知识库有很多种方式，最普遍的做法是检测技术报文中是否含有攻击特征。知识库给出何种报文是攻击的定义。这种方式的实现由简单到复杂分了几个层次，主要差别在于检测技术的准确性和效率上。简单的实现方法是把攻击特征和报文的数据进行了字符串比较，发现匹配即报警。这种做法使准确性和工作效率大为降低。为此，开发人员还有很多工作要做，如进行校验和检查，进行IP碎片重组或TCP重组，实现协议解码等等。
 构建知识库的多种方法只是手段，目的是准确定义入侵行为，这是IDS的核心，也是IDS和普通的网上行为管理软件的差别所在。虽然它们都能监视网络行为，但是IDS增加了记录攻击特征的知识库，所以比网上行为管理软件提高了一个层次。而定义攻击特征是一项专业性很强的工作，需要具有丰富安全背景的专家从众多的攻击行为中提炼出通用的攻击特征，攻击特征的准确性直接决定了IDS检测技术的准确性。 对上述四类收集到的有关系统、网络、数据及用户活动的状态和行为等信息，一般通过三种技术手段进行分析：模式匹配，统计分析和完整性分析。其中前两种方法用于实时的入侵检测技术，而完整性分析则用于事后分析。
2.2.1模式匹配
 模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进行比较，从而发现违背安全策略的行为。该过程可以很简单（如通过字符串匹配以寻找一个简单的条目或指令），也可以很复杂（如利用正规的数学表达式来表示安全状态的变化）。一般来讲，一种进攻模式可以用一个过程（如执行一条指令）或一个输出（如获得权限）来表示。该方法的一大优点是只需收集相关的数据集合，显著减少系统负担，且技术已相当成熟。它与病毒防火墙采用的方法一样，检测技术准确率和效率都相当高。但是，该方法存在的弱点是需要不断的升级以对付不断出现的黑客攻击手法，不能检测技术到从未出现过的黑客攻击手段。2.2.2统计分析   统计分析方法首先给系统对象（如用户、文件、目录和设备等）创建一个统计描述，统计正常使用时的一些测量属性（如访问次数、操作失败次数和延时等）。测量属性的平均值将被用来与网络、系统的行为进行比较，任何观察值在正常值范围之外时，就认为有入侵发生。例如，统计分析可能标识一个不正常行为，因为它发现一个在晚八点至早六点不登录的帐户却在凌晨两点试图登录。其优点是可检测技术到未知的入侵和更为复杂的入侵，缺点是误报、漏报率高，且不适应用户正常行为的突然改变。具体的统计分析方法如基于专家系统的、基于模型推理的和基于神经网络的分析方法，目前正处于研究热点和迅速发展之中。2.2.3完整性分析   完整性分析主要关注某个文件或对象是否被更改，这经常包括文件和目录的内容及属性，它在发现被更改的、被特络伊化的应用程序方面特别有效。完整性分析利用强有力的加密机制，称为消息摘要函数（例如MD5），它能识别哪怕是微小的变化。其优点是不管模式匹配方法和统计分析方法能否发现入侵，只要是成功的攻击导致了文件或其它对象的任何改变，它都能够发现。缺点是一般以批处理方式实现，不用于实时响应。尽管如此，完整性检测技术方法还应该是网络安全产品的必要手段之一。

3入侵检测技术功能概要  ·监督并分析用户和系统的活动  ·检查系统配置和漏洞  ·检查关键系统和数据文件的完整性  ·识别代表已知攻击的活动模式  ·对反常行为模式的统计分析  ·对操作系统的校验管理，判断是否有破坏安全的用户活动。  ·提高了系统的监察能力  ·跟踪用户从进入到退出的所有活动或影响  ·识别并报告数据文件的改动  ·发现系统配置的错误，必要时予以更正  ·识别特定类型的攻击，并向相应人员报警，以作出防御反应  ·可使系统管理人员最新的版本升级添加到程序中  ·允许非专家人员从事系统安全工作  ·为信息安全策略的创建提供指导       入侵检测技术作为一种积极主动地安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。从网络安全立体纵深、多层次防御的角度出发，入侵检测技术理应受到人们的高度重视，这从国外入侵检测技术产品市场的蓬勃发展就可以看出。在国内，随着上网的关键部门、关键业务越来越多，迫切需要具有自主版权的入侵检测技术产品。但现状是入侵检测技术仅仅停留在研究和实验样品（缺乏升级和服务）阶段，或者是防火墙中集成较为初级的入侵检测技术模块。可见，入侵检测技术产品仍具有较大的发展空间，从技术途径来讲，我们认为，除了完善常规的、传统的技术（模式识别和完整性检测技术）外，应重点加强统计分析的相关技术研究。

4 入侵检测技术技术分析 　　入侵分析的任务就是在提取到的庞大的数据中找到入侵的痕迹。入侵分析过程需要将提取到的事件与入侵检测技术规则进行比较，从而发现入侵行为。一方面入侵检测技术系统需要尽可能多地提取数据以获得足够的入侵证据，而另一方面由于入侵行为的千变万化而导致判定入侵的规则越来越复杂，为了保证入侵检测技术的效率和满足实时性的要求，入侵分析必须在系统的性能和检测技术能力之间进行权衡，合理地设计分析策略，并且可能要牺牲一部分检测技术能力来保证系统可靠、稳定地运行并具有较快的响应速度。　　分析策略是入侵分析的核心，系统检测技术能力很大程度上取决于分析策略。在实现上，分析策略通常定义为一些完全独立的检测技术规则。基于网络的入侵检测技术系统通常使用报文的模式匹配或模式匹配序列来定义规则，检测技术时将监听到的报文与模式匹配序列进行比较，根据比较的结果来判断是否有非正常的网络行为。这样以来，一个入侵行为能不能被检测技术出来主要就看该入侵行为的过程或其关键特征能不能映射到基于网络报文的匹配模式序列上去。有的入侵行为很容易映射，如ARP欺骗，但有的入侵行为是很难映射的，如从网络上下载病毒。对于有的入侵行为，即使理论上可以进行映射，但是在实现上是不可行的，比如说有的网络行为需要经过非常复杂的步骤或较长的过程才能表现其入侵特性，这样的行为由于具有非常庞大的模式匹配序列，需要综合大量的数据报文来进行匹配，因而在实际上是不可行的。而有的入侵行为由于需要进行多层协议分析或有较强的上下文关系，需要消耗大量的处理能力来进行检测技术，因而在实现上也有很大的难度。
4.1入侵分析按其检测技术规则分类
4.1.1基于特征的检测技术规则
 这种分析规则认为入侵行为是可以用特征代码来标识的。比如说，对于尝试帐号的入侵，虽然合法用户登录和入侵者尝试的操作过程是一样的，但返回结果是不同的，入侵者返回的是尝试失败的报文，因此，只要提取尝试失败的报文中的关键字段或位组作为特征代码，将它定义为检测技术规则，就可以用来检测技术该类入侵行为。这样，分析策略就由若干条检测技术规则构成，每条检测技术规则就是一个特征代码，通过将数据与特征代码比较的方式来发现入侵。
4.1.2基于统计的检测技术规则
 这种分析规则认为入侵行为应该符合统计规律。例如，系统可以认为一次密码尝试失败并不算是入侵行为，因为的确可能是合法用户输入失误，但是如果在一分钟内有8次以上同样的操作就不可能完全是输入失误了，而可以认定是入侵行为。因此，组成分析策略的检测技术规则就是表示行为频度的阀值，通过检测技术出行为并统计其数量和频度就可以发现入侵。　　这两种检测技术规则各有其适用范围，不同的入侵行为可能适应于不同的规则，但就系统实现而言，由于基于统计检测技术规则的入侵分析需要保存更多的检测技术状态和上下关系而需要消耗更多的系统处理能力和资源，实现难度相对较大。
4.2 一些新的分析技术
 近几年，为了改进入侵检测技术的分析技术，许多研究人员从各个方向入手，发展了一些新的分析方法，对于提高入侵检测技术系统的正确性、可适应性等起到了一定的推动作用。下面是几个不同的方向。4.2.1 统计学方法　　 统计模型常用于对异常行为的检测技术,在统计模型中常用的测量参数包括审计事件的数量、间隔时间、资源消耗情况等。目前提出了可用于入侵检测技术的5种统计模型包括：　　(1) 操作模型:该模型假设异常可通过测量结果与一些固定指标相比较得到,固定指标可以根据经验值或一段时间内的统计平均得到,举例来说,在短时间内的多次失败的登录很可能是口令尝试攻击。　　(2) 方差:计算参数的方差,设定其置信区间,当测量值超过置信区间的范围时表明有可能是异常。　　(3) 多元模型:操作模型的扩展,通过同时分析多个参数实现检测技术。　　(4) 马尔柯夫过程模型:将每种类型的事件定义为系统状态,用状态转移矩阵来表示状态的变化,若对应于发生事件的状态矩阵中转移概率较小,则该事件可能是异常事件。　　(5) 时间序列分析:将事件计数与资源耗用根据时间排成序列,如果一个新事件在该时间发生的概率较低,则该事件可能是入侵。　　入侵检测技术的统计分析首先计算用户会话过程的统计参数,再进行与阈值比较处理与加权处理,最终通过计算其"可疑"概率分析其为入侵事件的可能性。统计方法的最大优点是它可以"学习"用户的使用习惯,从而具有较高检出率与可用性。但是它的"学习"能力也给入侵者以机会通过逐步"训练"使入侵事件符合正常操作的统计规律,从而透过入侵检测技术系统。4.2.2 入侵检测技术的软计算方法　　 入侵检测技术的方法可有多种,针对异常入侵行为检测技术的策略与方法往往也不是固定的,智能计算技术在入侵检测技术中的应用将大大提高检测技术的效率与准确性。所谓软计算的方法包含了神经网络、遗传算法与模糊技术。
4.3.3 基于专家系统的入侵检测技术方法　 　基于专家系统的入侵检测技术方法与运用统计方法与神经网络对入侵进行检测技术的方法不同,用专家系统对入侵进行检测技术,经常是针对有特征的入侵行为。　　 所谓的规则,即是知识。不同的系统与设置具有不同的规则,且规则之间往往无通用性。专家系统的建立依赖于知识库的完备性,知识库的完备性又取决于审计记录的完备性与实时性。特征入侵的特征抽取与表达,是入侵检测技术专家系统的关键。将有关入侵的知识转化为if-then结构(也可以是复合结构),if部分为入侵特征,then部分是系统防范措施。　　 运用专家系统防范有特征入侵行为的有效性完全取决于专家系统知识库的完备性,建立一个完备的知识库对于一个大型网络系统往往是不可能的,且如何根据审计记录中的事件,提取状态行为与语言环境也是较困难的。例如,ISS公司为了建立比较完备的专家系统,一方面与地下组织建立良好关系,并成立由许多工作人员与专家组成的X-Force组织来进行这一工作。　　 由于专家系统的不可移植性与规则的不完备性。现已不宜单独用于入侵检测技术,或单独形成商品软件。较适用的方法是将专家系统与采用软计算方法技术的入侵检测技术系统结合在一起,构成一个以已知的入侵规则为基础,可扩展的动态入侵事件检测技术系统,自适应地进行特征与异常检测技术,实现高效的入侵检测技术及其防御。

5 入侵检测技术技术发展方向
 　可以看到,在入侵检测技术技术发展的同时,入侵技术也在更新,一些地下组织已经将如何绕过IDS或攻击IDS系统作为研究重点。高速网络,尤其是交换技术的发展以及通过加密信道的数据通信,使得通过共享网段侦听的网络数据采集方法显得不足,而大量的通信量对数据分析也提出了新的要求。随着信息系统对一个国家的社会生产与国民经济的影响越来越重要,信息战已逐步被各个国家重视,信息战中的主要攻击"武器"之一就是网络的入侵技术,信息战的防御主要包括"保护"、"检测技术"与"响应",入侵检测技术则是其中"检测技术"与"响应"环节不可缺少的部分。近年对入侵检测技术技术有几个主要发展方向:5.1分布式入侵检测技术与通用入侵检测技术架构　　传统的IDS一般局限于单一的主机或网络架构,对异构系统及大规模的网络的监测明显不足。同时不同的IDS系统之间不能协同工作能力,为解决这一问题,需要分布式入侵检测技术技术与通用入侵检测技术架构。CIDF以构建通用的IDS体系结构与通信系统为目标,GrIDS跟踪与分析分布系统入侵,EMER-ALD实现在大规模的网络与复杂环境中的入侵检测技术。5.2应用层入侵检测技术　　许多入侵的语义只有在应用层才能理解,而目前的IDS仅能检测技术如WEB之类的通用协议,而不能处理如LotusNotes、数据库系统等其他的应用系统。许多基于客户、服务器结构与中间件技术及对象技术的大型应用,需要应用层的入侵检测技术保护。Stillerman等人已经开始对CORBA的IDS研究。5.3智能的入侵检测技术　　入侵方法越来越多样化与综合化,尽管已经有智能体、神经网络与遗传算法在入侵检测技术领域应用研究,但是这只是一些尝试性的研究工作,需要对智能化的IDS加以进一步的研究以解决其自学习与自适应能力。5.4入侵检测技术的评测方法　　用户需对众多的IDS系统进行评价,评价指标包括IDS检测技术范围、系统资源占用、IDS系统自身的可靠性与鲁棒性。从而设计通用的入侵检测技术测试与评估方法与平台,实现对多种IDS系统的检测技术已成为当前IDS的另一重要研究与发展领域。5.5网络安全技术相结合　　结合防火墙、PKIX、安全电子交易SET等新的网络安全与电子商务技术,提供完整的网络安全保障。
 
6 建立数据分析模型          

 在前面的文章介绍入侵检测技术系统时，我们了解到在进行入侵检测技术的研究中，信息收集是第一步要做的工作，入侵检测技术工作的顺利很大程度上依赖于收集信息的可靠性和正确性。在做本课题研究时，我们研究和测试都是使用的KDD CUP99数据包。它是非常流行和广泛使用的数据包，用于研究和测试不同的数据组合。此数据包已经经过预处理，使我们较容易进行分析。
 
6.1测试数据的结构

 我们将从其测试数据集中抽出一条数据信息进行分析。
0，tcp，http，RSTR，54540，7300，0，0，0，1，0，1，0，0，0，0，0，0，0，0，0，0，4，5，0，0，0.25，0.4，1，0，0.4，170，170，1，0，0.01，0，0，0，0.06，0.06，back.
 此条数据记录共有四十一个有效字段，下面我将逐一介绍。
  第1-9字段为独立TCP连接的基本特征
 feature name  description  type
1 duration 持续时间  length (number of seconds) of the connection 连接长度（秒数） Continuous 连续型
2 protocol_type 协议类型 type of the protocol, e.g. tcp, udp, etc.  discrete 离散型
3 service 提供服务 network service on the destination, e.g., http, telnet, etc. 目标的网络服务 discrete离散型
4 src_bytes 源字段 number of data bytes from source to destination 从数据源到目的地 continuous
5 dst_bytes 目的字段 number of data bytes from destination to source 从目的地到数据源 continuous
6 flag 标记 normal or error status of the connection  discrete 
7 land 登陆 1 if connection is from/to the same host/port; 0 otherwise 连接是否同主机或同端口 discrete
8 wrong_fragment 出错帧 number of ``wrong'' fragments  continuous
9 urgent 紧急包 number of urgent packets  continuous

 第10-22字段为连接中所包含的主要特征
 feature name  description  type
10 hot 热点 number of ``hot'' indicators指示器数量 Continuous连续型
11 num_failed_logins 登录失败 number of failed login attempts 尝试登录失败 continuous
12 logged_in 成功登录 1 if successfully logged in; 0 otherwise  discrete离散型
13 num_compromised警戒数  number of ``compromised'' conditions  continuous
14 root_shell 启动权 1 if root shell is obtained; 0 otherwise  discrete
15 su_attempted  1 if ``su root'' command attempted; 0 otherwise  discrete
16 num_root  number of ``root'' accesses 接受的root访问数 continuous
17 num_file_creations  Number of file creation operations 建立文件操作数 continuous
18 num_shells  Number of shell prompts “shell”提示数 continuous
19 num_access_files  number of operations on access control files 对访问控制文件的操作数 continuous
20 num_outbound_cmds number of outbound commands in an ftp session  在FTP会话中对外开放命令数 continuous
21 is_hot_login  1 if the login belongs to the ``hot'' list; 0 otherwise 是否热情连接注册 discrete
22 is_guest_login  1 if the login is a ``guest''login; 0 otherwise 是否访问者注册 discrete

 第23-31字段为在两秒内计算传输向量
 feature name Description  type
23 count  number of connections to the same host as the current connection in the past two seconds 在过去的两秒时间与当前连接一样连接到同一主机的连接次数 Continuous连续型
24 srv_count  number of connections to the same service as the current connection in the past two seconds在过去的两秒时间与当前连接一样连接到同一服务的连接次数  continuous
25 serror_rate  % of connections that have ``SYN'' errors 有序列号错误连接的百分率 continuous
26 srv_serror_rate  % of connections that have ``SYN'' errors 有序列号错误连接的百分率 continuous
27 rerror_rate  % of connections that have ``REJ'' errors 有“REJ”错误连接的百分率 continuous
28 srv_rerror_rate  % of connections that have ``REJ'' errors  continuous
29 same_srv_rate  % of connections to the same service 相同服务连接百分率 continuous
30 diff_srv_rate  % of connections to different services 不同服务连接的百分率 continuous
31 srv_diff_host_rate  % of connections to different hosts 不同主机连接的百分率 continuous 
 第32-41个字段为目标主机的传输特征
 feature name description  type
32 Dst_host_count Number of connections to the destination host as the current connection in the past two seconds continuous
33 Dst_host_srv_count Number of connections to the same service as the current connection in the past two seconds continuous
34 Dst_host_same_srv_rate % of connection to the same service continuous
35 Dst_host_diff_srv_rate % of connection to the different service continuous
36 Dst_host_same_src_port_rate % of connection to the same service continuous
37 Dst_host_srv_diff_host_rate % of connection to the different hosts同一服务 continuous
38 Dst_host_serror_rate % of connection that have ‘SYN’ errors continuous
39 Dst_host_srv_serror_rate % of connection that have ‘SYN’ errors同一服务 continuous
40 Dst_host_rerror_rate % of connection that have ‘REJ’ errors continuous
41 Dst_host_srv_rerror_rate % of connection that have ‘REJ’ errors同一服务 continuous
6.2数据中出现的攻击类型
 我们根据上述数据的结构，分析了KDD CUP99数据包的10%test测试集和10%training 训练集。分离出数据中所含有的非正常数据和攻击类型。
6.2.1攻击（Attacks）
 Attacks可以理解为试图渗透系统或绕过系统的安全策略，以获取信息、修改信息以及破坏目标网络或系统功能的行为。我们平时所说的黑客。本指精通计算机及编程技术的高手，现在代指攻击和非法窃取计算机及网络资源的电脑高手。我们现在所进行的入侵检测技术技术就是反攻击（Attacks）技术，它的核心问题是如何截获所有的网络信息。目前主要是通过两种途径来获取信息，一种是通过网络侦听的途径（如Sniffer，Vpacket等程序）来获取所有的网络信息（数据包信息，网络流量信息、网络状态信息、网络管理信息等），这既是黑客进行攻击的必然途径，也是进行反攻击的必要途径；另一种是通过对操作系统和应用程序的系统日志进行分析，来发现入侵行为和系统潜在的安全漏洞。
 黑客对网络的攻击方式是多种多样的，一般来讲，攻击总是利用“系统配置的缺陷”，“操作系统的安全漏洞”或“通信协议的安全漏洞”来进行的。到目前为止，已经发现的攻击方式超过2000种，其中对绝大部分黑客攻击手段已经有相应的解决方法，这些攻击大概可以划分为以下六类：
 1.拒绝服务攻击：一般情况下，拒绝服务攻击是通过使被攻击对象（通常是工作站或重要服务器）的系统关键资源过载，从而使被攻击对象停止部分或全部服务。目前已知的拒绝服务攻击就有几百种，它是最基本的入侵攻击手段，也是最难对付的入侵攻击之一，典型示例有SYN Flood攻击、Ping Flood攻击、Land攻击、WinNuke攻击等。
 2.非授权访问尝试：是攻击者对被保护文件进行读、写或执行的尝试，也包括为获得被保护访问权限所做的尝试。
 3.预探测攻击：在连续的非授权访问尝试过程中，攻击者为了获得网络内部的信息及网络周围的信息，通常使用这种攻击尝试，典型示例包括SATAN扫描、端口扫描和IP半途扫描等。
 4.可疑活动：是通常定义的“标准”网络通信范畴之外的活动，也可以指网络上不希望有的活动，如IP Unknown Protocol和Duplicate IP Address事件等。
 5.协议解码：协议解码可用于以上任何一种非期望的方法中，网络或安全管理员需要进行解码工作，并获得相应的结果，解码后的协议信息可能表明期望的活动，如FTU User和Portmapper Proxy等解码方式。
 6.系统代理攻击：这种攻击通常是针对单个主机发起的，而并非整个网络，通过RealSecure系统代理可以对它们进行监视。
6.2.2发现训练集中的攻击类型
 我们发现训练集中共有22种攻击方式：back dos，buffer_overflow u2r，ftp_write r2l，guess_passwd r2l，imap r2l，ipsweep probe，land dos，loadmodule u2r，multihop r2l，neptune dos，nmap probe，perl u2r，phf r2l，pod dos，portsweep probe，rootkit u2r，satan probe，smurf dos，spy r2l，teardrop dos，warezclient r2l，warezmaster r2l。
 land dos基于登陆的拒绝服务攻击。Land攻击是一种拒绝服务攻击。其攻击特征是：用于Land攻击的数据包中的源地址和目标地址是相同的，因为当操作系统接收到这类数据包时，不知道该如何处理堆栈中通信源地址和目的地址相同的这种情况，或者循环发送和接收该数据包，消耗大量的系统资源，从而有可能造成系统崩溃或死机等现象。检测技术这种攻击的方法是判断网络数据包的源地址和目标地址是否相同。预防这种攻击的方法是：适当配置防火墙设备或过滤路由器的过滤规则就可以防止这种攻击行为（一般是丢弃该数据包），并对这种攻击进行审计（记录事件发生的时间，源主机和目标主机的MAC地址和IP地址）。
 teardrop dos泪滴攻击。Teardrop攻击也是一种拒绝服务攻击。其攻击特征是：Teardrop是基于UDP的病态分片数据包的攻击方法，其工作原理是向被攻击者发送多个分片的IP包（IP分片数据包中包括该分片数据包属于哪个数据包以及在数据包中的位置等信息），某些操作系统收到含有重叠偏移的伪造分片数据包时将会出现系统崩溃、重启等现象。检测技术这种攻击的方法是对接收到的分片数据包进行分析，计算数据包的片偏移量（Offset）是否有误。预防这种攻击的方法是：添加系统补丁程序，丢弃收到的病态分片数据包并对这种攻击进行审计。
 smurf dos是一种简单但有效的拒绝服务攻击技术，它利用了ICMP（Internet控制信息协议）。ICMP在Internet上用于错误处理和传递控制信息。它的功能之一是与主机联系，通过发送一个“回音请求”（echo request）信息包看看主机是否“活着”。最普通的ping程序就使用了这个功能。Smurf 是用一个偷来的帐号安装到一个计算机上的，然后用一个伪造的源地址连续ping一个或多个计算机网络，这就导致所有计算机所响应的那个计算机并不是实际发送这个信息包的那个计算机。这个伪造的源地址，实际上就是攻击的目标，它将被极大数量的响应信息量所淹没。对这个伪造信息包做出响应的计算机网络就成为攻击的不知情的同谋。预防这种攻击的方法是：为了防止黑客利用你的网络攻击他人，关闭外部路由器或防火墙的广播地址特性。为防止被攻击，在防火墙上设置规则，丢弃掉ICMP包。
 buffer_overflow u2r缓冲区溢出攻击由于在很多的服务程序中大意的程序员使用象strcpy(),strcat()类似的不进行有效位检查的函数，最终可能导致恶意用户编写一小段利用程序来进一步打开安全豁口然后将该代码缀在缓冲区有效载荷末尾，这样当发生缓冲区溢出时，返回指针指向恶意代码，这样系统的控制权就会被夺取。预防这种攻击的方法是：利用SafeLib、tripwire这样的程序保护系统，或者浏览最新的安全公告不断更新操作系统。
 portsweep probe端口扫描探测器攻击。通常使用一些软件，向大范围的主机连接一系列的TCP端口，扫描软件报告它成功的建立了连接的主机所开的端口。预防这种攻击的方法：许多防火墙能检测技术到是否被扫描，并自动阻断扫描企图。
 ipsweep probe  IP地址扫描探测器攻击。运用ping这样的程序探测目标地址，对此做出响应的表示其存在。预防这种攻击的方法：在防火墙上过滤掉ICMP应答消息。
 nmap probe 端口扫描探测器。Nmap是在UNIX环境下推荐的端口扫描仪。Nmap不止是端口扫描仪，也是安全工具箱中必不可少的工具。预防这种攻击的方法：许多防火墙能检测技术到是否被扫描，并自动阻断扫描企图。
 
6.2.3其他主流的攻击类型
 由于研究的数据集有限。研究时间的局限，我们所看到的攻击类型还是很有限的，还有几种主流的攻击类型，可以帮助我们即时预防，以增强入侵检测技术系统的性能。
1 Ping of Death
 根据TCP/IP的规范，一个包的长度最大为65536字节。尽管一个包的长度不能超过65536字节，但是一个包分成的多个片段的叠加却能做到。当一个主机收到了长度大于65536字节的包时，就是受到了Ping of Death攻击，该攻击会造成主机的宕机。由于在早期的阶段，路由器对包的最大尺寸都有限制，许多操作系统对TCP/IP栈的实现在ICMP包上都是规定64KB，并且在对包的标题头进行读取之后，要根据该标题头里包含的信息来为有效载荷生成缓冲区，当产生畸形的，声称自己的尺寸超过ICMP上限的包也就是加载的尺寸超过64K上限时，就会出现内存分配错误，导致TCP/IP堆栈崩溃，致使接受方当机。 预防这种攻击的方法：现在所有的标准TCP/IP实现都已实现对付超大尺寸的包，并且大多数防火墙能够自动过滤这些攻击，包括：从windows98之后windows,NT(service pack 3之后)，linux、Solaris、和Mac OS都具有抵抗一般ping ofdeath攻击的能力。此外，对防火墙进行配置，阻断ICMP以及任何未知协议，都讲防止此类攻击。
2 SYN flood
 该攻击以多个随机的源主机地址向目的主机发送SYN包，而在收到目的主机的SYN ACK后并不回应，这样，目的主机就为这些源主机建立了大量的连接队列，而且由于没有收到ACK一直维护着这些队列，造成了资源的大量消耗而不能向正常请求提供服务。一些TCP/IP栈的实现只能等待从有限数量的计算机发来的ACK消息，因为他们只有有限的内存缓冲区用于创建连接，如果这一缓冲区充满了虚假连接的初始信息，该服务器就会对接下来的连接停止响应，直到缓冲区里的连接企图超时。在一些创建连接不受限制的实现里，SYN洪水具有类似的影响。预防这种攻击的方法：在防火墙上过滤来自同一主机的后续连接。 未来的SYN洪水令人担忧，由于释放洪水的并不寻求响应，所以无法从一个简单高容量的传输中鉴别出来。
3 UDP洪水（UDP flood）
 概览：各种各样的假冒攻击利用简单的TCP/IP服务，如Chargen和Echo来传送毫无用处的占满带宽的数据。通过伪造与某一主机的Chargen服务之间的一次的UDP连接，回复地址指向开着Echo服务的一台主机，这样就生成在两台主机之间的足够多的无用数据流，如果足够多的数据流就会导致带宽的服务攻击。 预防这种攻击的方法：关掉不必要的TCP/IP服务，或者对防火墙进行配置阻断来自Internet的请求这些服务的UDP请求。
4 CPU Hog
 一种通过耗尽系统资源使运行NT的计算机瘫痪的拒绝服务攻击，利用Windows NT排定当前运行程序的方式所进行的攻击。
5 Win Nuke
 是以拒绝目的主机服务为目标的网络层次的攻击。攻击者向受害主机的端口139，即netbios发送大量的数据。因为这些数据并不是目的主机所需要的，所以会导致目的主机的死机。
6 RPC Locator
 攻击者通过telnet连接到受害者机器的端口135上，发送数据，导致CPU资源完全耗尽。依照程序设置和是否有其他程序运行，这种攻击可以使受害计算机运行缓慢或者停止响应。无论哪种情况，要使计算机恢复正常运行速度必须重新启动 
 
7  聚类算法在网络入侵检测技术中的作用
7.1模式识别的概念
 模式识别方法（Pattern Recognition Method）是一种借助于计算机对信息进行处理、判决分类的数学统计方法。在日常生产实践和社会研究中，往往所需处理的问题影响因素非常多且复杂，给问题的研究和解决增加了困难。模式识别方法可使人们在影响因素众多的情况下仍能对问题进行方便的处理，进而发现问题的解决途径和事物发展的潜在规律性。在一个多因素问题中，结果即目标与各因素即指标之间难以找出直接的联系，很难用理论的途径去解决。在各指标之间一时也寻找不到明显的关联，所能得到的只是些模糊的认识、由长期的经验所形成的感知和由测量所积累的数据。因此，若能用计算机技术对以往的经验、观察、数据进行总结，寻找目标与各指标之间的某种联系或目标的优化区域、优化方向，则对实际问题的解决是具有指导意义和应用价值的。模式识别方法正是基于此种思想，并获得广泛应用和取得较大成功的有效方法之一。

    应用模式识别方法的首要步骤是建立模式空间。所谓模式空间是指在考察一客观现象时，影响目标的众多指标构成的多维空间。每个指标代表一个模式参量。
假设一现象有几个事件（样本）组成，每一个事件都有P个特征参量（X1， X2，…Xp），则它就构成P维模式空间，每一个事件的特征参量代表一个模式。模式识别就是对多维空间中各种模式的分布特点进行分析，对模式空间进行划分，识别各种模式的聚类情况，从而作出判断或决策。
7.2模式分类
 模式分类的方法有很多种，比如贝叶斯决策论，最大似然估计和贝叶斯参数估计，分参数技术，线性判别函数法，独立于算法的机器学习，利用这些方法，我们一直假设在设计分类器时，训练样本集中每个样本的类别归属是“被标记了” 的，这种利用已标记样本集的方法称为“有监督”或“有教师”方法。
下面我们将介绍“无监督”或“无教师”方法，用来处理未被标记的样本集。
有许多理由使我们相信“无监督”方法是非常有用的：
收集并标记大型样本集是个非常费时费力的工作，若能在一个较小的样本空间上粗略地训练一个分类器，随后，允许它以自适应的方式处理大量的无监督的样本，我们就能节省大量的时间和精力。
存在很多应用，待分类模式的性质会随着时间发生缓慢的变化。如果这种性质的变化能在无监督的情况下捕捉到，分类器的性能就会大幅提升。
可以用无监督的方法提取一些基本特征，这些特征对进一步分类会很有用。
在任何一项探索性的工作中，无监督的方法都可以向我们揭示观测数据的一些内部结构和规律。
 在无监督情况下，我们可以尝试以多种方式重新描述问题，其中之一是将问题陈述为对数据分组或聚类的处理。尽管得到的聚类算法没有很明显的理论性，但它们确实是模式识别研究中非常有用的一类技术。
下面我们详细介绍几种聚类算法并说明它们对入侵检测技术的贡献。  7.3基于异常的入侵检测技术
 基于异常的入侵检测技术技术可以分为有监督的异常检测技术和无监督的异常检测技术，有监督的异常检测技术通过观察得到的正常数据建立正常数据模型，然后检测技术那些偏离正常模型的异常数据，一个比较典型的使用这种技术的系统是美国乔治梅森大学的MADAM/ID系统。这种方法能够检测技术新的攻击类型，因为这些新的攻击数据也会偏离正常的数据模型。有监督的异常检测技术的一个缺陷是需要一组完全正常的数据来训练获得模型，如果训练数据中包含攻击数据的话，这些攻击就很难检测技术到，因为该方法把这些攻击数据认为是正常数据，另一方面，要获取这些训练数据也是很困难的。
    目前入侵检测技术技术研究的重点转移到了无监督的异常检测技术上，这种技术用一组没有标记的数据作为输入，发现其中存在的攻击数据，即试图从一组不知道什么是正常，什么是异常的数据集中发现那些异常的数据。无监督的异常检测技术与有监督的异常检测技术相比，它不需要完全正常的训练数据，只需要未加工的网络原始数据。无监督的异常检测技术技术有一个基本的假设，就是正常数据和异常数据有定性的不同，这样才可以将它们区分开来，例如通过一般的分析，可以知道拒绝服务攻击的数据在属性取值和模式上与正常的数据有很大的不同，所以可以利用无需指导的异常检测技术技术来有效地检测技术出拒绝服务攻击。
 下面介绍的利用聚类算法的异常检测技术就是一种无监督的异常检测技术技术，这种方法可以在未标记的数据上进行，它将相似的数据划分到同一个聚类中，而将不相似的数据划分到不同的聚类，并为这些聚类加以标记表明它们是正常还是异常，然后将网络数据划分到各个聚类中，根据聚类的标记来判断网络数据是否异常。
7.4聚类算法简介
 聚类算法是一个将数据集划分成若干个聚类的过程，使得同一聚类内的数据具有较高的相似性，而不同聚类中的数据不具有相似性。相似或者不相似根据描述数据的属性值来度量，通常使用基于距离的方法。通过聚类，可以发现数据的密集和稀疏的区域，从而发现数据整体的分布模式，以及数据属性间有意义的关联。
 聚类算法涉及很多个领域，包括数据挖掘、统计、机器学习、空间数据库技术，目前研究重点是基于距离的聚类算法。聚类算法也是一种无指导的学习，它不像分类算法那样需要事先标记好的训练数据。聚类算法的输入是一个包含多个数据的数据集，每个数据通常用一个属性向量(x1,x2,...,xp)来表示，其中xi是一个连续的或离散的变量，代表数据的一个属性的取值。
 聚类算法的输出是若干个聚类，每个聚类中至少包含一个数据，而且同一个聚类中的数据具有相似性，不同聚类的数据不具有相似性。
 为了使用聚类算法，需要计算数据之间的差异，数据间的差异通常用距离来表示，距离计算方法包括欧几里德距离、Manhattan距离、Minkowski距离。其中最常用的是欧几里德距离，它的计算方法如下：

其中i,j分别代表数据集中的两个数据，它们都有P个属性。
 可以给不同的属性赋以不同的权值，这样计算出来的距离称为加权的欧几里德距离，定义如下：
 
 聚类算法有很多种，可以划分为几种类别：划分方法，层次方法，基于密度的方法，基于网格的方法和基于模型的方法，同时聚类也可以用于异常值(outlier)检测技术。
7.4.1 K-means算法
 最常用的聚类算法是K-means算法，它是一种划分方法。给定一个包含n个数据的数据集，和产生的聚类的个数， K-means算法将个数据划分成k个子集，每个子集代表一个聚类，同一个聚类中的数据之间距离较近，而不同聚类的数据间距离较远。每个聚类由其中心值来表示，通过计算聚类中所有数据的平均值可以得到它的中心值。
K-means算法描述如下：
算法：K-means
输入：聚类的个数k和一个包含n个数据的数据集
输出：k个聚类
方法：任意选取k个数据作为初始的聚类中心
 Do
 将每个数据划分到一个聚类，依据数据与聚类中心值的距离最近为标准
 更新聚类的中心值，即重新计算每个聚类中所有数据平均值
 While划分没有发生变化时输出K个聚类
K-means算法在入侵检测技术中的应用原理
 基于无监督聚类的入侵检测技术算法建立在两个假设上.：第一个假设是正常行为的数目远远大于入侵行为的数目。第二个假设是入侵的行为和正常的行为差异非常大。该方法的基本思想就是由于入侵行为是和正常行为不同的并且数目相对很少,因此它们在能够检测技术到的数据中呈现出比较特殊的特性。比如可以首先假定输出10个聚类，从数据集中任选10个数据作为这个聚类初始的中心值，然后将每10个数据划分到其中的一个聚类，方法是判断该数据到哪一个聚类的中心值的距离最近，则将该数据划分到这个聚类。划分完成后，重新计算每个聚类的中心值，方法是计算聚类中所有数据的平均值，把这个平均值作为新的聚类的中心值。接下来重新将每个数据划分到其中的一个聚类，如此反复地进行若干次划分和计算中心值的操作，直到数据的划分没有变化。
算法的优点和缺陷
 算法的优点是不需要用人工的或其他的方法来对训练集进行分类 ,并且能够比较有效地检测技术未知入侵攻击。而且算法有良好扩展性，被广泛应用于各领域。
 但是像K-means算法经常在聚类开始前就获得了全部数据（即离线的），但时常会有些对“在线聚类”的需求。比如存储空间不够记录所有的数据模式，或者系统对时间要求很高，以至于数据还没有全部出现算法就必须开始。
 怎么解决这个问题呢？
 大家都知道，算法设计要求中有一点就是效率与低存储量需求，所以衡量算法的复杂度有时间复杂度和空间复杂度两个方面。K-means算法的效率较高，但是得付出较大的存储空间。下面介绍一下迭代最优化算法。
7.4.2迭代最优化算法
输入：聚类的个数k，一个包含n个数据的数据集，每个聚类的均值mi
输出：k个聚类
方法：随机选取一个样本Xi （存在于某个均值为mi的聚类中）
 While Xi离mj 的距离比离 mi 更近
 Do
 将Xi转移到均值为mj的这个聚类中
 更新这个聚类的中心值，即重新计算这个聚类中所有数据平均值
 While划分没有发生变化时输出K个聚类
算法分析：
 对这个算法稍作考虑就会发现它其实是K-means算法的一种变形。K-means 算法在每次更新前都要对所有的数据点重新分类，而这个方法每次对一个样本重新分类后就进行更新。
 但是这种算法更易陷入局部极小值，对全局入侵检测技术效率有影响。 然而它毕竟是一种逐步求精的算法，对存储空间要求不高，而且很容易作些改动使得它能处理顺序数据流或需要在线聚类的场合，这也正符合入侵检测技术的环境。当然，在其他在许多领域也有广泛的应用。
7.4.3我的构想
 虽然说衡量一个算法的效率有时间和空间两方面的要求，而且时空不可能同时达到最优，但是可以适当地将时空两方面兼顾一下，使对聚类分析时的存储空间要求不太高，同时分析过程也不太长。
 在这里我再通过一个形象的比喻生动地描述一下K-means算法和迭代最优化算法，这样通俗易懂，大家可以更清晰地理解这两个算法的优缺点，同时也描述一下我的构想，让大家了解一下我所设想的算法的可行性和优越性。
 
 1）比方说我们计算机002班44位同学去一个食堂打饭，若要时间效率最高，必然要求食堂的服务员尽可能的多，但就同学人数来说44个服务员就足够了，每人打饭需要1分钟，那么1分钟就可以解决44位同学的问题，效率高，但是这对食堂方面的要求太高，对入侵检测技术来说就是对存储空间要求很高，这相当于K-means算法中的任意选取k个数据作为初始的聚类中心，而后重新计算每个聚类中所有数据平均值。
 2）如果食堂条件非常有限，只有一个服务员，那么44位同学排队打饭就向一个顺序数据流，而且第一位同学打完饭就回寝室了，对于他来说他的时间效率是最优的，这就是刚才所说的迭代最优化算法更易陷入局部极小值，而对于最后一位同学来说时间效率最差，需要等43分钟才轮到他。总体来说这种方式对于食堂方面要求很低，可以节省个别同学的时间，但是对于全局的贡献很有限。
 3）但若有44位同学和4个服务员，那么每个服务员负责11位学生，到最后一位同学打完饭共需要11分钟，对服务员要求的数量也不多，这种算法还可以。如果服务员充足的话，还可以再优化些：先6个服务员每人负责7位学生，余下2位学生自由选择不同的队列，总共时间为9分钟，服务员人数也挺合理。
 此算法应用到入侵检测技术中去，对数据进行分析时，可以根据系统存储能力选择某些聚类优先进行分析，而后对先分析的这些聚类进行更新。
 但是怎么来对聚类分析优先级进行划分呢，可以随机选择，也可以人为地按照一定的规则选择，比如二维空间可以划分为四个象限，按照1234象限逆时针的顺序在每个象限中分析这些聚类，也可划分为对称的8个区域，先从第1个象限的第1个区域和对称的第3个象限的第1个区域同时进行分析。这种人为规定其实就是一种“有监督”的方法。
 所以可以说这种算法是有监督和无监督方法的结合，是K-means算法和迭代最优化算法的结合，是一种更加优化的算法。据此思路设计成入侵检测技术系统，各部分的性能要求必然较高，因此若有可能生产出成型的产品，其价格也不会低。
 在以后的学习过程中，我将继续尝试去设计这个系统模型。

 
 结论
 本论文可以分为两个部分，第一部分从入侵检测技术的提出入手，描述了入侵检测技术的研究史，然后详细描述了检测技术原理，列举了功能概要，具体介绍了入侵检测技术技术分析过程，最后指出入侵检测技术技术发展方向。这一部分集中介绍入侵检测技术，是我们对各种相关中外参考资料的学习总结。
 第二部分是本课题的研究重点，分析了ＫＤＤ99的测试数据,介绍了各种攻击类型，最后一章是聚类算法在网络入侵检测技术中的应用，包含了我们的主要研究成果，在撰写这一章前，我们认真学习了模式识别这门课程，根据课题要求对各种模式分类算法进行了有侧重点的学习，由于我的任务主要集中在对无监督聚类算法中的迭代优化算法的研究与改进，而迭代最优化算法是在典型的K-means算法上的改进，所以对这两种算法我都进行了深入分析。迭代最优化算法是以付出一定时间代价为前提，降低了K-means算法的空间代价，使得迭代最优化算法可以局部时间效率最优，但是对于全局的时效优化并非就是一种最优解。但是鉴于各种具体场合，两种算法在许多领域都有着广泛的应用。
 以上两种算法各有利弊，我们在把两种算法结合起来后进一步分析，提出一种新的分类算法，使得时空两方面的要求都在较合理的范围之内，这也是对全局优化的一种贡献，同时这种分类算法也注入了有监督的方法，是多种方法的综合。
   在做毕业设计的过程中，在**老师的耐心指导下，和同组成员***同学团结协作，共同学习，克服了一个个困难，这段时间的学习使我对入侵检测技术和模式识别等课程产生了浓厚的兴趣。在以后的日子里，我将对入侵检测技术技术和模式识别算法继续进行更深入的学习，寻求更加优化的算法，并尝试去设计出某种入侵检测技术系统的模型，不断地提高自己的专业水平。

致谢
 论文撰写结束了，在此期间我遇到了许多困难，同样得到了老师和同学们的热心帮助，使我得以按时完成我的任务，没有辜负大家的一片苦心。 
 无论是在理论学习阶段，还是在论文的选题、资料查询、开题、研究和撰写的每一个环节，无不得到***老师的悉心指导和帮助。有一次在**老师给我修改论文后传来的邮件显示发送时间是23:41，我记得特别深刻，很是感动。特别是我在接收单位试用期间，因工作需要时常出差，经常是**老师主动和我联系，约时间指导我的学习，了解我的毕业设计进展，我觉得挺愧疚的，所以借此机会向**老师表示衷心的感谢，您辛苦了！
 感谢四年来院系领导和广大老师们对我们的谆谆教诲！

参考文献

 [1]  蒋建春，冯登国.网络入侵检测技术原理与技术.北京：国防工业出版社，2001.7
[2]  戴连英，连一峰，王航.系统安全与入侵检测技术.北京：清华大学出
2002.3
[3]  沈清，汤霖.模式识别导论.国防科技大学出版社，1991.5
[4]  吴焱等译，入侵者检测技术.北京:电子工业出版社,1999
[5]  [美]Richard O.Duda,Peter E.Hart,David G.Stork  李宏东 姚天翔等译  
模式分类（原书第2版）机械工业出版社 ，2003-09-01
 [6]　Arbaugh W A，Fithen W L，McHugh J．Windows of vulnerability：A case study analysis［J］．IEEEComput．2000，33（12）．    [7]　Bace RG．Intrusion Detection［M］．Technology Series．Macmillan，London，2000．    [8]　Denning DE，Edwards DL，Jagannathan R，et al．A prototype IDES：A real-timeintrusion detection expert system［C］． Technical report，Computer ScienceLaboratory［D］．SRIInternational，Menlo Park，1987．    [9]  Todd Heberlein L，Gihan Dias V，KarlLevittN．et al．A Network security monitor［M］．1991．…………

相关论文