基于Hadoop云平台的分布式支持向量机研究

本文ID：ZJWD242052

充值:150元

免费毕业论文
政治工作论文
计算机论文
营销专业论文
工程管理论文范文
医药医学论文范文
法律论文范文
生物专业论文
物理教学论文范文
人力资源论文范文
化学教学论文范文
电子专业论文范文
历史专业论文
电气工程论文
社会学专业论文
英语专业论文
行政管理论文范文
语文专业论文
电子商务论文范文
焊工钳工技师论文
社科文学论文
教育论文范文
数学论文范文
物流论文范文
建筑专业论文
食品专业论文
财务管理论文范文
工商管理论文范文
会计专业论文范文
专业论文格式
化工材料专业论文
英语教学专业论文
电子通信论文范文
旅游管理论文范文
环境科学专业论文
经济论文
人力资源论文范文
营销专业论文范文
财务管理论文范文
物流论文范文
财务会计论文范文
数学教育论文范文
数学与应用数学论文
电子商务论文范文
法律专业论文范文
工商管理论文范文
汉语言文学论文
计算机专业论文
教育管理论文范文
现代教育技术论文
小学教育论文范文
机械模具专业论文
报告,总结,申请书
心理学论文范文
学前教育论文范文

收费计算机专业论文范文

收费计算机专业论文
Delphi
ASP
VB
JSP
ASP.NET
VB.NET
java
VC
pb
VS
dreamweaver
c#.net
vf
VC++
计算机论文

毕业论文范文题目： 基于Hadoop云平台的分布式支持向量机研究，论文范文关键词： 基于Hadoop云平台的分布式支持向量机研究
基于Hadoop云平台的分布式支持向量机研究毕业论文范文介绍开始：
　　硕士学位论文基于Hadoop云平台的分布式支持向量机研究，共58页。
　　摘要
　　支持向量机（Support Vector Machine, SVM）是 Vapnik 等人提出的一种基于统计学理论的机器学习算法。该算法在建立在统计学习理论的 VC 维理论和最小化结构风险原理的基础上，在解决小样本、非线性以及高维模式识别问题中都表现出了良好的性能。因此，这种新型的机器学习方法越来越受到各个领域的专家和学者们的青睐，日益成为数据挖掘技术中解决分类和回归问题的一个强有力的工具。
　　然而，随着数据集规模的逐渐增大，SVM 算法在训练过程中寻找全局最优支持向量的过程变的十分缓慢，并且占用大量的计算机软硬件资源，甚至无法在有效的时间和实际环境允许的条件下得到训练模型。
　　云计算的提出为海量数据挖掘技术的发展带来了曙光。凭借云平台分布式文件系统强大的存储能力，同时将传统的数据挖掘算法进行分布式并行化处理，给海量数据挖掘技术的发展提供了良好的契机。
　　本文从 Hadoop 云平台的分布式文件系统（HadoopDistributed File System,HDFS）和分布式编程框架 MapReduce 两个方面对当前最流行的开源云计算平台 Hadoop 进行了阐述，同时，对 MapReduce计算框架的内部运行机制进行了深入剖析，并在 Linux 环境下基于 Hadoop-1.0.0 版本搭建了完全分布式的 Hadoop 云平台。
　　Hadoop 云平台依靠 HDFS 实现了对大规模数据集的分块存储。本文通过读取 hdfs-site.xml 配置文件中的 dfs.block.size 属性，将数据集按照容量大小进行了划分，然后，对分配在 datanode 节点上的每个 block 采用基于 MapReduce 编程框架的并行 SVM 算法进行并行化训练。
　　传统的支持向量机算法在训练过程中的参数设置主要依赖于经验值的选取。本文在并行 SVM 算法训练过程中，采用了遗传算法对支持向量机的核函数类型、惩罚因子以及核函数参数进行了组合优化。实验结果分析表明，与依赖于经验值进行参数设置的传统 SVM 算法相比，采用遗传算法进行参数组合优化的 SVM 算法的预测精度得到了比较显著的提高。
　　在 UCI 标准数据集上从训练时间、预测精度等方面对本文所提出的算法的可行性以及表现性能进行了的一系列实验分析，结果表明，并行化的 SVM 算法与传统的 SVM 算法相比，在不显著降低预测精度的前提下，训练时间复杂度得到了比较明显的降低。
　　同时，本文使用加速比分析了并行算法所需的训练时间与 Hadoop 集群中计算节点数目之间的关系。实验结果分析表明，随着集群中计算节点数目的不断增加，加速比呈现出较快的上升趋势。
　　【关键词】Hadoop 云平台海量数据挖掘遗传算法支持向量机
　　
　　目录
　　1绪论 ................................................................ 1
　　1.1 研究背景 ............................................................ 1
　　1.2 分布式支持向量机的研究现状分析 ..................................... 2
　　1.3 主要研究内容 ....................................................... 3
　　1.4 本文组织结构 ....................................................... 4
　　1.5 本章小结 ............................................................ 4
　　2云计算平台-Hadoop .............................................. 5
　　2.1 Hadoop 技术背景 .................................................... 5
　　2.2 分布式文件系统-HDFS ................................................. 6
　　2.3 Hadoop MapReduce 编程框架 .......................................... 7
　　2.3.1 Hadoop MapReduce 编程框架的原理 .................................. 7
　　2.3.2 Hadoop MapReduce 编程框架的执行过程 .............................. 7
　　2.4 本章小结 ............................................................ 8
　　3支持向量机（SVM） .............................................. 9
　　3.1 SVM 概述 ............................................................ 9
　　3.1.1 线性可分 SVM ..................................................... 9
　　3.1.2 不完全线性可分 SVM .............................................. 11
　　3.1.3 非线性 SVM ...................................................... 12
　　3.2 SVM 多分类 ......................................................... 14
　　3.2.1 SVM 一对一分类 .................................................. 14
　　3.2.2 SVM 一类对余类分类 .............................................. 15
　　3.3 SVM 处理大规模数据的局限性 ........................................ 15
　　3.4 SVM 参数组合优化 .................................................. 16
　　3.4.1 遗传算法基本理论 ................................................ 16
　　3.4.2 使用遗传算法进行 SVM 组合参数优化 ................................ 18
　　3.5 SVM 参数组合优化实验结果分析 ...................................... 20
　　3.6 本章小结 ........................................................... 21
　　基于 Hadoop 的分布式 SVM ....................................... 23
　　4.1 基于 Hadoop 的分布式 SVM 算法描述 ................................... 23
　　4.1.1 单机 SVM 与分布式 SVM ............................................ 23
　　4.1.2 自定义 MapReduce 过程 ............................................ 24
　　4.2 基于 Hadoop 的分布式 SVM 算法的实现 ................................ 25
　　4.3 本章小结 ........................................................... 27
　　实验与结果分析 .................................................. 29
　　5.1 实验环境搭建 ...................................................... 29
　　5.1.1 硬件描述 ........................................................ 29
　　5.1.2 软件描述 ........................................................ 29
　　5.1.3Hadoop 云平台搭建 ................................................ 29
　　5.2 实验结果分析 ...................................................... 34
　　5.2.1 实验数据集简介 .................................................. 34
　　5.2.2 实验 1 ........................................................... 34
　　5.2.3 实验 2 ........................................................... 35
　　5.2.4 实验 3 ........................................................... 36
　　5.2.5 实验 4 ........................................................... 38
　　5.3 本章小结 ........................................................... 39
　　总结与展望 ........................................................ 41
　　6.1 总结 .............................................................. 41
　　6.2 进一步的工作展望 .................................................. 41
　　致谢 .................................................................... 43
　　参考文献 .............................................................. 45
　　攻读学位期间参与项目和发表的学术论文 ........................ 49

以上为本篇毕业论文范文 基于Hadoop云平台的分布式支持向量机研究的介绍部分。

本论文在计算机毕业论文范文栏目，由论文网(www.zjwd.net)整理,更多论文,请点论文范文查找