1. Fails和Olsen（2003）是第一个在人机交互社区中引入交互式机器学习这一术语的人，用快速的列车反馈校正周期来表征它，用户在查看其输出后迭代地向学习者提供校正反馈。他们用他们的Crayons系统演示了这个过程，它允许没有机器学习背景的用户通过在图像上通过笔触迭代地将像素标记为前景或背景来训练像素分类器。在每次用户交互之后，系统响应更新的图像分割以进一步检查和校正输入。

2. 通过用户研究对蜡笔的评估表明，系统提供的即时输出允许用户通过在最有问题的区域添加新的训练数据来快速查看和纠正错误分类。如图1所示，在初始分类之后，用户在分类器Fails的手边缘处为蜡笔提供更多数据。当被问及他们在与系统交互时的想法时，大多数用户表示他们专注于查看被错误分类的图像部分。

3. Fails和Olsen在蜡笔上的工作表明，用户可以根据学习者的输出修改他们的行为，这是以下大部分交互式机器学习研究的基本前提。

图1

（六）基于手势的音乐的交互式机器学习

1. 交互式机器学习系统的另一个例子来自音乐创作领域。这个领域是自然地互动的：音乐家习惯于在与乐器交互时接收即时反馈。 Fiebrink，Cook和Trueman（2011）开发了Wekinator，这是一种机器学习系统，可以让人们以交互方式创建新颖的基于手势的乐器，例如在网络摄像头前移动手臂，根据手臂的位置产生不同的声音，速度或旋转。在该系统中，神经网络接收成对的手势

和来自用户的声音作为输入并学习如何观察学生使用Wekinator

跨学科音乐和计算机科学课程，作者发现，当学生训练各自的乐器时，系统的互动性也有助于培养学生。例如，学生们学会了如何识别训练样本中的噪音，并为学习者提供更清晰的例子。在某些情况下，学生甚至调整了他们的目标，以匹配学习者观察到的能力。在与专业大提琴家（Fiebrink，Cook和Trueman 2011）的后续调查中，大提琴手在尝试时发现了她的演奏技巧中的缺陷。在一个跨学科音乐和计算机科学课程中观察使用Wekinator的学生时，作者发现作为学生训练他们的各自的工具，系统的互动性也有助于培养学生。例如，学生们学会了如何识别训练样本中的噪音，并为学习者提供更清晰的例子。在某些情况下，学生甚至调整了他们的目标，以匹配学习者观察到的能力。在与专业大提琴家（Fiebrink，Cook和Trueman 2011）的后续调查中，大提琴手在尝试时发现了她的演奏技巧中的缺陷。在一个跨学科音乐和计算机科学课程中观察使用Wekinator的学生时，作者发现作为学生训练他们的各自的工具，系统的互动性也有助于培养学生。例如，学生们学会了如何识别训练样本中的噪音，并为学习者提供更清晰的例子。在某些情况下，学生甚至调整了他们的目标，以匹配学习者观察到的能力。在与专业大提琴手（Fiebrink，Cook和Trueman 2011）的后续调查中，大提琴手在尝试从未观察到的手势位置插入到一系列声音时识别出她的演奏技巧中的缺陷。用户通过手势和评估生产来直接评估他们的仪器声音。

2. 在观察跨学科音乐和计算机科学课程中使用Wekinator的学生的同时，

作者发现，当学生训练他们各自的乐器时，他们的互动性

系统也有助于培养学生。例如，学生们学会了如何识别训练样本中的噪音，并为学习者提供更清晰的例子。在某些情况下，学生甚至调整了他们的目标，以匹配学习者观察到的能力。在与专业大提琴手（Fiebrink，Cook和Trueman 2011）的后续调查中，大提琴手在尝试训练手势识别器时发现了她的演奏技巧中的缺陷。这个过程揭示了大提琴手的弯曲关节并不像她所认为的那样精确。通过实时观察系统的输出，Wekinator用户能够以允许他们创建满意的工具的方式修改他们的行为。

（七）案例分析

1、拟议的案例研究旨在借助LEGO Mindstorms的教育机器人套件评估RSO方法。目的是评估学习移动机器人在定位纸张最暗点时的能力（图2a）。光强度检查的数量限制为笛卡尔坐标内的总共九个采样点。今天，世界各地的许多大学都在LEGO Mindstorms平台的帮助下教授人工智能课程，许多文献描述了这种实践的教育益处[36]。

（八）实验

1、为了在所识别的区域内的笛卡尔坐标系内以受控的方式移动，机器人已经升级为新的布置（图2b）。大约有200个LEGO部件作为标准乐高Mindstorms套件来制造机器人[36]。在所提出的案例研究中，简单的布置提供了移动机器人的有限直线运动。通过将Matrix工具包添加到传统的矩阵构建系统，可以创建x-y表。此外，移动机器人配备了一个测量光强度的颜色传感器（图2b）。

 

图2.机器人布置; （a）黑色和白色纸张在笛卡尔坐标系上呈现随机强度的光，坐标为9个样本点（b）机器人在行动; LEGO Mindstorms机器人的安排配备了颜色传感器和Matrix套件

2、这里的探测器是一个颜色传感器，可以测量光强度并通过USB电缆配置报告简单的代码。根据简单的代码，当机器人沿着笛卡尔坐标在黑白纸上移动时，拍摄了九个光强度样本。然后将该外部代码连接到机器人学习系统，将测量点连接到实验模块的设计，以进一步导入函数发生器。在这个阶段，我们可以在3D图上绘制结果，如图3a所示。二次多项式拟合估计九个样本点的分布。 RSO运行一个持续优化器，以预测最佳点并生成最优点（图3b）。然后，机器人相应地指向新生成的最佳值。将预测的最佳值与纸张的最暗点进行匹配证明了模型的准确性（图3c）。

 

图3.（a）主要测量点的三维图（b）反应搜索优化（RSO）学习方法的构建块（c）新生成的点的三维图

（九）结论

 

1、本文考虑了机器学习,机器人学习和互动机器学习复杂动态环境优化的新颖集成。引入反应搜索优化（RSO）作为实现将机器学习技术集成到机器人学习的本地和启发式优化中的方法。在提出的案例研究中，反应搜索优化（RSO）提出了一个有效的框架，该框架基于解决持续优化问题，有效利用内存和自适应局部优化，并具有识别全局最优的自我改进能力。在案例研究中，说明了交互式机器学习的基础快速，集中和增量的交互周期; 正是这些周期促进了最终用户参与机器学习过程。 这些循环还导致用户和系统之间的紧密耦合，使得不可能与用户隔离地研究系统。评估了学习移动机器人在定位纸张最暗点时的能力。将预测的最佳值与纸张的最暗点匹配证明了模型的准确性。引入反应搜索优化（RSO）显示能够很好地模仿人工技能，为系统提供自动化，负责算法选择和参数调整。

参考文献

1. Connell，J.H.，Mahadevan，S。：机器人学习。施普林格科技商业媒体（2012）

2. Knox，W.B.，Glass，B.D.，Love，B.C.，Maddox，W.T.，Stone，P。：人类如何教导代理人。国际社会机器人杂志4（4）：409-21（2012）

3. Bishop，CM。，Nasrabadi，NM。：模式识别和机器学习。电子成像杂志16（4），（2007）

4. Michalski，R.S.，Carbonell，JG。，Mitchell，TM：编辑。机器学习：一种人工智能方法。施普林格科学与商业媒体（2013）

5. Han，J.，Kamber，M.，Pei，J。：数据挖掘：概念和技术。 Elsevier（2011）6。Mosavi，A.，Vaezipour，A。：Reactive Search Optimization;多目标优化问题的应用。应用数学1572 - 82（2012）

7.巴蒂蒂。 R.，Brunato。 M。：反应性搜索优化：在优化时学习。 InHandbook of Metaheuristics。施普林格美国。 543-571（2010）

8. Murphy，R.R。：救援机器人中的人机交互。系统，人与控制论，应用与评论，IEEE Transactions on。 34（2）138-53（2004）

9. Rosten，E.，Drummond，T。：用于高速角点检测的机器学习。 InComputer Vision-ECCV。施普林格柏林海德堡430-443（2006）

10. Sofman，B.，et al。：通过自我监督的在线学习改进机器人导航。现场机器人杂志。 23,59-75。 （2006年）

11. Yang，S.Y.，Jin，S.M.，Kwon，S.K。：工业现场机器人的远程控制系统。 InIndustrial Informatics，第6届IEEE国际会议，442-447（2008）

12. Peters，J.，Vijayakumar，S.，Schaal，S。：人形机器人的强化学习。在第三届IEEE-RAS人形机器人国际会议论文集（2003）

13. Kohl N，Stone P。：用于快速四足运动的机器学习。 InAAAI 611-616（2004）

14. Popp，K.，Schiehlen，W。：地面车辆动力学。施普林格柏林海德堡; 2010。

15.Taylor，R.H.，Menciassi，A.，Fichtinger，G.，Dario，P.，Medical robotics and computerintegrated surgery。机器人手册，Springer Berlin Heidelberg 1199-1222（2008）

16. Nehaniv，C.L.，Dautenhahn，K。：机器人，人类和动物的模仿和社会学习：行为，社会和交流。剑桥大学出版社（2007年）

17. Mombaur，K.，Truong，A.，Laumond，J.P。：从人类到人形运动 - 逆最优控制方法。自动机器人。 28（3）369-83（2010）

18. Argall，B.D.，Chernova，S.，Veloso，M.，Browning，B。：从示范中学习机器人的调查。机器人和自动系统。 57（5）469-83（2009）

19.Mosavi，A.，Varkonyi-Koczy，A.，Fullsack，M。：机器学习和自动决策优化的结合。参加：德国汉堡MCDM多标准决策会议（2015年）

20. Stavens，D.，Thrun，S.A。：用于越野自动驾驶的自监督地形粗糙度估计器。 arXiv preprint arXiv：1206.6872（2012）

21. Kober，J.，Bagnell，J.A.，Peters，J。：强化机器人学习：一项调查。国际机器人研究杂志。 32（11）1238-74（2005）

22. Panait，L.，Luke，S。：合作多智能体学习：最先进的技术。自治代理和多智能体系统11（3）387-434（2005）

23. Sra，S.，Nowozin，S.，Wright，S.J。：机器学习的优化。 Mit Press（2012）

24. Battiti，R.，Brunato，M.，Mascia，F。：反应搜索和智能优化。施普林格科学与商业媒体（2008）

25. Battiti，R。：反应搜索：朝着自我调整的启发式方向发展。现代启发式搜索方法61-83（1996）

26. Battiti，R.，Brunato，M。：Reactive Business Intelligence。从数据到模型再到Insight，Reactive Search Srl，意大利。 （2011年）

27. Toussaint，M.，Ritter，H.，Brock，O。：机器人和替代品的优化路线。 KI-KünstlicheIntelligenz29（4）379-88（2015）

28. Battiti，R.，Campigotto，P。：反应性搜索优化：在优化的同时学习。交互式多目标优化实验。 MIC的主要内容（2009年）

29. Stone，P.，Veloso，M。：Multiagent系统：从机器学习角度进行的调查。自主机器人。 8（3）345-83（2000）

30. Battiti，R.，Brunato，M。：LION方式。机器学习加智能优化。应用仿真与建模（2013）

31. Mosavi，A。：复杂几何问题的决策。国际计算机应用杂志87（19）（2014）

32. Horst，R.，Pardalos，P.M。：编辑。全球优化手册。施普林格科学与商业媒体（2013）

33. Brunato M，Battiti R.学习和智能优化（LION）：一个环来统治它们。 VLDB捐赠基金6（11）1176-7（2013）的会议记录

34. Battiti，R.，Brunato，M。：LION Way：机器学习和智能优化。特兰托大学，LIONlab（2014）

35. Battiti，R.，Brunato，M.，Delai，A。：位置相关服务的最佳无线接入点放置。技术报告＃DIT-03-052，意大利特伦托大学（2010年）

36. Parsons，S.，Sklar，E。：使用L教授AI

收费专业论文
汉语言文学论文
物理学论文
自动化专业论文
测控技术专业论文
历史学专业论文
机械模具专业论文
金融专业论文
电子通信专业论文
材料科学专业论文
英语专业论文
会计专业论文
行政管理专业论文
财务管理专业论文
电子商务国贸专业
法律专业论文
教育技术学专业论文
物流专业论文
人力资源专业论文
生物工程专业论文
市场营销专业论文
土木工程专业论文
化学工程专业论文
文化产业管理论文
工商管理专业论文
护理专业论文
数学教育专业论文
数学与应用数学专业
心理学专业论文
信息管理专业论文
工程管理专业论文
工业工程专业论文
制药工程专业论文
电子机电信息论文
现代教育技术专业
新闻专业论文
艺术设计专业论文
采矿专业论文
环境工程专业论文
西班牙语专业论文
热能与动力设计论文
工程力学专业论文
酒店管理专业论文
安全管理专业论文
交通工程专业论文
体育教育专业论文
教育管理专业论文
日语专业论文
德语专业论文
理工科专业论文
轻化工程专业论文
社会工作专业论文
乡镇企业管理
给水排水专业
服装设计专业论文
电视制片管理专业
旅游管理专业论文
物业管理专业论文
信息管理专业论文
包装工程专业论文
印刷工程专业论文
动画专业论文
环境艺术专业论文
信息计算科学专业
物流专业论文范文
人力资源论文范文
营销专业论文范文
工商管理论文范文
汉语言文学论文范文
法律专业论文范文
教育管理论文范文
小学教育论文范文
学前教育论文范文
财务会计论文范文

电子商务论文范文