正则化稀疏模型
摘要：正则化稀疏模型在机器学习和图像处理等领域发挥着越来越重要的作用,它具有变量选择功能,可以解决建模中的过拟合等问题.Tibshirani提出的Lasso使得正则化稀疏模型真正开始流行.文中总结了各种正则化稀疏模型,指出了各个稀疏模型被提出的原因、所具有的优点、适宜解决的问题及其模型的具体形式.最后,文中还指出了正则化稀疏模型未来的研究方向.一种基于跨领域典型相关性分析的迁移学习方法
摘要：作为迁移学习的一个重要研究方向,基于特征映射的方法学习各领域特有特征与领域共享特征之间的相关性,通过一些相关特征减少领域之间的差异,已经获得了广泛的关注和研究.典型相关性分析是一种用来分析两组随机变量之间相关性的统计分析工具.将典型相关性分析引入迁移学习,结合基于特征映射迁移学习的思路,提出了一种跨领域典型相关性分析算法.该算法在保持各领域特有特征与领域共享特征相关性的基础上,通过选择合适的基向量组合训练分类器,使降维后的相关特征在领域间具有相似的判别性.在20Newsgroups上864个分类问题以及多领域情感分析数据集上12个分类问题的实验结果表明,跨领域典型相关性分析算法可以有效地提高跨领域迁移分类准确率.李群机器学习十年研究进展
摘要：该文主要从3个方面介绍李群机器学来的研究进展.首先,该文将解释为什么采用李群结构进行数据或特征描述,以此阐明李群机器学习与传统机器学习方法的区别,并且通过李群在人工智能领域的广泛应用来说明李群表示的普遍性.其次,该文概述了李群机器学习自提出以来的主要学习算法,着重强调最近的一些研究进展.最后,针对目前的研究现状,该文给出李群机器学习未来的一些研究方向.基于线性Bregman迭代的结构化噪声矩阵补全算法
摘要：通过采样部分元素补全低秩矩阵的缺失元素是许多实际应用如图像修复、无线传感网数据收集和推荐系统等经常遇到的一个颇具挑战性的难题.在机器学习领域,这类问题通常能刻画成矩阵补全问题.虽然现有研究针对矩阵补全问题已提出了许多有效算法,但这些算法通常仅限于采样元素要么无噪要么仅含少量随机高斯噪声的补全情形,难以处理实际问题中常见的行结构化噪声.为了解决这个问题,该文首先借助分类器设计中流行的L2,1范数正则化技术来平滑此类噪声,并将该问题建模为一类基于L2,1范数正则化的凸约束优化问题.其次,为了快速有效地求解,我们将向量空间的线性Bregman迭代算法和近邻算子技术拓展到矩阵空间,进一步设计了一种鲁棒的基于线性Bregman迭代的结构化噪声矩阵补全算法（LiBIMC）.严格的理论分析证明了LiBIMC迭代算法的不动点正是结构化噪声矩阵补全问题的全局最优解.数值实验结果表明,和已有的矩阵补全算法相比,LiBIMC算法不仅能更好地恢复结构化噪声矩阵的缺失元素,还能精确地辨识出采样矩阵中被污染的元素所在行的位置信息.在部分观测环境下学习规划领域的派生谓词规则
摘要：文中提出了一种在部分观测环境下学习规划领域的派生谓词规则的方法.在规划领域描述语言（PDDL）中,派生谓词用来描述动作的非直接效果,是规划领域模型和搜索控制知识的重要组成部分.然而,对于大多数规划领域而言,从无到有地构造派生谓词规则是不容易的.因此,研究自动获取派生谓词的推导规则是有意义的.已有研究工作提出通过修订一个初始的不完备的领域理论来获取推导规则的方法,但是它们的主要缺点在于待学习谓词的训练例的数量非常少,这是因为训练例按照非常有限的方式来生成.而更本质的原因在于它们假设环境是不可观测的.其实,在现实生活中很多动作的非直接效果是可以观测的,或者通过简单的目测或者通过专门的工具.因此文中提出增加观测来反映动作的非直接效果,以便增加待学习谓词的训练例数目从而改善学习的精准度.此外,为了补充一些在归纳学习过程中学习不到的谓词,文中还提出了一个后处理方法来使得学习到的规则在语义上更完整.通过在派生谓词基准领域上的实验表明,文中所提出的方法是可行有效的.更深远的意义在于,文中的研究工作有利于规划领域的自动建模或者控制知识的自动获取的研究与实现.基于自适应归一化RBF网络的Q-V值函数协同逼近模型
摘要：径向基函数网络逼近模型可以有效地解决连续状态空间强化学习问题.然而,强化学习的在线特性决定了RBF网络逼近模型会面临＂灾难性扰动＂,即新样本作用于学习模型后非常容易对先前学习到的输入输出映射关系产生破坏.针对RBF网络逼近模型的＂灾难性扰动＂问题,文中提出了一种基于自适应归一化RBF（ANRBF）网络的Q-V值函数协同逼近模型及对应的协同逼近算法——QV（λ）.该算法对由RBFs提取得到的特征向量进行归一化处理,并在线自适应地调整ANRBF网络隐藏层节点的个数、中心及宽度,可以有效地提高逼近模型的抗干扰性和灵活性.协同逼近模型中利用Q和V值函数协同塑造TD误差,在一定程度上利用了环境模型的先验知识,因此可以有效地提高算法的收敛速度和初始性能.从理论上分析了QV（λ）算法的收敛性,并对比其他的函数逼近算法,通过实验验证了QV（λ）算法具有较优的性能.具备反向学习和局部学习能力的粒子群算法
摘要：为解决粒子群优化（Particle Swarm Optimization,PSO）算法中存在的种群多样性和收敛性之间的矛盾,该文提出了一种具备反向学习和局部学习能力的粒子群优化算法（Reverse-learning and Local-learning PSO,RLPSO）.该算法保留了初始种群中满足排异距离要求的多个较差粒子以及每个粒子的历史最差位置.当检测到算法陷入局部最优时,利用这些较差粒子的位置信息指导部分粒子以较快飞行速度进行反向学习,将其迅速牵引出局部最优区域.反向学习过程可改善粒子种群的多样性,保证了算法的全局探测能力;同时,利用较优粒子间的差分结果指导最优粒子进行局部学习与搜索,该过程可与粒子群的飞行过程并行执行,且局部学习的缩放因子可随进化过程动态调节.局部学习可提高算法的求解精度,保证算法的迅速收敛.实验结果表明,RLPSO算法同其他PSO算法相比,在高维函数优化中具有收敛速度快、求解精度高的特点.基于MB-HDP模型的微博主题挖掘
摘要：主题模型是挖掘微博潜在主题的重要工具.然而,现有的主题模型多由Latent Dirichlet Allocation（LDA）派生,它需要用户预先指定主题数目.为了自动挖掘微博主题,作者提出了一个基于分层Dirichlet过程（Hierarchical Dirichlet Process,HDP）的非参数贝叶斯模型MB-HDP.首先,针对微博应用场景,假设消息是不可交换的;接着,利用微博的时间信息、用户兴趣以及话题标签,聚合主题相关的消息以解决微博短文本的数据稀疏问题;然后,扩展Chinese Restaurant Franchise（CRF）对微博数据进行主题建模;最后,设计一个相应的Markov Chain Monte Carlo（MCMC）采样方法,推导MB-HDP模型的分布参数.实验表明,在生成主题质量、内容困惑度和模型复杂度等指标上,MB-HDP模型明显优于LDA和HDP两种模型.基于特征权重量化的相似度计算方法
摘要：随着信息产业的迅猛发展,聚类的无监督特性使其成为一种极为有效的分析工具.而为获得良好的聚类结果,有效及准确的相似度计算方法是其必备的前提条件.事实上,在描述数据相似度时,不同的特征显然具有不同的作用,因此有必要借助一些先验知识,例如用户提供的限制数据,来衡量特征的重要性,并将其应用于相似度计算中以获取更加准确的计算结果.传统的特征权值量化方法均忽视了两点问题：（1）限制数据在特征空间中极有可能为非均匀分布;（2）限制数据可能包含不一致性.上述问题的存在使得传统的权值量化方法无法获得准确的结果甚至无法运行.基于此,文中提出了一种新颖的特征权值量化方法用以处理上述两点问题：（1）将限制数据划分为若干个等价类,进而通过计算参数＂分布系数＂来均匀化数据的分布;（2）将限制数据连接为无向图,进而通过计算参数＂置信度＂来衡量及弱化限制数据的不一致性.之后将这两个参数结合到特征权值量化函数中以获得准确的相似度计算结果.实验结果显示：该特征权值量化方法能够结合限制数据来获取不同特征对相似度计算的贡献能力,并能应用于任何聚类算法中以提高聚类的准确度.二分类图上的非冗余协同图模式挖掘算法
摘要：图模式广泛应用于构建高效图分类模型的特征空间识别.协同图模式是一种内部节点高度相关的图结构,与普通图模式相比,协同图模式具有更高的区分能力,从而更加适用于分类模型的特征选择.文中研究了从二分类图中挖掘非冗余协同图模式的问题,通过限制协同图模式的区分能力远远高于其所有子图模式的非冗余性质,大幅度减少了挖掘结果的数量,同时保留了具有强区分能力的协同图模式.由于协同图模式理论上必须检测其所有子图是否满足约束条件,挖掘它们非常具有计算挑战性.基于非冗余协同图模式的多种特性,提出相对应的削减规则;通过对区分能力的边界估计,提出两个快速检测非冗余协同图模式方法,在此基础上给出了一种高效的深度优先挖掘算法GINS.大量真实与合成数据集上的实验结果表明,GINS算法明显优于其他两个代表性算法,作为图分类模型的分类特征时,非冗余协同图模式获得了较高的分类精度.基于逻辑shapelets转换的时间序列分类算法
摘要：时间序列shapelets是序列之中最具有辨别性的子序列.解决时间序列分类问题的有效途径之一是通过shapelets转换技术,将其发现与分类器的构建相分离,其主要优点是优化了shapelets的选择过程并能够灵活应用不同的分类策略.但此方法也存在不足,仅仅简单地应用这些shapelets而忽略它们之间的逻辑组合关系,有可能降低分类的效果;另外,离线式的发现shapelets的过程是相当耗时的.文中针对后一个问题,采用了一种基于智能缓存的计算重用技术,将发现shapelets的时间复杂度降低了一个数量级.在此基础上,作者提出了一种基于合取或析取的逻辑shapelets转换方法,并通过在多个经典的基准数据集上测试,表明了该方法能够在提升分类准确性的同时保持shapelets所具有的解释力.基于理想点的星型高阶联合聚类一致融合策略
摘要：高阶联合聚类一般被转化为多对二阶联合聚类结果的一致融合问题,将多个二阶聚类目标函数的加权线性组合作为高阶联合聚类的目标函数,通过交替迭代方法得到聚类结果.然而,现有算法仍根据专家经验预设权值,自动的确定线性组合的最优权值仍是一个经典难题.文中针对星型高阶异构数据,提出一种基于理想点的自动确定权值的一致融合策略,将各二阶聚类目标函数的最优值构成的空间中的点称为理想点.通过将二阶聚类结果与其理想结果间的相对距离作为聚类质量的度量标准,解决了各二阶聚类质量不可公度的问题,最终使得高阶聚类目标函数与理想点的相对距离最小.基于理想点的方法能够解决多种星型高阶联合聚类算法的一致融合问题,因此具有一定的普适性.实验结果表明该方法有效地提高了5种经典高阶聚类算法的效果.一种基于时间衰减模型的数据流闭合模式挖掘方法
摘要：数据流是随着时间顺序快速变化的和连续的,对其进行频繁模式挖掘时会出现概念漂移现象.在一些数据流应用中,通常认为最新的数据具有最大的价值.数据流挖掘会产生大量无用的模式,为了减少无用模式且保证无损压缩,需要挖掘闭合模式.因此,提出了一种基于时间衰减模型和闭合算子的数据流闭合模式挖掘方式TDMCS（Time-Decay-Model-based Closed frequent pattern mining on data Stream）.该算法采用时间衰减模型来区分滑动窗口内的历史和新近事务权重,使用闭合算子提高闭合模式挖掘的效率,设计使用最小支持度-最大误差率-衰减因子的三层架构避免概念漂移,设计一种均值衰减因子平衡算法的高查全率和高查准率.实验分析表明该算法适用于挖掘高密度、长模式的数据流;且具有较高的效率,在不同大小的滑动窗口条件下性能表现是稳态的,同时也优于其他同类算法.粗糙模糊集的近似表示
摘要：粗糙模糊集是利用粗糙集的Pawlak知识空间来近似刻画一个模糊集（不确定概念）的理论模型.粗糙模糊集用上、下近似模糊集作为目标概念的边界模糊集,它没有给出在当前知识基下如何得到目标模糊概念的近似模糊集或近似精确集的方法.文中首先给出模糊集的相似度（近似度）的概念,定义了Pawlak知识空间U/R下的阶梯模糊集、均值模糊集、0.5-精确集等概念;然后分析得出U/R知识空间下的均值模糊集是所有阶梯模糊集中与目标模糊集最接近的模糊集,U/R知识空间下0.5-精确集是目标模糊集最接近的近似精确集;分析了均值模糊集、0.5-精确集分别与目标模糊集之间的相似度随知识粒度变化的变化规律.从新的视角提出了不确定性目标概念的近似表示和处理的方法,促进了不确定人工智能的发展.