发表咨询:400-808-1731
订阅咨询:400-808-1751
北大期刊
影响因子 0.51
人气 23694
北大期刊
影响因子 0.94
人气 20364
省级期刊
影响因子 0.3
人气 17766
部级期刊
影响因子 1.03
人气 13556
统计源期刊
影响因子 1.71
人气 12606
CSSCI南大期刊
影响因子 5.52
人气 12097
统计源期刊
影响因子 0.55
人气 11068
北大期刊
影响因子 0.62
人气 10728
省级期刊
影响因子 0.42
人气 10489
统计源期刊
影响因子 1.29
人气 9952
摘要:作为一个十余年来快速发展的崭新领域,深度学习受到了越来越多研究者的关注,它在特征提取和建模上都有着相较于浅层模型显然的优势.深度学习善于从原始输入数据中挖掘越来越抽象的特征表示,而这些表示具有良好的泛化能力.它克服了过去人工智能中被认为难以解决的一些问题.且随着训练数据集数量的显著增长以及芯片处理能力的剧增,它在目标检测和计算机视觉、自然语言处理、语音识别和语义分析等领域成效卓然,因此也促进了人工智能的发展.深度学习是包含多级非线性变换的层级机器学习方法,深层神经网络是目前的主要形式,其神经元间的连接模式受启发于动物视觉皮层组织,而卷积神经网络则是其中一种经典而广泛应用的结构.卷积神经网络的局部连接、权值共享及池化操作等特性使之可以有效地降低网络的复杂度,减少训练参数的数目,使模型对平移、扭曲、缩放具有一定程度的不变性,并具有强鲁棒性和容错能力,且也易于训练和优化.基于这些优越的特性,它在各种信号和信息处理任务中的性能优于标准的全连接神经网络.该文首先概述了卷积神经网络的发展历史,然后分别描述了神经元模型、多层感知器的结构.接着,详细分析了卷积神经网络的结构,包括卷积层、池化层、全连接层,它们发挥着不同的作用.然后,讨论了网中网模型、空间变换网络等改进的卷积神经网络.同时,还分别介绍了卷积神经网络的监督学习、无监督学习训练方法以及一些常用的开源工具.此外,该文以图像分类、人脸识别、音频检索、心电图分类及目标检测等为例,对卷积神经网络的应用作了归纳.卷积神经网络与递归神经网络的集成是一个途径.为了给读者以尽可能多的借鉴,该文还设计并试验了不同参数及不同深度的卷积神经网络来分析各参数间的相互关
摘要:经典的强化学习算法主要应用于离散状态动作空间中.在复杂的学习环境下,离散空间的强化学习方法不能很好地满足实际需求,而常用的连续空间的方法最优策略的震荡幅度较大.针对连续空间下具有区间约束的连续动作空间的最优控制问题,提出了一种动作加权的行动者评论家算法(Action Weight Policy Search Actor Critic,AW-PS-AC).AW-PS-AC算法以行动者评论家为基本框架,对最优状态值函数和最优策略使用线性函数逼近器进行近似,通过梯度下降方法对一组值函数参数和两组策略参数进行更新.对两组策略参数进行加权获得最优策略,并对获得的最优动作通过区间进行约束,以防止动作越界.为了进一步提高算法的收敛速度,设计了一种改进的时间差分算法,即采用值函数的时间差分误差来更新最优策略,并引入了策略资格迹调整策略参数.为了证明算法的收敛性,在指定的假设条件下对AW-PS-AC算法的收敛性进行了分析.为了验证AW-PS-AC算法的有效性,在平衡杆和水洼世界实验中对AW-PS-AC算法进行仿真.实验结果表明AW-PS-AC算法在两个实验中均能有效求解连续空间中近似最优策略问题,并且与经典的连续动作空间算法相比,该算法具有收敛速度快和稳定性高的优点.
摘要:卷积神经网络是一种全监督的深度学习模型,其要求样本类标完整.在样本类标缺失等弱监督的实际应用中,卷积神经网络的应用受到了极大的制约.为解决弱标记环境下的多示例学习问题,该文提出了一种新的多示例深度卷积网络模型.该模型引入了一种新的原型学习层.该层使用基于原型度量的算法,实现了示例特征至包特征的映射,从而使网络能够在包的层面给予类标信息,进而完成整个模型的学习过程.该文首先在肺癌病理图像细胞分类的问题中,验证了该网络的性能.实验表明,相较于传统基于手工图像特征的方法,该文所提出的方法在准确率方面约有12%的提升.相较于卷积神经网络结合传统多示例学习的方法,所提出的方法在各项指标上同样取得了更好的效果.此外,在自然图像分类数据集GRAZ-02上,所提出的方法相较于目前最优的算法也取得了相当的效果.
摘要:关系推理是知识库构建的关键技术之一,典型应用场景包括关系预测和实体链接等.关系推理研究的问题是如何利用知识库中已有的知识推理得到新的知识.当前主流知识库采用的推理模型包括潜在因子模型和随机游走模型.前者将实体和关系映射到一个低维实数向量空间,通过向量相似度计算实现推理.后者基于一阶谓词逻辑进行实体间的关系推理,通过随机算法降低算法复杂度.比较而言,前者由于需要进行大规模矩阵运算而计算复杂度较高,后者则因为采用了随机采样方法,难以完全利用知识库中已有的结构化信息,而导致召回率较低.通过研究现有随机游走模型基本假设存在的问题,提出了两项新的推理建模假设.首先,以PRA为代表的随机游走模型采用关系单向性假设,将知识库中的实体关系三元组视为一阶Horn子句,将关系处理为主语和宾语间的偏序关系,该文提出的假设是,尽管实体间的关系从字面和句法上具有方向性,但关系所包含的信息对两侧实体而言具有语义上的双向性,允许关系推理算法利用从宾语到主语的逆向关系语义进行知识推理;其次,PRA算法采用一阶谓词逻辑进行推理,并通过引入一个随机采样机制来避免穷举搜索和提高计算速度,该文认为这是导致PRA算法及类似算法无法完全利用知识库中已有信息的一个主要原因,据此提出了一个新的假设,即知识库中特定关系子网的拓扑结构所包含的信息可以被利用来改善随机游走模型的关系推理结果,为验证上述假设的有效性,提出了一种基于双层随机游走策略的关系推理新算法,在WN18、FB15K和FB40K等公开数据集上的实验结果表明,该算法能够有效地提高基于随机游走的关系推理模型的准确性和召回率,性能显著优于当前主流的基于潜在因子模型的关系推理算法.
摘要:由于BP神经网络具有表达能力强,模型简单等特点,经过近30年的发展,在理论和应用研究上都取得了巨大的进步,然而容易陷入局部最优和泛化能力差等问题却限制了神经网络的发展.同时,大数据的出现和深度学习算法的提出与应用,为神经网络向更类脑的方向发展提出了新的要求.针对上述问题,该文从模拟生物双向认知能力的角度出发,构造了一种新的神经网络模型——互学习神经网络模型,该模型在标准正向神经网络的基础上,引入了与其具有结构对称性的负向神经网络,利用正、负向神经网络分别模拟生物的顺向和逆向认知过程,并在此基础上提出了一种新的神经网络训练方法——互学习神经网络训练方法,该方法通过网络连接权值转置共享,正、负双向交替训练的方式对互学习神经网络模型进行训练,从而实现输入数据和输出标签之间的相互学习,使网络具有双向认知能力.实验表明,互学习神经网络训练方法可以同时训练正、负两个神经网络,并使网络收敛.同时,在此基础上提出了“互学习预训练+标准正向训练”的两阶段学习策略和相应的转换学习方法,这种转换学习方法起到了和“无监督预训练+监督微调”相同的效果,能够使网络训练效果更好,是一种快速、稳定、泛化能力强的新型神经网络学习方法.
摘要:由于生物信息学、心理学诊断、计算语言与语音学、计算机视觉、门户网站、电子商务、移动互联网、物联网中处理高维和超高维数据的需求不断涌现,迫切需要研究具有变量选择和特征降维功能的回归和分类模型,所以以Lasso、自适应Lasso和elastic net等为代表的稀疏模型近年来在机器学习领域中非常流行.然而,这些稀疏模型没有考虑变量中存在的组结构、重叠组结构、双层稀疏结构、多层稀疏结构、树结构和图结构等结构化信息.结构稀疏模型考虑了这些结构先验信息,改善了模型对特征选择的结果和稀疏模型在相应结构稀疏化数据背景下的统计特性.结构稀疏化模型是当前稀疏学习领域的研究方向,近几年来涌现出很多研究成果,文中对主流的结构稀疏模型,如组结构稀疏模型、结构稀疏字典学习、双层结构稀疏模型、树结构稀疏模型和图结构稀疏模型进行了总结,对结构稀疏模型目标函数中包含非可微、非凸和不可分离变量的结构稀疏模型目标函数近似转换为可微、凸和可分离变量的近似目标函数的技术如控制-受控不等式(Majority-Minority,MM),Nesterov双目标函数近似方法,一阶泰勒展开和二阶泰勒展开技术,对求解结构稀疏化模型近似目标函数的优化算法如最小角回归算法、组最小角回归算法(Group Least Angle Regression,Group LARS)、块坐标下降算法(block coordinate descent algorithm)、分块坐标梯度下降算法(block coordinate gradient descent algorithm)、局部坐标下降算法(local coordinate descent algorithm)、谱投影梯度法(Spectral Projected Gradient algorithm)、主动集算法(active set algrithm)和交替方向乘子算法(Alternating Direction Method of Multipliers,ADMM)进行了比较分析,并且对结构稀疏模型未来的研究方向进行了探讨.
摘要:序列模式挖掘是从给定序列中发现出现频率高的模式的一种方法,目前已在诸多领域被广泛应用.假定子模式Pi和Pj(i〈j)可以分别匹配事件A和事件B,传统的序列模式挖掘方法能够对事件B在事件A之后的序列进行检测,而不能对事件B发生在事件A之前的序列进行识别.为了解决此问题,文中提出了周期性一般间隙约束的序列模式挖掘问题,该问题具有如下5个特点:间隙约束的最小值可为负值的一般间隙约束;每个间隙约束都相同的周期性模式;在支持数统计方面无特殊约束,即允许序列中事件多次使用;该挖掘问题满足Apriori性质;挖掘支持率大于给定的频繁度阈值的频繁模式.为了进行有效地挖掘,采用深度优先的方式建立模式树.文中采用模式匹配技术,在一遍扫描序列数据库的情况下,建立其所有超模式的不完整网树森林(不完整网树是网树的最后一层结点,可以存储在一个数组中,可以有效地表示一个模式在一个序列中的支持数),并对这些超模式的支持率进行有效地计算,进而挖掘出所有频繁模式,有效地提高了序列模式挖掘速度.实验结果验证了文中算法的可行性和有效性.
摘要:由现代强化学习和深度学习相结合形成的深度强化学习方法是目前人工智能领域一个新的研究热点,已经在各种需要感知高维度原始输入数据和决策控制的任务中取得了实质性的突破.尤其是一种被称为深度Q网络的模型在处理诸如Atari 2600游戏这类趋于真实环境的复杂问题时表现出了和人类玩家相媲美的水平.然而,当存在有延迟的奖赏而导致需要长时间步规划才能优化策略的情形中,深度Q网络的表现就会急剧下降.这说明深度Q网络并不擅长解决战略性深度强化学习任务.针对此问题,文中使用带视觉注意力机制的循环神经网络改进了传统的深度Q网络模型,提出了一种较为完善的深度强化学习模型.新模型的关键思想有两点:一是使用双层门限循环单元构成的循环神经网络模块来记忆较长时间步内的历史信息.这使得Agent能够及时使用有延迟的反馈奖赏来正确地指导下一步的动作选择;二是通过视觉注意力机制自适应地将注意力集中于面积较小但更具价值的图像区域,从而使得Agent能够更加高效地学习近似最优策略.该文通过选取一些经典的Atari 2600战略性游戏作为实验对象来评估新模型的有效性.实验结果表明,与传统的深度强化学习模型相比,新模型在一些战略性任务上具有很好的性能表现和较高的稳定性.
摘要:基于运动想象的脑机接口技术已经广泛的应用于康复外骨骼领域.由于脑电信号的信噪比低,使得脑机接口分类率很难提高.因此,有效的脑电特征提取与分类方法成为现在的研究热点.该文创新地采用基于深度学习理论的卷积神经网络对单次运动想象脑电信号进行特征提取和分类.首先,根据脑电信号时间和空间特征相结合的特性,针对性地设计了一个5层的CNN结构来进行运动想象分类;其次,基于想象左手运动和脚运动设计了运动想象实验范式,获得运动想象实验数据;再次,将该方法应用于公共数据集和实验数据集并建立分类模型,同时与其它3种方法(功率值+SVM、CSP+SVM和MRA+LDA)相比较;最后,将从实验数据集中获得的分类模型(具有最好分类表现)应用于上肢康复外骨骼的实时控制中,验证该文提出方法的可行性.实验结果表明,卷积神经网络方法可以提高分类识别率:卷积神经网络方法应用在公共数据集(90.75%±2.47%)和实验数据集(89.51%±2.95%)中的平均识别率均高于其它3种方法;在上肢康复外骨骼的实时控制中,也验证了CNN方法的可行性:所有被试的平均识别率为88.75%±3.42%.该文提出的方法可实现运动想象的精确识别,为脑机接口技术在康复外骨骼领域的应用提供了理论基础与技术支持.
摘要:神经采样是国际上最近提出的一种基于脉冲神经网络动力学的吉布斯采样算法,是一种有希望在类脑硬件上实现贝叶斯概率推断的算法.神经采样的仿生特点包括考虑神经元间通过发放脉冲来传递信息、突触后膜电压和迟滞效应等.该文首先会介绍国际上在神经采样方面已有的工作,分三小部分:第1部分涉及神经采样的抽象模型,包括其原理和在任意贝叶斯网络中采样的具体模型;第2部分涉及硬件实现,包括用累积发放(I&F)模型近似连续时间神经采样动力学的方法;第3部分通过结合前两部分,涉及用脉冲神经网络动力学训练传统的机器学习模型,并在经典计算机上模拟这个训练过程.第3部分具体包括基于脉冲时间的突触可塑性(STDP)的受限玻尔兹曼机(RBM)的事件驱动相对散度训练算法.最后,我们在训练RBM的相对散度和持续相对散度算法中,用神经采样替代传统的吉布斯采样.该文的工作首先分析了神经采样对初始化状态敏感和混合速度慢的采样特点,然后提出方法消除了这两个采样特点对训练的负面影响.在MNIST数据集上的实验初步显示,基于修正后的神经采样的训练算法能恢复跟传统基于吉布斯采样的算法相似的重构效果.目前在机器学习领域,基于概率的学习算法已发展成主流.神经采样方面的工作为在类脑硬件上实现低能耗的概率模型计算提供方法,未来有希望被用于提高移动设备的智能水平.
摘要:随着信息技术的飞速发展,现实世界中涌现出大量的跨媒体数据.所谓跨媒体数据是指那些表达的内容相似,但以不同模态、不同来源、不同背景等形式出现的数据.比如,一张描述花豹的网页通常采用共生的图片和文本等不同的模态刻画花豹的外形和习性.这些跨媒体数据通常呈现出底层特征异构、高层语义相关的特性.传统的单媒体学习方法已无法适应跨媒体数据呈现出的特征异构性.因此,跨媒体学习相关理论与方法的研究是当前数字媒体分析领域的热点研究课题之一.该文主要介绍了跨媒体学习的研究背景和应用价值,概括介绍了各类跨媒体学习相关方法的数学原理和基本特性,并重点介绍了跨媒体共享子空间学习的研究进展,比较了基于投影、矩阵分解、任务和度量等四大类子空间学习方法的优缺点,分析了未来的发展方向.
摘要:求解极小不可满足保持子术语集(Mups)是不一致术语集调试的核心工作.在构建术语集依赖关系图模型基础上,从概念之间的依赖关系角度出发,定义语义依赖度、语义簇、依赖度分布3个指标反映本体术语集的复杂程度;通过讨论不可满足概念数目、冲突公理集基数和冲突公理基数对Mups问题求解难易的影响,定义冲突公理集最大基数和冲突公理最大基数两个指标反映不一致本体术语集的数据复杂程度;基于这些复杂性指标,设计针对Mups问题的不一致本体数据标准测试集(Mups Benchmark,MupsBen)来评测Pellet、Hermit、FaCT++、JFact和TrOWL这5种推理机在黑盒算法下求解Mups的性能.评测实验显示,所定义的复杂度指标能够有效反映Mups求解问题的数据复杂程度.对于特定推理机,其性能随测试数据的结构复杂程度的增大而降低;对于不同推理机,由于其内在推理机制与优化策略的差别,在不同复杂度指标下表现出不同的性能差异.
摘要:推荐系统已经被越来越频繁地应用到电子商务网站与一些社交网站,在提高用户满意度的同时也带来了巨大的商业利益.然而,当前的推荐算法由于原始数据的不完整性以及算法本身处理数据的特殊性,导致推荐效果不理想.例如,某些推荐系统会产生冷启动、复杂兴趣推荐困难、解释性差等问题.为此,该文提出一种基于标签权重评分的推荐系统模型(Label-Weight Rating based Recommendation,LWR),旨在使用一种较为简洁的方式——标签权重评分来获取用户最准确的评价和需求,并通过改进当前的一些推荐算法来处理标签权重评分数据,从而生成对用户的推荐,最后以标签权重评分的形式向用户展示推荐结果并作出合理的解释.扩展实验中,通过电影推荐实验,证明了该文技术的有效性和可行性.
摘要:协同推荐系统作为一种重要的个性化服务模式,在电子商务站点中的应用越来越广泛.然而,各种恶意欺骗和虚假反馈已制约了其应有效能的发挥.如何有效识别和抵御托攻击,确保系统推荐的可信性,是推荐系统研究面临的一大挑战.为了确保推荐的可信性,人们提出了各种基于矩阵分解的鲁棒协同推荐算法.但是这些推荐算法在面对托攻击时不仅精度损失大,而且鲁棒性较差.为此,该文提出一种基于非线性特征和Cauchy加权M-估计量的鲁棒推荐算法.首先,采用核主成分分析方法提取用户评分矩阵的非线性特征,以充分挖掘推荐系统中用户(或项目)之间的内在关联,最大限度地保留用户和项目的特征信息,提高推荐精度和鲁棒性;然后,引入鲁棒统计中的Cauchy加权M-估计量,并联合矩阵分解模型对用户和项目特征矩阵进行鲁棒参数估计,以限制攻击概貌对参数估计过程产生的影响;最后,设计相应的鲁棒协同推荐算法,并在MovieLens和Netflix数据集上对算法的有效性进行评价.实验结果表明:该文算法在推荐精度和鲁棒性方面明显优于现有的鲁棒推荐算法.
摘要:探索和发现事物间的因果关系是数据科学的一个核心问题,其中蕴含着丰富的科学发现机会和巨大的商业价值.基于非时序观察数据的因果关系发现方法能够从被动观察获得的数据中发现变量之间的因果关系,因而在各领域有广泛应用.这一类方法在过去三十年取得很大进展,已经成为因果关系发现的重要途径.文中从因果关系方向推断、高维数据上的误发现率控制和不完全观察数据上的隐变量检测这三个研究热点出发,对现有的因果关系模型与假设、基于约束的方法、基于因果函数模型的方法和混合型方法这三大类方法,验证与测评涉及的数据集及工具等方面进行了详尽的介绍与分析.基于约束的方法主要包括因果骨架学习和因果方向推断两个阶段:首先基于因果马尔可夫假设,采用条件独立性检验学习变量之间的因果骨架,然后基于奥卡姆剃刀准则利用V-结构确定因果方向,典型的算法有Peter-Clark算法、Inductive Causation等,这类方法的主要不足是存在部分无法判断的因果关系方向,即存在Markov等价类难题.基于因果函数模型的方法则基于数据的因果产生机制假设,在构建变量之间的因果函数模型的基础之上,基于噪声的非高斯性、原因变量与噪声的独立性、原因变量分布与因果函数梯度的独立性等因果假设推断变量之间的因果关系方向,典型的算法有针对线性非高斯无环数据的Linear NonGaussian Acyclic Model算法、针对后非线性数据的Post-NonLinear算法、适用于非线性或离散数据的Additive Noise Model等,这类方法的主要不足是需要较为严格的数据因果机制假设,且Additive Noise Model等方法主要适用于低维数据场景.混合型方法则希望充分发挥基于约束的方法和基于因果函数类方法的优势,分别采用基于约束的方法进行全局结构学习和基于因果函数模型进行局部结构学习和