计算机学报杂志 北大期刊 CSCD期刊 统计源期刊

计算机学报 2019年第07期杂志 文档列表

基于深度学习的开放领域对话系统研究综述1439-1466

摘要：人机对话系统能够让机器通过人类语言与人进行交互,是人工智能领域的一项重要工作.因其在虚拟助手和社交聊天机器人等领域的商业价值而广受工业界和学术界的关注.近年来,互联网社交数据快速增长促进了数据驱动的开放领域对话系统的研究,尤其是将深度学习技术应用到其中取得了突破性进展.基于深度学习的开放领域对话系统使用海量社交对话数据,通过检索或者生成的方法建立对话模型学习对话模式.将深度学习融入检索式系统中研究提高对话匹配模型的效果,将深度学习融入生成式系统中构建更高质量的生成模型,成为了基于深度学习的开放领域对话系统的主要任务.本文对近几年基于深度学习的开放领域对话系统研究进展进行综述,梳理、比较和分析主要方法,整理其中的关键问题和已有解决方案,总结评测指标,展望未来研究趋势.

面向搜索引擎的实体推荐综述1467-1494

摘要：面向搜索引擎的实体推荐任务旨在为用户输入的搜索查询推荐出相关实体,从而帮助用户发现感兴趣的实体,提升用户的搜索体验.此外,为了帮助用户更好地理解实体推荐结果,还需要为被推荐的实体集合以及每一个被推荐实体生成恰当且合理的推荐理由.实体推荐能够帮助用户便捷地获得与其搜索需求相关的信息,有助于提升用户的信息发现体验,因此已成为现代搜索引擎中必不可少的功能之一.与传统领域的推荐任务相比较,面向搜索引擎的实体推荐面临更多的挑战,例如搜索查询中实体指称的歧义性以及实体推荐的领域无关性等.针对搜索引擎实体推荐任务的特点与存在的挑战,我们认为构建一个完备的实体推荐系统需要解决如下三个子研究任务:实体链接、实体推荐与推荐理由生成.实体链接任务的目标是将搜索查询中的实体指称消除歧义并链接到知识库中无歧义的实体上,以获得与搜索查询对应的查询实体.实体推荐任务的目标是获取与查询实体相关的实体集合并对其进行排序.为了提供更准确的推荐结果,往往还需要进一步利用历史搜索信息获取用户对实体的偏好并对当前查询进行更好地理解.推荐理由生成任务的目标是为被推荐的实体集合以及每一个被推荐实体生成推荐理由,其中集合推荐理由解释的是该集合中的被推荐实体与查询实体的关系,实体推荐理由则是单个实体被推荐的理由.本文首先介绍面向搜索引擎的实体推荐任务的研究背景与意义、存在的挑战以及各子任务,然后详细介绍每一个子任务存在的技术挑战、研究现状以及解决方法,最后对未来研究方向进行展望并对本文进行总结。

竞争环境中基于主题偏好的利己信息影响力最大化算法1495-1510

摘要：社会计算领域的影响力传播问题一般仅研究单条信息的最大化传播,但在实际网络环境中,更多的是存在多条具有竞争关系的信息在网络中进行传播,且在传播过程中不同信息会相互影响.竞争环境中的影响力最大化问题即是为某一条竞争信息选择种子节点集合,使之最终影响的节点数目最多.该文针对多条相似信息的竞争传播问题,考虑传播的同步性,建立基于竞争的线性阈值扩展模型;基于用户交互的主题偏好计算不同类别信息下节点间的影响概率,并结合扩展的传播模型和信息扩散的特点,提出基于节点子图的影响力计算方法.以两条竞争信息传播为例,考虑利己信息对竞争信息传播策略的掌握情况,设计两种解决方案:(1)在已知竞争信息A的种子节点选择策略时,提出节点避让的利己信息影响最大化算法NA(Node Avoidance);(2)在未知竞争信息A的种子节点选择策略时,提出使用种子节点选择策略集为信息A选择种子集合,并提出策略无关的利己信息影响最大化算法I3SL(Independent Seed Selection Strategy of Leader).该文在新浪实证数据集上进行了对比实验,结果表明:(1)NA算法在竞争环境中能使利己信息传播范围最广,平均优于其他算法26.2%,且表现出较好的通用性和稳定性;(2)I3SL算法在未知竞争信息的选择策略时也能够保证利己信息的传播范围,平均优于其他算法18.23%;(3)该文所提两种算法在运行时间上较其他启发式算法表现较弱,但两种算法在运行时间和传播范围两方面均取得了较好的平衡。

标签同步解码算法及其在语音识别中的应用1511-1523

摘要：自动语音识别(Automatic Speech Recognition,ASR)等序列标注任务的一个显著特点是其对相邻帧的时序序列关联性建模.用于对相邻帧进行时序建模的主流序列模型包括隐马尔可夫模型(Hidden Markov Model, HMM)和连接时序模型(Connectionist Temporal Classification,CTC).针对这些模型,当前主流的推理方法是帧层面的维特比束搜索算法,该算法复杂度很高,限制了语音识别的广泛应用.深度学习的发展使得更强的上下文和历史建模成为可能.通过引入blank单元,端到端建模系统能够直接预测标签在给定特征下的后验概率.该文系统地提出了一系列方法,通过使用高效的blank结构和后处理方法,使得搜索解码过程从逐帧同步变为标签同步.该系列通用方法在隐马尔可夫模型和连接时序模型上均得到了验证.结果表明,在Switchboard数据集上,不损失性能的前提下,实验取得了2~4倍的加速.该文同时研究了搜索空间、候选序列剪枝、转移模型、降帧率等对加速比的影响,并在所有情况下取得一致性加速。

基于多任务迭代学习的论辩挖掘方法1524-1538

摘要：论辩挖掘可分为论点边界的检测、论点类型的识别、论点关系的抽取三个子任务.现有的工作大多数对子任务分别建模研究,忽略了三个子任务之间的关联信息,导致性能低下.另外,还有部分的工作采用流水线模型把三个子任务进行联合建模,由于流水线模型仍然是独立的看待每个子任务,为每个子任务训练单独的模型,存在错误传播的问题,且在训练过程中产生了冗余信息.因此,本文提出了一种基于多任务迭代学习的论辩挖掘方法.该方法将论辩挖掘三个任务并行地联合在一起学习,首先通过深度卷积神经网络(CNN)和高速神经网络(Highway Network),获得文本字符和词级别的浅层共享参数表示;然后输入双向长短时记忆循环神经网络(Bi-LSTM),利用论辩挖掘三个任务之间的关联信息进行同时训练,不仅可以避免错误传播,而且能够克服冗余信息的产生;最后,联结三个任务的Bi-LSTM网络输出作为下一次迭代的输入,来提高模型的性能.实验采用了德国UKP实验室公开的学生论文数据集,实验结果表明,与目前最好的基准方法对比,该方法的准确率指标提高了2.74%,“ F1 (100%)”和“ F1 (50%)”指标分别提高了1.05%和1.19%,很好地验证了该方法的有效性。

面向复杂主题建模的流式层次狄里克雷过程1539-1552

摘要：互联网已经成为真实事件信息的主要来源.针对互联网海量新闻语料的主题挖掘是新闻事件的组织和追踪任务中关键的一环.主题模型已被广泛应用于挖掘和分析新闻等文本语料,LDA(Latent Dirichlet Allocation)是最常见的主题模型,然而现有基于LDA的方法没有考虑到主题之间的层次关系,且需要预先提供主题个数.作为LDA模型的扩展,层次狄里克雷过程(Hierarchical Dirichlet Process,HDP)是非参数贝叶斯主题模型,HDP能够自动确定主题个数.对于具有层次等特性的复杂主题,HDP难以挖掘出隐式层次结构,且容易产生噪音主题.为了解决这个问题,该文提出了基于HDP改进的非参数贝叶斯模型:流式层次狄里利克雷过程(Flow Hierarchical Dirichlet Process,FHDP),FHDP通过在HDP模型中加入流动操作,加强了对主题之间的同属领域信息的利用,以便于更好的对主题进行层次分析.利用加入了流动操作的中国连锁餐馆模型(Chinese Restaurant Franchise,CRF)对数据进行建模,设计相应的马尔可夫链蒙特卡罗(Markov Chain Monte Carlo,MCMC)采样方法,以推导FHDP模型的分布参数分布.FHDP的主要贡献在于:(1)对含有层次关系的主题建模时,减少了无意义信息.解决了HDP得到主题不明确的问题,扩大了HDP的应用领域;(2)由于在FHDP中加强了对主题隐含领域信息的利用,主题的层次关系变得更加明确.为了客观衡量FHDP和HDP的性能差异,利用模拟和真实数据进行了大量实验.实验表明,在轮廓系数、主题覆盖度、单字对数似然等指标上,FHDP模型明显优于HDP模型。

基于多特征融合的在线论坛用户心理健康自动评估1553-1569

摘要：心理健康问题会对社会和谐和家庭幸福造成严重破坏,提前发现有心理健康问题的潜在患者,有利于对其进行及时辅导和治疗.人们利用互联网或社交网络交流沟通、表达情感和观点,这为心理健康的观察提供了新的窗口.本文提出基于多特征融合的在线论坛用户心理健康自动评估框架F 3 TMH,该框架采用贪婪法F 3 TMH_G、投票法 F 3 TMH_V、后期融合法F 3 TMH_L和降噪自编码器法F 3 TMH_DA四种特征融合策略,融合帖子(或其作者)的行为与属性特征、语言或用词风格特征、内容特征(N-Grams特征、主题特征、词向量特征)、上下文特征,对论坛中帖子所反映的用户(心理康健状况)需要干预的紧急程度( crisis :非常紧急, red :紧急, amber :不紧急, green :不需要任何干预)进行自动评估.在CLPsych2017 shared task评测任务所提供的数据集上,考察了各类特征、不同的特征融合策略对心理健康自动评估性能的影响.实验发现,相对于行为与属性特征和语言特征,内容特征表现更好,其中基于Word2Vec的词向量特征表现最佳,其 Non -green ( crisis 、 red、amber 三类)的 F1 均值达到0.429.尽管单独使用行为与属性特征表现不佳,但该特征对 crisis 类帖子的识别影响很大,在融合所有特征的基础上去掉该特征后会导致 crisis 类帖子的 F1 值下降19.7%.实验还显示,多种类型特征的融合较单一类型的特征表现更优,特征融合后 Non -green 的 F1 值(0.479)较单一最优特征(0.429)提高11.6%.各种特征融合策略各有优势,例如,后期融合策略F 3 TMH_L2更有利于识别心理健康危机程度较高的用户( crisis 和 red 类帖子), Urgent 的 F1 值达到0.608,而F 3 TMH_L则更有利于识别 crisis 类的帖子,自编码融合策略F 3 TMH_DA对于识别数据量相对较多的 Flagged 类(所有非 green 类的并集)帖子更有优势,其 F1 值达到0.872.最后还探讨了上下文信息对用户心理危机程�

基于融合结构的在线广告点击率预测模型1570-1587

摘要：点击率预测作为推荐系统和在线广告的关键环节,在学术界和工业界均受到了极大的关注.论文首先对几种典型的点击率预测模型进行研究,然后探索了基于融合结构的深度学习方法,并在此基础上提出一种基于融合结构的点击率预测模型,该模型能够灵活融合不同结构的深度神经网络来分别学习原始高维稀疏特征的高阶表示,从而使点击率预测模型能够利用更丰富的高阶特征信息.论文利用真实数据集来评价模型的预测性能,实验结果显示,基于融合结构的深度学习预测模型,能够比传统的点击率预测模型以及最新的基于深度学习的预测模型获得更好的性能。

一种带探索噪音的深度循环Q网络1588-1604

摘要：结合深度神经网络和强化学习方法的深度Q网络在Atari 2600游戏平台上取得了巨大成功.相较于深度Q网络,深度循环Q网络具有记忆历史信息的能力,在部分游戏上显示出了更好的性能.然而在某些复杂的游戏环境中,一方面深度循环Q网络需要大量的训练时间,另一方面其在动作空间抖动的策略中不能做出合理决策.针对这些问题,本文提出一种带探索噪音的深度循环Q网络(Deep Recurrent Q-Networks with Exploratory Noise, EN-DRQN)模型.与在动作空间的探索方式不同,EN-DRQN在网络空间注入噪音,引起网络输出变化,然后根据该变化选择动作.这种在网络空间的探索可以在未来多个时间步内造成复杂的改变,并通过循环神经网络记忆多步变化,使智能体(Agent)做出的决策更具有战略性.EN-DRQN具有以下特点:一是利用带探索性的噪音进行深度探索以弥补传统策略探索的低效性.噪音来自于噪音分布,通过方差驱动探索,这使得Agent可以发现大量新状态,提供更加丰富的样本,为决策提供有效信息;二是使用改进的双层门限循环单元来记忆较长时间步的历史信息,使Agent能够在延迟奖赏的情况下做出合理的决策.实验结果表明,EN-DRQN模型在Atari 2600游戏平台上的部分战略性游戏以及具有延迟奖赏的游戏上,与动作空间的抖动策略相比,取得了更优的表现。

分布式单词表示综述1605-1625

摘要：单词表示作为自然语言处理的基本问题,一直广受关注.传统的独热表示丢失了单词间的语义关联,因而在实际使用中易受数据稀疏问题困扰.而分布式表示通过将单词表示为低维稠密实数向量,捕捉单词间的关联信息.该表示方式可在低维空间中高效计算单词间的语义关联,有效解决数据稀疏问题.作为神经网络模型的基本输入,单词分布式表示伴随着深度学习被广泛应用于自然语言处理领域的方方面面.从早期的隐式语义分析,到最近的神经网络模型,研究人员提出了各种各样的模型来学习单词的分布式表示.本文梳理了单词分布式表示学习的发展脉络,并从模型利用上下文入手,将这些模型统一在分布语义假设框架下,它们的区别只在于建模了单词不同的上下文.以隐式语义分析为代表的话题模型,利用文档作为上下文,建模了单词间的横向组合关系;以神经网络语言模型为代表的工作,则利用单词周围单词作为上下文,建模了单词间的纵向聚合关系.此外,本文还总结了单词分布式表示目前面临的主要挑战,包括多义词的表示、稀缺单词表示学习、细粒度语义建模、单词表示的解释性以及单词表示的评价,并介绍了最新的已有解决方案.最后,本文展望了单词表示未来的发展方向与前景。

基于形式化单子的第三方构件安全性测试模型及其应用1626-1639

摘要：因第三方构件通常由不同的组织开发完成,相应的需求开发文档及源代码无法获取,传统的软件安全测试方法无法应用.通过分析构件接口信息,借鉴软件数据挖掘技术可以获取构件相应的接口方法运行序列及需求规约等信息,进而也能对测试日志信息进行分析和处理.针对第三方构件安全性难以测试的问题,本文提出了一种采用数据挖掘技术的测试模型及其测试框架.提出的方法首先形式化定义了测试模型的基本元素,然后基于此模型设计了一个测试框架,并采用单子技术对测试流程和数据挖掘算法进行了形式化描述.为了实现该测试框架,论文实现了数据挖掘相关算法并研发了一个测试第三方构件安全性的测试系统(Component Security Testing Systembasedon Data Mining,CSTS-DM),最后对测试模型及CSTS-DM进行了案例分析及实验验证,并通过对商业构件和模拟构件的分析测试,验证了CSTS-DM原型测试系统的效果和效率,也分析了提出的测试框架及测试模型的有效性及可行性。

极限学习机前沿进展与趋势1640-1670

摘要：极限学习机(Extreme Learning Machine,ELM)作为前馈神经网络学习中一种全新的训练框架,在行为识别、情感识别和故障诊断等方面被广泛应用,引起了各个领域的高度关注和深入研究.ELM最初是针对单隐层前馈神经网络的学习速度而提出的,之后又被众多学者扩展到多隐层前馈神经网络中.该算法的核心思想是随机选取网络的输入权值和隐层偏置,在训练过程中保持不变,仅需要优化隐层神经元个数.网络的输出权值则是通过最小化平方损失函数,来求解Moore - Penrose广义逆运算得到最小范数最小二乘解.相比于其它传统的基于梯度的前馈神经网络学习算法,ELM具有实现简单,学习速度极快和人为干预较少等显著优势,已成为当前人工智能领域最热门的研究方向之一.ELM的学习理论表明,当隐层神经元的学习参数独立于训练样本随机生成,只要前馈神经网络的激活函数是非线性分段连续的,就可以逼近任意连续目标函数或分类任务中的任何复杂决策边界.近年来,随机神经元也逐步在越来越多的深度学习中使用,而ELM可以为其提供使用的理论基础.本文首先概述了ELM的发展历程,接着详细阐述了ELM的工作原理.然后对ELM理论和应用的最新研究进展进行了归纳总结,着重讨论并分析了自ELM提出以来的主要学习算法和模型,包括提出的原因、核心思想、求解方法、各自的优缺点以及相关问题.最后,针对当前的研究现状,指出了ELM存在的争议、问题和挑战,并对未来的研究方向和发展趋势进行了展望。