中国科学院自动化研究所   设为首页   加入收藏  联系我们
 
English
网站首页     实验室概况     研究队伍     组织机构     学术交流     科研成果     人才培养     开放课题     创新文化     资源共享     联系我们
    学术交流

谷歌大脑Jakob Uszkoreit访问模式识别国家重点实验室并作学术报告

2月12日,谷歌大脑Jakob Uszkoreit到访模式识别国家重点实验室,并作题为“Learning Representations With (Self-)Attention”的主题学术报告。报告由模式识别国家重点实验室的宗成庆研究员主持。
  Jakob围绕自注意力机制在表征学习中的应用这一主题,简单叙述了在序列学习中循环神经网络并行计算、长距离依赖等缺陷,针对于这些缺陷,基于自注意力机制的序列学习应用而生。Jakob对自注意力机制也进行详细的介绍,并于循环神经网络和卷积神经网络的训练复杂度进行了对比,展现了自注意力机制的优越性。报告对Google Brain团队开发的学习框架Transformer向听众进行了详尽的解释,并将模型训练的细节进行了细致入微的解读。该模型在机器翻译任务上取得了当前最好的效果,在英德翻译任务上高出了之前最好的集成模型2个点以上。Jakob表示,基于自注意力机制的Transformer框架还可以应用到文本生成,图片生成等一些列任务中,Google Brain团队对于这些任务也进行了相关的对比实验,也取得了相当好的效果。最后,报告对于下一步的工作进行归纳,主要包括并行解码和不同分辨率的解析问题,也对他们团队开发的开源工具包Tensor2Tensor进行了简要的说明。
  报告加深了大家对自注意力机制概念的理解,对于后续在表征学习中继续开展研究工作提供借鉴和启发。此后,大家就知识融合技术,词向量选择以及Google Brain团队的沟通协作问题与Jakob进行了充分的交流。

友情链接
 
中科院自动化研究所 模式识别国家重点实验室 事业单位  京ICP备14019135号-3
NLPR, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES