复旦大学邱锡鹏教授应邀莅临银河官网开展学术讲座

11月25日晚，复旦大学科学技术学院博士生导师邱锡鹏教授为银河官网师生带来题为“自然语言处理中的自注意力模型”的学术讲座。银河官网党总支书记林天飞、院长曾碧卿、副院长余松森、青年教师梁军、刘帅及本院全体研究生参加讲座。讲座由院长曾碧卿教授主持。

    讲座伊始，邱锡鹏教授指出近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，并且自注意力模型（比如Transformer）在自然语言处理领域取得了广泛的成功。随后开始介绍当前主流的自注意力模型方面的一些工作，主要覆盖两部分内容： 1）Transformer及其改进模型：通过分析Transformer的基本原理和优缺点，提出一些改进模型Star-Transformer、Multi-Scale Transformer、BP-Transformer等。2）Transformer模型的应用：将Transformer模型应用在文本分类、实体名识别等自然语言任务上，并通过针对性的改进来进一步提高性能。最后，对Transformer模型及其未来发展趋势进行展望。

讲座结束，邱锡鹏教授的报告引起了与会师生的思考，问答环节就数据集语句分析与处理问题、NLP语句歧义、语义分析等多方面的问题进行了深入和热烈的讨论，余森松副院长与邱锡鹏教授在学业提升方面进行亲切问答交流。

讲座结束后，曾碧卿院长代表全体师生向邱锡鹏教授表示诚挚的感谢，并邀请邱锡鹏教授与同学合影留念。

撰稿：蔡旭刚

审稿：邱双惠