2024年11月20日下午,304永利集团官网入口邀请北京大学张铭教授作了题为“预训练语言模型研究及应用”的学术讲座。讲座由304永利集团官网入口马礼院长主持,304永利集团官网入口部分教师和学生共计80余人参加了此次讲座。
张铭教授是北京大学二级教授,博士生导师,CCF杰出教育奖获得者,教育部计算机课程教指委委员,ACM China常务理事,ACM/IEEE CC2020计算机学科规范执委。主要研究方向为机器学习、图神经网络、科学智能、计算机教育。主持科技部重点研发、国家自然科学基金等多个科研项目,合作发表科研学术论文300多篇,Google学术上的论文被引20000多篇次,H因子49。主持的“数据结构与算法”被评为国家级精品课程、国家级优质资源共享课、国家级精品在线开放课程、国家级一流本科课程。
预训练语言模型是目前最具前景的技术之一,极大地推动了相关技术和应用的发展。张铭教授讲解了自己团队的最新研究成果。一是,基于预训练语言模型的多任务数学问题求解框架Generate & Rank。通过在生成任务和排序任务上的联合训练,两个模块相互增强,提高了整体推理精度。二是,多种表达式库构建策略和在线更新策略,进一步提升了排序器的判别性能。三是,一个分子与文献混合预训练的语言模型。通过将SMILES分子式插入文本进行预训练,使模型能同时编码文献知识和分子的结构知识,实现两种模态信息的相互补充,在分子预测与生成任务上都表现突出。
讲座结束后,张铭教授详细回答了老师和同学们的提问,与大家进行了深入讨论。本次学术讲座内容丰富、生动有趣,有效开阔了师生的学术视野,激发了科技创新动力,有利于师生积极投入到人工智能领域的研究,不断推动相关技术的发展,并取得高水平成果。