报告题目：大语言模型的发展与评测

报告摘要：自然语言处理是人工智能领域中的一项重大挑战，自然语言建模算法在过去的二十年中得到了广泛的研究，并从统计语言模型逐步发展为神经语言模型。近年来，通过在大规模语料库上对Transformer模型进行预训练，研究者们提出了预训练语言模型，其在解决各种自然语言处理任务方面表现出了强大的能力。研究者们进而发现扩展预训练模型规模可以提高模型能力，因此他们通过将模型参数增加到更大的尺寸来提高模型的能力。研究者们发现，当模型参数超过一定规模时，模型能够表现出一些小规模模型（例如BERT）所不具备的特殊能力（例如知识涌现能力）。这些包含数百亿甚至上千亿参数的语言模型被称为大语言模型。进入2023年，大语言模型在学术界和工业界的热度日益升高。随着大语言模型在研究和日常生活中继续发挥重要作用，对它们的评估也变得越来越重要。通过全方位的对大语言模型进行评估，研究者们能够更好地理解它们的潜在风险以及改进方向。本报告将从三个维度对大模型的评估进行梳理，即评估任务，评估场景，以及评估方法。通过本报告，希望让同学们对大语言模型及其评估有一个全面的认识。

报告人简介：邬渊，澳门官方十大网投平台(中国)有限公司助理教授。他于2022年博士毕业于加拿大卡尔顿大学。他的研究方向为迁移学习、大语言模型的评测、以及可信大语言模型。在AAAI，ECCV，ICASSP，AISTATS等重要国际会议上发表文章5篇。同时，他也是AAAI，EMNLP，IEEE transactions on cybernetics等国际知名会议和期刊的审稿人。

报告时间：2023年10月12日 星期四 下午1：30 - 3：00

报告地点：前卫校区-逸夫楼-第七阶梯