主讲人：熊德意

时间：2024年5月11日

地点：河北国山宾馆会议室

主讲人简介：

熊德意，天津大学智能与计算学部教授、博士生导师，自然语言处理实验室负责人，天津市“一带一路”联合实验室语言智能与技术中外联合研究中心主任。主要研究方向为自然语言处理，特别专注于大语言模型、机器翻译、AI对齐、常识推理、认知计算等方向的研究。在IEEE TPAMI、AI、AAAI、ACL等国际著名期刊和会议上发表论文150余篇，出版中英文专著各一部，受理/授权发明专利30余项，参与编制大模型相关标准多项。获得国家重点研发计划“政府间国际科技创新合作”重点专项、英国皇家学会牛顿高级学者基金、工信部人工智能产业创新任务揭榜挂帅、云南省科技厅重点研发计划等20余项项目资助。获得北京市科学技术奖二等奖、中文信息学会中文信息处理科学技术奖青年创新奖一等奖等奖项。担任IALP 2012&2021程序委员会共同主席，CWMT 2017程序委员会共同主席，NeurIPS、ACL、EMNLP、NAACL、COLING、AACL等多个知名国际会议的（高级）领域主席、赞助主席、演示主席等，TACL及CL执行主编，ACM TALLIP副主编，Data in Brief栏目主编等。领导研制了仁文伏羲大模型及OpenEval大模型开放评测平台。

内容摘要：

大模型评测值守大模型落地最后一公里。是度量大模型能力边界、洞察大模型潜在问题的重要技术工具。目前国际上已广泛开展基于评测的大模型安全治理技术研究。本报告将对大模型黑盒与白盒评测方法、实践及前沿技术进行探讨，概述大模型主要的黑盒评测类型，包括基准测试、红队测试和竞赛测试，分析其优缺点，介绍前沿模型安全评测的相关探索工作。同时探讨中文大模型评测实践及发现，包括中文大模型评测基准、评测平台、评测体系和评测标准等。