产品介绍

FlagEval大模型评测平台是一个致力于建立科学、公正、开放的评测基准、方法和工具集的综合性平台。其主要目标是协助研究人员全方位评估基础模型及训练算法的性能，同时通过引入AI辅助主观评测，大幅提升评测的效率和客观性。

功能特点

• 多样化评测工具：FlagEval目前已推出语言大模型评测、多语言文图大模型评测及文图生成评测等工具，支持广泛的语言基础模型和跨模态基础模型的评测。未来将全面覆盖基础模型、预训练算法、微调/压缩算法等三大评测对象，涵盖自然语言处理、计算机视觉、音频及多模态等四大评测场景和丰富的下游任务。
• 评测领域和任务：平台提供四大评测领域，分别是大语言模型、多模态大模型、计算机视觉和语音语言大模型。每个领域下又细分出多样化的评测任务，确保能够全面评估模型的多维度性能。
• 大语言模型评测：主要评测大语言模型在信息分析、数学能力、代码能力、知识运用、推理能力、任务解决、指令遵循及安全与价值观等方面的表现。通过自建数据集和公开数据集的结合，提供全面的评测结果。
• 多模态大模型评测：关注模型在图文分类、图文匹配和图文生成等任务中的表现，包含视觉语言模型、文生图和文生视频等评测任务，确保模型在跨模态理解和生成能力上的有效性。
• 计算机视觉评测：支持Backbone基础模型的适配评测，涵盖深度估计、图像分类、图像检索、语义分割等多个任务，使用多个标准数据集进行评测，确保评测结果的权威性。
• 语音语言大模型评测：评估语音基础模型的能力，覆盖10类任务和17个数据集，构建了覆盖Speech LLMs能力的基本框架，提供丰富的评测指标和维度，确保对语音模型的全面评估。
• 合作与开源精神：FlagEval平台秉持“开源开放”的精神，欢迎各大模型研发团队、评测研究团体及产业应用企业共同探讨科学的评测方法，推动大模型技术的优化和产业应用的生态共享。