随着大模型研究的深入，如何将其扩展到更多模态已成为学术界和工业界的热点话题。最近发布的GPT-4o、Claude 3.5等大型闭源模型已经具备了较强的图像理解能力，LLaVA-NeXT、MiniCPM、InternVL等开源领域模型也展现出了越来越接近闭源的性能。

在这个“一亩八万斤”、“十天一SoTA”的时代，易用、标准透明、可重复的多模态评估框架变得越来越重要，而这并不容易。

为了解决上述问题，南洋理工大学LMMs-Lab的研究人员联合开源了LMMs-Eval，这是一个专门为多模态大规模模型设计的评估框架，为多模态模型的评估提供了一种方法（LMM）。一站式、高效的解决方案。

代码仓库： https://github.com/EvolvingLMMs-Lab/lmms-eval 官方主页： https://lmms-lab.github.io/论文地址： https://arxiv.org/abs/2407.12772 列表地址：https://huggingface.co/spaces/lmms-lab/LiveBench LMMs-Eval 框架于2024 年3 月发布，得到了包括开源社区、公司和大学在内的多方的协作贡献。目前它在Github 上已经获得了1.1K Stars，贡献者超过30+，总共包括80 多个数据集和10 多个模型，并且还在持续增加。

标准化评估框架

为了提供标准化的评估平台，LMMs-Eval 包括以下功能：

统一接口： LMMs-Eval基于文本评估框架lm-evaluation-harness进行改进和扩展。通过定义模型、数据集和评价指标的统一接口，方便用户添加新的多模态模型和数据集。透明且可重复：LMMs-Eval 具有内置的统一日志记录工具。模型回答的每个问题及其正确与否都会被记录下来，确保可重复性和透明度。它还有助于比较不同模型的优缺点。 LMMs-Eval 的愿景是未来的多模态模型不再需要编写自己的数据处理、推理和提交代码。在当今多模态测试集高度集中的环境下，这种方法是不现实的，并且测得的分数很难与其他模型直接进行比较。通过访问LMMs-Eval，模型训练者可以更加专注于改进和优化模型本身，而不是将时间花在评估和对齐结果上。

评价的“不可能三角”

如下图所示，当他们将评估数据集扩展到超过50个时，对这些数据集进行综合评估变得非常耗时。此外，这些基准在训练期间也容易受到污染。为此，LMMs-Eval提出了LMMs-Eval-Lite，兼顾广覆盖和低成本。他们还设计了低成本且零数据泄漏的LiveBench。

LMMs-Eval-Lite: 广覆盖轻量化评估

在评估大型模型时，大量的参数和测试任务往往会急剧增加评估任务的时间和成本。因此，人们常常选择使用较小的数据集或者使用特定的数据集进行评估。然而，有限的评估往往会导致缺乏对模型功能的理解。为了兼顾评估的多样性和评估的成本，LMMs-Eval推出了LMMs-Eval-Lite

LMMs-Eval-Lite 旨在构建一个简化的基准测试集，以便在模型开发过程中提供有用且快速的信号，从而避免当今测试的膨胀问题。如果我们可以找到现有测试集的一个子集，其中模型之间的绝对分数和相对排名与完整集保持相似，那么我们可以认为修剪这些数据集是安全的。

为了找到数据集中的数据显着点，LMMs-Eval首先使用CLIP和BGE模型将多模态评估数据集转换为向量嵌入的形式，并使用k-贪婪聚类方法来寻找数据显着点点。在测试中，这些较小的数据集仍然表现出与完整数据集相似的评估能力。

随后，LMMs-Eval 使用相同的方法生成了涵盖更多数据集的Lite 版本。这些数据集旨在帮助人们在开发过程中节省评估成本，以快速判断模型性能。

LiveBench: LMM动态测试

传统基准侧重于使用固定问题和答案的静态评估。随着多模态研究的进展，开源模型在分数对比上往往优于商业模型，如GPT-4V，但在实际用户体验上却落后了。动态、用户导向的聊天机器人Arenas 和WildVision 在模型评估中越来越受欢迎，但它们需要收集数千个用户偏好，并且评估成本极其昂贵。