AI社区掀起用大模型玩游戏之风！

例如国外知名博主让DeepSeek和Chatgpt下国际象棋的视频在Youtube上就获得百万播放，ARC Prize组织最近也发布了一个贪吃蛇LLM评测基准SnakeBench。 29151915-2025-03-29T07:19:13.png

针对这一场景，来自港大、剑桥和北大的研究人员发布了一个更全面、客观可信的LLM评测基准：GameBoT。

让大模型在8个游戏中互相PK，评测各主流大模型的推理能力。游戏PK避免模型“背答案”；除了输赢之外，GameBoT还评估大模型输出的中间步骤，实现更细粒度和客观的测评。

29151929-2025-03-29T07:19:29.png

Prompt 设计

为确保公平评估大语言模型学习和应用游戏策略的能力，我们设计了非常详细的足以作为教程的游戏prompt。

包含三个结构化部分：<游戏规则>、<输入>和<输出>，其中 <游戏规则>部分提供完整的游戏规则说明，<输入>规范模型接收的输入格式，<输出>明确指定结构化输出要求。

在<输出>中包含了详细的Chain-of-Thought，提供了人类专家设计的游戏策略，指导LLM通过三步框架（策略理解→子问题分解→策略应用）解决复杂问题。教程级别的 prompt确保评估聚焦于模型基于新信息的推理能力（zero-shot 或one-shot），而非依赖预训练数据中的既有知识。 29151949-2025-03-29T07:19:49.png

评测游戏

  1. Surround 游戏中玩家通过控制方向在屏幕上移动，并试图围住对手。先撞上自己的轨迹、对手的轨迹或者墙壁的一方算输。

  2. Pong 乒乓 玩家通过控制球拍在屏幕上移动，并试图将球击回对手区域。先未能接到球的一方算输。

3.TicTacToe 井字棋 先连成三子的一方赢。

4.Connect4 四子棋 先连成四子的一方赢，每次只能从最底下开始落子。

  1. Othello 黑白棋夹住翻转对手的棋子以占据更多格子。游戏结束时，棋盘上棋子数量更多的一方获胜。

  2. Texas Hold’em 德州扑克 玩家根据自己的牌力下注，击败对手赢得底池。游戏结束时，牌型最强的一方获胜。 29152123-640.gif

  3. Checkers 跳棋 跳过对手的棋子完成吃子，被吃光的输掉。

  4. Negotiation v2 玩家协商物品的分配，来尽可能获得更多价值。游戏在8轮后每轮有20%的概率结束，若游戏结束前未达成协议，双方均得0分。

Leaderboard

Model Rank Average Score Othello Pong Surround Checkers TicTacToe Connect4 Texas hold'em Negotiation v2
gpt-4o-2024-05-13 1 0.470 0.395 0.685 0.525 0.270 0.475 0.315 0.675 0.395
claude-3-5-sonnet@20240620 2 0.390 0.280 0.545 0.620 0.050 0.395 0.220 0.535 0.475
gpt-4-2024-03-16 3 0.355 0.135 0.475 0.545 0.090 0.405 0.275 0.510 0.380
llama-3.1-405b-instruct 4 0.305 0.215 0.640 0.520 0.000 0.325 0.260 0.245 0.255
llama-3.1-70b-instruct 5 0.250 0.135 0.575 0.300 0.050 0.495 0.175 0.120 0.130
gpt-4o-mini-2024-07-18 6 0.205 -0.175 0.430 0.335 -0.015 0.170 -0.045 0.395 0.495
gemini-1.5-pro-preview-0514 7 0.195 0.195 0.585 -0.060 0.200 0.065 -0.045 0.385 0.185
claude-3-sonnet@20240229 8 0.155 0.100 0.645 -0.140 0.010 0.165 0.140 0.305 0.010
gemini-1.5-flash-preview-0514 9 0.125 -0.060 0.465 0.465 0.070 -0.120 0.045 0.015 0.115
jamba-1.5-large 10 0.090 0.070 0.165 0.035 0.115 0.085 0.020 0.095 0.120
claude-3-haiku@20240412 11 0.020 0.080 0.240 0.055 -0.180 -0.050 -0.170 0.155 0.025
reka-core-20240415 12 0.005 -0.045 0.325 -0.200 -0.250 -0.045 0.135 0.140 -0.005
mistral-nemo-2407 13 0.000 0.085 0.195 -0.255 -0.025 -0.055 -0.105 0.240 -0.040
gemini-1.0-pro-002 14 -0.030 -0.010 0.115 -0.130 -0.250 -0.030 -0.195 0.250 -0.050
llama-3.1-8b-instruct 15 -0.045 0.010 0.240 -0.200 -0.250 0.025 -0.045 -0.065 -0.100
reka-flash-20240904 16 -0.080 -0.175 0.225 -0.170 -0.250 -0.115 -0.060 -0.070 -0.010
jamba-1.5-mini 17 -0.100 0.065 0.070 -0.145 -0.250 -0.115 -0.180 -0.140 -0.080

相关链接

论文: https://arxiv.org/abs/2412.13602 主页: https://visual-ai.github.io/gamebot/ 代码: https://github.com/Visual-AI/GAMEBoT