在当今人工智能迅猛发展的时代，利用大型语言模型（LLM）进行游戏对决正成为一个新的热门趋势。最近，由港大、剑桥和北大的研究人员联合发布的GameBoT项目为这一流行现象带来了新的评估标准，成功地将17款顶尖的AI大模型与8款经典棋牌游戏进行了竞技比拼，吸引了大量关注。
GameBoT团队通过量子位公众号QbitAI的投稿，展现了AI如何在棋牌游戏中运用推理能力进行竞争。最近一位国外知名博主在YouTube平台上发布的一段视频中，展示了DeepSeek与ChatGPT在国际象棋对局中的精彩斗争，迅速获得了百万点赞和观看。这不仅让人们对AI更深一步的思考，更衍生出了新的评测基准——SnakeBench，专对于贪吃蛇游戏进行性能测试。
GameBoT项目的推出，旨在为大型模型提供更全面和客观的评测标准。不同于传统的基准测试，GameBoT不仅仅依靠最终的比赛输赢来进行评分，还深入挖掘了每个决策过程中间的思考过程。这种评估方式能很好地避免模型受训期间碰到具体测试实例所引发的性能虚高现象，因此更具可信度。
在使用LLM进行传统评测时，面临着两个主要挑战：一是性能饱和，很多模型在这类基准测试上的分数几乎达到了极限；二是数据污染，即模型有可能是在训练过程中无意中记住了结果而非掌握处理问题的能力。通过棋牌游戏来测试大型模型，正好巧妙地绕过了这一问题。
在GameBoT的设计中，每个游戏的决策过程被拆解为多个逻辑关键的子问题，通过这样的方式，模型必须在完成每个子问题的解答后才能得出最终决策。这一设计确保了评测的细粒度和可解释性，从而能帮助研究人员进一步探索各个模型的优劣。
接下来，GameBoT的评测涵盖了包括Surround、Pong、TicTacToe、Connect4、Othello等八款经典棋类游戏。为保证评测的公平性和科学性，研究者设计了详细的游戏规则、输入规范和输出要求，以确保AI在策略理解、问题分解以及策略应用上的能力得以全面体现。
特别值得一提的是，Surround游戏中，玩家要通过控制方向围住对手，而在TicTacToe井字棋中，先连成三子的一方便可获胜。这为AI的决策提供了良好的测试框架，也让其面临更具挑战性的任务。
在GameBoT的赛事中，17款AI模型在8款游戏中进行了密切对抗，最引人注目的对决莫过于O3-mini与DeepSeek R1之间的激烈较量。尽管DeepSeek在ChatbotArena榜单上名声显赫，但在GameBoT的排名中却屈居于O3-mini之下，意外发现其思考过程频繁杂乱，未能稳定输出清晰的中间步骤。
O3-mini凭借其极致的推理能力和卓越的中间步骤得分，最终从中脱颖而出，一举夺得此次比赛的桂冠。评测多个方面数据显示，O3-mini的中间步骤评分达到了0.873，远超DeepSeek的0.176，显示出其在游戏推理能力方面的明显优势。
而在评测中，DeepSeek虽然在决策上的表现尚可，但在中间过程中的思考却显得过于繁琐，时常呈现出长时间“等待”的现象，虽然最终能给出正确答案，却始终没法达到O3-mini的简洁和明晰。
综上所述，GameBoT不仅为AI大模型的评测提供了崭新的思路，也为智能竞技的发展开辟了新的方向。这样的较量让人期待未来AI在各领域的表现，也许下一个能够颠覆我们认知的智能技术，会在这一过程中悄然诞生。返回搜狐，查看更加多