Artificial Analysis 公布苹果 iPhone 17 Pro 跑 8GB 以内本地 AI 性能排名

8 月 26 日消息，Artificial Analysis 于 8 月 24 日发布博文，宣布携手 Liquid AI，发布面向手机端的 AI 跑分基准，重点关注 AI 模型在苹果 上的表现。

其中 Artificial Analysis 负责智能水平测试系统，Liquid AI 负责推理性能测试系统，双方选用 5 项基准测试：

• BFCL（Berkeley 函数调用排行榜）

• IFBench（指令遵循测试）

• AA-Omniscience（知识与认知相关测试）

• GPQA Diamond（高难度问答测试）

• MATH-500（数学问题测试）。

测试模型对象为 4 bit 量化后体积不超过 8GB 的模型，示例包括 Gemma 4 E2B 和 LFM2-2.6B-Exp。

当上下文长度限制为 16K tokens 后，平均基准测试得分最高的是 Nanbeige4.2-3B 和 LFM2.5-2.6B。当响应时间限制为最长 1 分钟时，LFM2.5-8B-A1B 排名第 1，随后是 LFM2-2.6B-Exp、Gemma 4 E4B（Non-reasoning）和 Granite 4.1 8B。

Nanbeige4.2-3B 是 BOSS 直聘旗下的南北阁实验室推出，仅含 30 亿非嵌入参数（总参数约 40 亿），采用 Looped Transformer 架构，通过在不增加参数量的前提下复用 Transformer 层（循环两遍），提高模型的有效计算深度和容量。

附上相关截图如下：