今天是 Google 刷屏的一天，他们宣布推出了全新的 PALM2 模型。这个新模型相比前代 PALM，拥有更少的模型参数，但是效果反而更好。在代码能力方面和 GPT4 仍存在巨大差距，不过它在数学能力方面比起 GPT4 相差无几，还特别提升了推理能力。以下是详细内容：
PALM2 的模型参数比前代少，但是效果更好
在训练 PALM2 模型的过程中，其实力非常科学炼丹。相比前代 PALM，模型参数更少，但是效果反而远超前代。这令人不禁发问，到底是怎样做到的呢？或许 Google 的科学家们已经找到了神奇的“科学方式”，能让少存储的参数取得更好的表现。
PALM2 的推理能力和数学能力比 GPT4 更加先进
虽然在代码能力方面差距巨大，但是 PALM2 在推理能力和数学能力方面则比 GPT4 先进一点，Flan 版本的数学能力则超过了 GPT4 一点点。这不禁让我们好奇，PALM2 的推理和数学能力领先于 GPT4 的代价是否与模型参数少有关呢？
轻量级 PALM2 模型够用
PALM2 出现让我们高看了一眼，但是我们是否会因此被便携设备上运行时的限制阻碍呢？谷歌的工程师完成了惊人的技术，使得 PLAM 最小的版本可以在手机上运行，每秒推理速度可达 20 token，这也意味着 PALM2 的轻量级模型完全可以运行于排行榜的之上。
预训练时就加入多语言、代码、数学，双语数据
PALM2 模型在预训练阶段就加入了多语言、代码、数学、双语数据，与之前英语为主不同。值得注意的是，多语言效果更好，同时英语也并未下降。
这篇技术报告非常详细，有兴趣的同学们可以前往以下地址查看：https://ai.google/static/documents/palm2techreport.pdf。
补充几条
除了以上提到的内容外，还有以下几点需要补充：
- 效果最好的模型是参数和训练量匹配的那个。
- 在训练时，模型参数和数据集在 scale 时，以1:1的比例而不是3:1的比例是最佳的，或者说已经足够好。
- 注意，代码能力只是测试了 PALM2 的 s 版本，其他版本尚未为代码优化。最小号版本并未跑赢优化过的 starcode。
总的来说，PALM2 模型推出了，虽然代码能力上与 GPT4 相比差距还较大，但是在推理能力和数学能力方面已经领先了 GPT4 一定程度，让我们对未来充满想像力，也期待今后 PALM2 能够越来越好。