与依赖高等诳言语模子进行数据合成的处置决策不同，rStar-Math 使用较小的话语模子和蒙特卡洛树搜索来缔造自我进化进程，从而约略迭代生成质地更高的考研数据。

详细来说，rStar-Math 通过蒙特卡洛树搜索进行“深度想考（deep thinking）”，进而约略竣事数学推理。

蒙特卡洛树搜索，是一种通过“改造数学题的冉冉解题决策”来效法东说念主类深度想考的门径，它能将复杂的数学问题剖判为更苟简的单步生成任务，从而镌汰小话语模子完成数学推理的难度。

总的来说，rStar-Math 蕴含以下三方面鼎新：

最初，rStar-Math 使用一种新的代码增强想维链（CoT，Chain of Thought）数据合成门径。

通过本质凡俗的蒙特卡洛树搜索部署，约略使用自凝视的蒙特卡洛树搜索 Q 值，来生成冉冉考证的推理轨迹（注：Q 值是现象-动作值函数的一个推测，频繁用于决策）。

当模子在解答沿途数学题的时候，推理门径会在蒙特卡洛树搜索中被剖判为多个门径。在每一个门径里，行为战术模子的小话语模子王人会针对候选节点进行采样，每个节点王人会生成一步想维链（one-step CoT）和相应的 Python 代码。

为了确保生成质地，rStar-Math 只会保留那些到手本质 Python 代码的节点，从而减少中间门径中的缺点。此外，在大鸿沟的蒙特卡洛树搜索部署中，它会把柄每个中间门径的孝顺自动为其分拨 Q 值。

对于通向正确谜底孝顺更多的门径，将会被赋予更高的 Q 值，并会被打上质地更高的标签，这么一来就能确保小话语模子的推理轨迹均是由正确且高质地的中间门径构成。

其次，rStar-Math 使用一种将小话语模子行为进程偏好模子（PPM，process preference model）的新门径，即通过进程偏好模子来竣事进程奖励建模，从而约略可靠地揣测每个数学推理门径的奖励标签。

对于进程偏好模子来说，尽管它使用了无数的蒙特卡洛树搜索，但 Q 值仍然不够精准，因此无法针对每个推理门径进行评分。

不外 Q 值约略远离正确门径和缺点门径，从而约略竣事可靠的瑰丽，进而约略幸免平直使用 Q 值行为奖励标签，借此幸免传统门径在冉冉奖励分拨（stepwise reward assignment）中的噪声和不精准性。

再次，rStar-Math 使用一个四轮自我进化决策（four-round self-evolution），约略从零运转冉冉构建前沿战术模子（frontier policy model）和进程偏好模子。

照看东说念主员从公开开首整理了一个包含 74.7 万说念数学题的数据集。在每一轮中，他们王人使用最新的战术模子和进程偏好模子来本质蒙特卡洛树搜索，借此约略生成质地越来越高的考研数据，从而能不才一轮考研出更强的战术模子和进程偏好模子。

在进程偏好模子的匡助之下，使用蒙特卡洛树搜索约略生成更好的推理轨迹，并能提高考研数据的遮掩率，故能解答更难以至竞赛级别的数学题。