OpenMath-Nemotron – 英伟达开源的数学推理系列模型-爱论文

OpenMath-Nemotron是什么

OpenMath-Nemotron是英伟达推出的系列开源数学推理模型，专门用在解决复杂数学问题，包括奥林匹克级别的难题。模型基于大规模数据集OpenMathReasoning进行训练，包含54万个独特问题及320万个长推理解决方案。OpenMath-Nemotron系列包含，OpenMath-Nemotron-1.5B、OpenMath-Nemotron-7B、OpenMath-Nemotron-14B和OpenMath-Nemotron-32B，OpenMath-Nemotron-14B-Kaggle (AIMO-2竞赛中使用的模型)。其中，1.5B版本在某些任务中超越14B的DeepSeek-R1模型。

OpenMath-Nemotron的主要功能

解决复杂数学问题：支持处理从基础到奥林匹克级别的数学难题。长推理能力：基于逐步思考生成详细的解题步骤。多模式推理：支持多种推理方式，适应不同类型的数学问题。

OpenMath-Nemotron的技术原理

大规模数据集：使用包含54万个独特数学问题及320万个长推理解决方案的大规模数据集OpenMathReasoning进行训练。数据来自Art of Problem Solving（AoPS）社区论坛，经过严格的筛选和处理。长推理（Chain-of-Thought, CoT）：模型基于生成一系列中间解题步骤逐步推理问题的解决方案。支持模型在生成最终答案之前进行更深入的思考。工具集成推理（Tool-Integrated Reasoning, TIR）：基于迭代训练、生成和质量过滤，将代码执行与长推理集成。模型在需要时提示代码进行计算，在沙箱中执行代码，得到更准确的解决方案。模型训练与优化：用监督微调（SFT）技术对Qwen2.5-Base模型进行训练，支持多种任务，包括CoT解决方案生成、TIR解决方案生成和GenSelect。用AdamW优化器和余弦学习率衰减策略，结合序列打包和上下文并行化技术，显著加速长推理数据的训练。推理优化：基于TensorRT-LLM进行模型推理优化，支持动态批量处理和多种量化技术，如int8和FP8，提高推理速度减少延迟。

OpenMath-Nemotron的项目地址

GitHub仓库：https://github.com/NVIDIA/NeMo-SkillsHuggingFace模型库：https://huggingface.co/collections/nvidia/openmathreasoningarXiv技术论文：https://arxiv.org/pdf/2504.16891