NLP

我们提出了单步树状思维框架，把多步推理压缩到一个结构化提示中，再通过知识蒸馏将大语言模型的推理能力迁移给参数量更小的模型。在 24 点任务中，这一方法显著提高了小模型的推理表现，实验结果超过 GPT-4o 和 GPT-4。

和 GitHub Copilot 等直接补全代码的工具不同，GenHint 会生成带有 TODO 注释的代码骨架，并解释每个子问题。它使用托管于 Groq 的 Llama 3 70B，现已发布为 VS Code 扩展。