小米
agent后训练算法实习生-2027届
agent后训练算法实习生-2027届
发布于 1 小时前实习/见习
实习生仅现场办公人工智能
人工智能
Deepspeed
Dpo
Llm
Pytorch
Rlhf
Sft
分布式训练
强化学习
值不值得投
78综合评分
综合评分 78
顶级平台的前沿AI实习，技术成长天花板极高，但挑战大且对WLB期待需适度管理。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
7千
比人工智能中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3310 个在招 · 其中人工智能 21 个
市场机会
选择面较广
北京 · 人工智能 · 约 610 个在招
职位详情
关于这个职位
这是一个面向2027届学生的算法实习生岗位，专注于大语言模型Agent的后训练算法研发
你将负责从数据构建、偏好对齐、强化学习训练到效果评测的全流程工作，旨在提升Agent在工具调用、复杂推理和长程规划等核心能力，并跟进与创新最前沿的Agent训练技术
最低要求
基本要求
计算机、人工智能、数学、统计等相关专业在读硕士/博士（优秀本科生亦可）
扎实的机器学习与深度学习基础，深入理解 Transformer 架构与 LLM 训练/推理原理
熟悉强化学习基础算法（PPO、DQN、Policy Gradient、Actor-Critic 等），了解 LLM 对齐算法（RLHF、DPO、GRPO、KTO 等）的原理与实现细节
熟练使用 Python 与 PyTorch，有实际的大模型训练/微调经验（SFT、LoRA、RLHF 任一）
了解分布式训练相关技术（数据并行、张量并行、流水线并行、ZeRO 等），具备多卡/多机训练实操经验
数学功底扎实，能独立推导优化目标、分析 loss 设计与梯度行为
工作职责
Agent 后训练全流程建设： 负责基于大语言模型的通用 Agent 的后训练（Post-training）工作，覆盖 SFT、偏好对齐（DPO/ORPO/KTO 等）、RLHF/RLAIF、RLVR 等阶段，针对 Tool-use、多轮规划、长程推理、错误恢复等核心能力进行定向训练
Agentic SFT 数据工程： 构建高质量 Agent 轨迹数据生产线，包括真实交互轨迹采集、模型自博弈（Self-play）生成、轨迹筛选与清洗、拒绝采样（Rejection Sampling）、多样性增强等策略，持续迭代数据配方与课程学习方案
Preference & Reward Modeling： 训练面向 Agent 行为的 Reward Model / Preference Model，覆盖任务完成率、工具调用正确性、推理链质量、步骤效率、安全性等多维信号
探索 Process Reward Model（PRM）对中间推理/动作步骤的细粒度建模
RL for Agent： 研究并落地适合 Agent 场景的强化学习算法，解决长 horizon 信用分配、稀疏奖励、工具环境交互不稳定、离线-在线 RL 融合等关键问题
在代码执行、浏览器操作、API 调用等交互式环境中训练 agent 策略
多轮交互与记忆能力训练： 针对 Agent 的多轮对话记忆、长上下文工具使用、从反馈中学习（online adaptation）等能力，设计专项训练任务与对齐方案
训练 Infrastructure 优化： 基于 DeepSpeed / Megatron / vLLM / SGLang / veRL 等框架，优化大规模分布式后训练 pipeline 的稳定性、吞吐效率和显存利用率，支撑百亿到千亿参数模型的训推一体迭代
评测与归因： 建立系统化的 Agent 能力评测基准（覆盖工具使用、规划、推理、鲁棒性、安全性等维度），结合自动评测与人工评估对训练效果进行量化分析，badcase 归因后驱动下一轮数据与训练策略迭代
前沿复现与创新： 跟踪并复现 Agent 后训练方向的最新工作（如 OpenAI o-series、DeepSeek-R1、Tool-integrated Reasoning、Agent Q*、Reinforced Fine-tuning 等），结合业务场景提出创新方案并落地验证
AI 洞察
优缺点分析
优点
- 处于人工智能最前沿的Agent与LLM对齐方向，技术含量高，能接触到行业顶尖的技术实践
- 小米作为科技巨头，能提供大规模数据和算力资源，项目极具业务价值
- 实习即可参与从理论研究到工程落地的全流程，技术成长速度快
- 学习曲线陡峭，要求同时具备深厚的理论知识（机器学习、强化学习、数学）和强大的工程实践能力
- 作为实习生，需要在有限时间内理解复杂系统并产出有效成果，对自驱力和抗压能力要求高
- 适合计算机、人工智能等相关专业，对大语言模型训练和强化学习有浓厚兴趣，且具备扎实数学与编程基础的在读硕士或博士
缺点 / 挑战
- 技术方向快速演进，需要持续学习最新论文并跟进实现，知识更新压力大
- 希望深入钻研AI前沿技术，并乐于接受高强度技术挑战的候选人
角色解读
- 从实习起步，深入掌握Agent与LLM对齐的前沿技术，成为该领域的算法专家
- 成长路径可通向高级算法研究员、技术专家，负责更核心的AI模型架构与训练策略设计
- 在特定行业（如智能助手、自动化办公）积累经验后，可转向AI应用的产品或解决方案方向
- 负责为大语言模型Agent进行后训练，包括设计SFT数据、进行偏好对齐（如DPO）和强化学习（如RLHF）
- 构建和优化用于Agent训练的高质量数据流水线，例如通过模型自博弈生成轨迹数据
- 研究并落地解决Agent在复杂交互环境中的训练难题，如长程规划和工具使用
- 建立评测基准，分析模型在工具调用、推理等维度的表现，并指导后续迭代
- 必须具备扎实的机器学习、深度学习基础，深入理解Transformer和LLM训练原理
- 需要熟悉强化学习算法及LLM对齐技术（如PPO, DPO），并有实际的大模型微调经验
- 要求熟练掌握Python和PyTorch框架，并有处理大规模分布式训练（如DeepSpeed）的实操能力
- 需要较强的数学功底，能够独立推导优化目标和分析训练过程中的数学问题
申请策略
- 仔细研究小米在大模型和智能助手方面的公开技术成果和产品（如小爱同学），在面试中展示你对业务的理解和兴趣
- 准备好阐述你对Agent后训练中某个具体技术挑战（如稀疏奖励、长程规划）的思考或尝试
- 重点突出与LLM微调、强化学习（RLHF/DPO）、分布式训练（如DeepSpeed）相关的项目或研究经验
- 列出熟练掌握的技术栈：Python, PyTorch，以及任何相关的大模型训练框架或工具
- 强调数学建模或算法竞赛经历，以证明扎实的理论功底和问题解决能力
- 如有论文发表或开源项目（尤其与NLP、RL相关），务必在简历中显著展示
- 系统复习强化学习核心算法（PPO、DQN等）和LLM对齐技术（DPO、RLHF）的原理与实现
- 动手实践使用DeepSpeed或Megatron等框架进行小规模模型的分布式训练
面试指南
- 对于原理性问题：先阐述核心思想与公式，再结合Agent场景说明其应用价值与局限
- 对于方案设计问题：从数据构造、模型选择、奖励设计、训练策略、评测反馈等环节系统性阐述
- 对于个人经验问题：使用STAR法则（情境、任务、行动、结果），重点描述技术决策和收获
- 请解释一下RLHF的流程，以及DPO相比传统RLHF有什么优势？
- 在Agent训练中，如何解决长序列（长horizon）下的信用分配问题？
- 如何设计一个有效的Agent评测基准来评估其工具使用和规划能力？
- 你了解哪些大规模模型训练的并行策略？请简述数据并行和张量并行的区别
- 如果给你一个让Agent学习调用API完成任务的场景，你会如何设计其训练数据和奖励函数？
职位点评
薪资福利70
成长发展95
工作生活55
使命价值85
薪资福利
70中等
作为顶级科技公司的实习岗位，实习生津贴具有市场竞争力，能满足基本生活需求。但作为实习岗位，其绝对薪资水平和长期福利稳定性相比正式岗位有限。
薪资信号市场水准 (5–8千/月)
成长发展
95较高
该职位聚焦于大模型Agent后训练这一AI最前沿方向，涉及RLHF、强化学习等核心技能，能提供顶尖的技术深度和广阔的成长空间。
技术前沿前沿/新兴技术
技术栈Agent、LLM、RLHF、DPO、SFT、DeepSpeed、PyTorch、强化学习、分布式训练
成长机会前沿复现与创新
业务类型ambiguous
工作生活
55较低
工作地点在北京，属于线下办公。JD未明确提及工作模式和WLB信号，考虑到岗位的技术前沿性和挑战性，实际工作强度可能不低。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
参与开发下一代智能Agent的核心训练技术，具有很高的行业影响力和创新价值，能带来强烈的成就感。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs