阿里巴巴
Token Foundry-大模型评估系统算法工程师-Qwen
Token Foundry-大模型评估系统算法工程师-Qwen
发布于 大约 9 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Llm Evaluation
Llm-As-A-Judge
Post-Training
Pytorch
Reward Model
Rl
Sft
数据合成
值不值得投
80综合评分
综合评分 80
前沿技术、高薪、大平台，但工作强度可能较大，WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
55K
与算法优化工程师中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1680 个在招 · 其中算法优化工程师 55 个
市场机会
选择面较广
杭州 · 算法优化工程师 · 51 个在招
职位详情
关于这个职位
该职位专注于大模型评估系统的算法研发，包括评测数据集构建、LLM-as-a-Judge方案、Reward Model训练以及RL优化，旨在提升模型能力上限
你将参与前沿技术研究，与顶尖团队合作，推动大模型评估与对齐技术的发展
适合对LLM评估和强化学习有深入理解、具备扎实工程能力的算法专家
最低要求
学历与计算机、机器学习等方向相关，博士及硕士优先
了解 LLM Evaluation（评测方案与评测数据构建）或具有 Post-training（SFT、RL等）训练和数据合成经验
精通 Python 以及 Pytorch 等深度学习框架
熟悉 Transformer 架构以及大语言模型基础知识
工作职责
挖掘大模型弱点，持续快速构建覆盖各项模型能力的评测数据集，探索可靠、具有可扩展性的评测方案
参与 LLM-as-a-Judge 方案构建，训练 LLM Judge / Reward Model，建模人类偏好并提升长尾任务的评价准确性
参与 Reward System 构建，设计 Reward Signal、合成对应数据，并通过 RL提升模型的能力上限
参与开发 Evaluation、Reward System 所需工程框架，简化各类测试任务和模型集成流程，帮助提高团队效率
优先资格
具有较强的代码工程能力
曾发表顶级会议论文并具有一定的学术影响力，包括但不限于 NeurIPS、ICLR、ICML、ACL等
拥有知名开源项目，在开源社区具有较好的影响力
AI 洞察
优缺点分析
优点
- 大模型评估与对齐是当前AI领域的热点，技术前沿，发展空间大
- 阿里巴巴平台资源丰富，数据、算力、场景优势明显
- 团队专业，有机会与顶尖人才合作，快速提升技术能力
- 薪资待遇优厚，福利完善
- 技术难度高，需要深厚的机器学习和强化学习背景
- 工作强度可能较大，需要应对快速迭代的研究节奏
- 竞争激烈，需要持续学习，保持技术领先
缺点 / 挑战
- 适合对LLM评估、对齐和强化学习有浓厚兴趣，具备扎实算法功底和工程能力，追求技术挑战的求职者
角色解读
- 从算法工程师成长为技术专家，深入大模型评估与对齐领域
- 有机会参与顶级会议论文发表，提升学术影响力
- 可向技术管理方向发展，带领团队构建评测体系
- 构建和迭代大模型评测数据集，挖掘模型弱点，设计评测方案
- 训练和优化 LLM Judge 和 Reward Model，建模人类偏好
- 参与 Reward System 设计，通过 RL 提升模型能力
- 开发评测和奖励系统的工程框架，提高团队效率
- 精通 Python 和 PyTorch，具备扎实的深度学习基础
- 熟悉 Transformer 架构和 LLM 基础知识
- 了解 LLM Evaluation 或 Post-training 经验
- 具备良好的代码工程能力和团队协作能力
申请策略
- 了解阿里巴巴大模型相关业务和团队方向
- 准备项目案例，展示解决复杂问题的能力
- 突出LLM评估、Reward Model、RL相关项目经验
- 强调Python和PyTorch的熟练程度，展示代码能力
- 如有顶级会议论文或开源项目，务必突出
- 展示对Transformer架构和LLM的深入理解
- 补充强化学习相关知识，如PPO、DPO等
- 熟悉主流评测基准和评估方法
面试指南
- 结合具体项目经验，用STAR法则回答
- 展示对技术原理的深入理解，并联系实际应用
- 强调数据、模型、工程三方面的综合考虑
- 如何设计一个评测数据集来评估大模型的推理能力？
- LLM-as-a-Judge 的优缺点是什么？如何提升其准确性？
- 训练 Reward Model 时如何处理人类偏好不一致的问题？
- 如何通过 RL 优化模型能力？请描述一个具体场景
- 请介绍一个你参与过的 LLM 评估或对齐项目
职位点评
薪资福利85
成长发展95
工作生活50
使命价值80
薪资福利
85较高
阿里巴巴提供有竞争力的薪资和福利，但具体薪资未在JD中披露，需面议。
薪资信号面议 (40K-70K/月)
成长发展
95较高
该职位处于大模型评估与对齐前沿，技术挑战大，成长空间广阔，且团队鼓励学术发表和开源贡献。
技术前沿前沿/新兴技术
技术栈LLM Evaluation、LLM-as-a-Judge、Reward Model、RL、Python、PyTorch、Transformer
成长机会顶级会议论文、开源项目
业务类型profit_center
工作生活
50较低
工作地点在北京/杭州/上海，需现场办公，未提及弹性工作或远程，工作强度可能较高。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
大模型评估与对齐对AI安全和发展有重要意义，行业前景广阔，但JD未明确提及社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs