阿里巴巴
算法工程师-评估系统算法
算法工程师-评估系统算法
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Benchmark构建
Llm-As-Judge
Nlp
Pipeline开发
大模型评测
数据分析
机器学习
值不值得投
82综合评分
综合评分 82
顶尖大厂核心算法岗，前沿技术驱动，发展机会极佳，但需适应高强度工作节奏
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.5万
与算法优化工程师中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 4140 个在招 · 其中算法优化工程师 约 140 个
市场机会
选择面较广
杭州 · 算法优化工程师 · 约 160 个在招
职位详情
关于这个职位
负责构建大模型评估体系，通过自动化探测与深度分析挖掘模型在推理、安全等维度的弱点
需设计高质量评测数据集，探索LLM-as-Judge等前沿评测方法，并开发模块化评测工程框架，为模型迭代提供数据支撑与方向指引
最低要求
计算机、机器学习、人工智能、自然语言处理等相关专业，硕士及以上学历
具有大模型评测、Benchmark 构建、NLP 评测体系设计等相关方向的实践经验，对主流评测数据集的方法论与局限性有深入理解
精通 Python，具备扎实的工程能力，能够独立完成评测框架设计、数据处理、自动化评测 Pipeline 搭建等工作
具备优秀的分析思维与问题拆解能力，能够从评测结果中提炼深层洞察，将抽象的模型能力问题转化为可量化、可追踪的评测方案
对大模型能力边界有强烈的好奇心与敏锐的判断力，能够前瞻性地识别值得评测的新兴能力维度
工作职责
模型弱点挖掘与诊断：建立系统化的模型能力诊断框架，通过自动化探测与深度分析相结合的方式，持续挖掘模型在推理、创作、指令遵循、事实性、安全性等维度的弱点与盲区，输出可行动的优化建议，驱动训练策略的精准迭代
评测数据集构建：持续、快速地构建覆盖各项模型能力的高质量评测数据集，涵盖知识问答、逻辑推理、代码生成、多轮对话、多模态理解等核心场景
建立数据质量管控与版本管理机制，确保评测集的权威性、时效性与区分度
前沿评测方法探索：研究并落地可靠、可扩展的评测方案，包括 LLM-as-Judge、Process-level Evaluation、动态自适应评测、对抗性评测等，解决传统静态 Benchmark 的饱和、污染与泛化性不足等问题，构建面向下一代模型能力的评测范式
模型边界能力测试：以前瞻性视角构造模型边界能力测试集，探索模型在极端推理深度、超长上下文、复杂多步规划、跨模态协同等前沿场景下的能力极限，为模型能力演进提供方向性指引
评测工程框架开发：参与开发 Evaluation 所需的工程框架，设计模块化、可配置的评测 Pipeline，简化各类测试任务与模型集成流程，提升团队在评测执行、结果分析、报告生成等环节的整体效率
优先资格
在 LLM-as-Judge、自动化评测、动态 Benchmark 构建等方向有深入研究或实际落地经验，熟悉相关方法论的优势与陷阱（如位置偏差、自我偏好、评分校准等）
曾在 NeurIPS、ICLR、ICML、ACL、EMNLP 等顶级会议发表评测方法论、Benchmark 构建或模型分析相关论文
拥有知名评测相关开源项目贡献经历，在开源社区具有较好的影响力
AI 洞察
优缺点分析
优点
- 接触最前沿的大模型技术，拥有海量数据和算力资源支持，职业发展前景广阔
- 技术迭代极快，需要持续学习新理论
- 对AI底层原理有浓厚兴趣，具备较强科研能力和工程落地能力的硕士及以上毕业生
缺点 / 挑战
- 评测标准本身也在不断演变，工作挑战性大
角色解读
- 可向AI安全专家、大模型架构师或算法科学家方向发展，成为评估领域的权威专家
- 构建和维护大语言模型的自动化评估体系，确保模型输出的质量与安全
- 精通Python编程，深入理解NLP与大模型原理，掌握LLM-as-Judge等前沿评测方法论
申请策略
- 准备展示你对现有主流评测数据集局限性的深刻理解，并提出你的改进思路
- 突出大模型评测相关的项目经验，特别是自建Benchmark或改进评测方法的成果
- 深入学习LLM-as-Judge、Prompt Engineering及对抗性攻击/防御相关知识
面试指南
- 采用STAR法则，重点阐述在评测中遇到的具体技术难题、你的创新解决方案以及最终量化的效果提升
- 如何设计一个能抵抗污染的动态评测基准？
- LLM-as-Judge存在哪些主要偏差？如何校准？
- 请描述你构建过的最复杂的评测Pipeline
- 复习NLP基础理论，阅读最新的关于LLM评估的顶会论文，准备一个完整的项目案例进行深度复盘
职位点评
薪资福利85
成长发展95
工作生活60
使命价值80
薪资福利
85较高
作为已上市的巨头企业，提供具有市场竞争力的薪酬和完善的福利体系，稳定性较高。
薪资信号偏高 (3.0千–6.0万/月)
成长发展
95较高
处于AI技术最前沿，涉及大量创新性研究和顶尖学术合作，个人成长空间极大。
技术前沿前沿/新兴技术
技术栈LLM-as-Judge、NLP、Python、Benchmark、大模型评测
业务类型profit_center
工作生活
60中等
互联网大厂通常工作节奏较快，但具体WLB取决于团队文化，JD未明确提及弹性工作制。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
致力于提升AI模型的安全性和可靠性，对社会产生积极的正向影响，使命感强。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs