天猫
业务技术-Agent应用算法工程师-评测/自进化
业务技术-Agent应用算法工程师-评测/自进化
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Llm-As-Judge
Prompt Engineering
Rag
System Design
值不值得投
76综合评分
综合评分 76
前沿Agent技术研发、高薪潜力、高强度工作、强技术成长导向
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比AI算法中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 250 个在招 · 其中AI算法 3 个
市场机会
选择面较广
杭州 · AI算法 · 73 个在招
职位详情
关于这个职位
该职位专注于构建和优化Agent应用的核心平台能力，涵盖Harness工程优化、自进化框架设计及智能化评测体系搭建
你需要深入理解Agent架构范式，通过系统化的归因分析与轨迹数据建设，实现Agent从线上反馈中持续自动进化的闭环，解决工具调用、记忆管理及稳定性等关键问题
最低要求
计算机、数学、统计学等相关专业，硕士/博士优先，优秀本科生不受限制
Harness工程能力：深刻理解Agent架构范式（ReAct / Reflexion / LATS 等），熟悉Context Engineering、RAG、Memory、Tool-Use的实现原理
能针对具体场景系统设计和调优Harness
自进化框架经验：熟悉Agent自我改进的相关方法，如Reflexion、经验库/记忆进化、Prompt自动优化（DSPy / TextGrad 等）
评测与归因能力：能独立搭建Agent评测闭环，熟悉LLM-as-Judge的设计方法、常见偏差和校准手段
工程实践能力：精通Python，有扎实的工程能力，能独立完成从方案设计、开发实现到线上验证的全流程交付
理解分布式系统、K8s、Serverless等云原生概念
实验与量化思维：能设计严谨的实验和A/B验证方案，搭建多维指标体系
好奇心和动手能力：对AI Native应用充满热情，能快速复现最新论文和开源项目
工作职责
Harness工程与效果优化：深入自研分布式Agent Runtime和Framework，针对工具调用准确率、结构化输出遵循、长上下文保持、多步任务稳定性等关键问题，系统优化Context Engineering、Memory管理、工具编排、Prompt策略等Harness核心模块，在规模化运行中兼顾效果、稳定性和成本
Agent自进化框架：设计并落地Agent自进化机制，让Agent能从线上执行轨迹和用户反馈中持续积累经验，并自动优化策略、Prompt、Skill和记忆
打通“线上运行 → 问题发现 → 策略优化 → 效果验证 → 自动上线”的闭环，在不依赖模型重训的情况下实现持续进化
评测智能化：为Agent全生命周期搭建自动化评测体系（LLM-as-Judge / Auto-Rater），设计符合Harness标准的Rubric和量化指标，并持续校准评测结果和人工判断的一致性
这套评测要为自进化闭环提供可靠的效果信号
效果归因与诊断：搭建系统化的归因分析能力，把效果问题准确定位到模型、Context构造、工具调用、记忆管理、Runtime调度等具体环节
目标是从“人工逐条看案例”升级到“AI自动诊断并给出优化建议”
Trajectory数据建设：搭建Agent执行轨迹的挖掘、清洗和沉淀流水线，把线上数据转化为评测集、经验库和优化素材
必要时配合模型团队提供高质量训练数据
优先资格
有顶会论文（ACL / EMNLP / ICLR / NeurIPS / ICML 等），或是知名开源项目（LangChain / LlamaIndex / vLLM / AutoGen 等）的核心贡献者
AI 洞察
优缺点分析
优点
- 依托大厂平台，拥有海量真实业务数据和算力资源，便于技术落地验证
- Agent自进化与评测是行业难题，缺乏成熟标准，需大量探索性实验
- 对工程能力和理论深度要求极高，需同时兼顾系统性能与算法效果
缺点 / 挑战
- 处于AI Agent前沿领域，技术栈极具前瞻性和挑战性，个人成长空间大
- 团队聚焦于解决行业痛点（如自进化、自动化评测），成果具有较高的行业影响力
- 业务迭代速度快，需快速跟进最新论文和开源项目，学习压力大
- 适合热衷于AI前沿技术研究、具备扎实系统工程能力且喜欢挑战高难度问题的算法工程师
角色解读
- 成为Agent平台领域的专家，主导核心框架的设计与演进
- 向AI基础设施或大模型应用架构师方向发展，统筹更复杂的AI系统建设
- 若具备较强业务敏感度，可转型为AI产品经理或技术负责人，连接技术与业务价值
- 构建和优化Agent的运行框架（Harness），提升其在复杂任务中的稳定性和效率
- 设计Agent的自进化机制，使其能基于线上反馈自动优化策略和提示词
- 搭建智能化的自动化评测体系，为Agent的性能评估提供可靠的数据支持
- 建立效果归因分析系统，精准定位Agent失败原因并提供优化建议
- 精通Python及分布式系统、K8s等云原生技术，具备扎实的工程落地能力
- 深入理解Agent架构范式（如ReAct、Reflexion）及LLM相关技术（RAG、Prompt Engineering）
- 具备搭建自动化评测体系的能力，熟悉LLM-as-Judge方法及偏差校准
- 拥有极强的实验设计与数据分析能力，能通过A/B测试驱动迭代
申请策略
- 准备详细的项目案例，重点阐述如何解决Agent在实际应用中的稳定性与效果问题
- 了解天猫及阿里在AI领域的最新布局和技术方向，展现对业务的理解
- 突出在Agent框架、RAG、Prompt优化等方面的具体项目经验和落地成果
- 强调工程实践能力，展示如何处理大规模分布式系统中的性能瓶颈
- 若有顶会论文或知名开源项目贡献，务必重点标注，这是重要的加分项
- 体现数据驱动思维，展示如何通过评测体系和归因分析推动产品迭代
- 深入研究最新的Agent架构范式（如LATS、Reflexion）及其实现细节
- 加强LLM评测方法论的学习，特别是自动化评测与人工评估的一致性校准
面试指南
- STAR法则：情境(Situation)-任务(Task)-行动(Action)-结果(Result)，重点突出技术难点和你的独特贡献
- 技术深度：不仅讲“做了什么”，更要讲“为什么这么做”，涉及底层原理和权衡取舍
- 数据支撑：用具体的指标提升（如准确率提升X%，成本降低Y%）来证明效果
- 系统性思维：展示从问题发现、方案设计、实验验证到最终落地的完整闭环能力
- 请详细介绍你设计的Agent自进化框架，它是如何从反馈中学习并优化的？
- 在搭建LLM-as-Judge评测体系时，你如何处理模型输出的偏差和不一致性？
- 面对Agent在长上下文或多步任务中的稳定性问题，你是如何进行归因分析的？
- 请分享一个你通过优化Harness或Prompt显著提升Agent效果的案例
职位点评
薪资福利85
成长发展95
工作生活40
使命价值70
薪资福利
85较高
作为巨头企业的核心研发岗位，薪资水平处于市场中上，且通常伴随完善的福利体系和较高的年终奖预期，能满足较高的薪酬期望。
薪资信号未披露（AI估算：4.0千–7.0万/月）
成长发展
95较高
职位聚焦于Agent自进化与智能评测等前沿领域，技术栈极具创新性，能提供极高的技能成长空间和行业视野。
技术前沿前沿/新兴技术
技术栈Agent、Harness、LLM-as-Judge、RAG、ReAct、Reflexion、DSPy、TextGrad
业务类型profit_center
工作生活
40较低
互联网大厂核心研发岗位通常工作强度较大，JD中未提及弹性工作或WLB相关福利，推测为高强度现场办公模式。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
致力于解决AI Agent的可靠性与进化问题，具有显著的技术突破意义，虽主要为商业目的，但对推动AI技术发展有积极影响。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
天猫 的其他在招职位
相似职位推荐
Industrial Engineering ES
德科斯米尔 · 沈阳市
AI 估算 · 2.0–3.5万5 分钟前发布
集团安全部-内容安全大模型算法-商品合规大模型（杭州）
阿里巴巴 · 杭州市
AI 估算 · 3.0–5.0万34 分钟前发布
研究型实习生 - 大规模LLM模型训练优化研究项目
阿里巴巴 · 北京市
AI 估算 · 8.0千–1.5万34 分钟前发布
智能控制工程师 （AI方向）-（混凝土机械公司）
中联重科 · 长沙市
AI 估算 · 1.8–3.0万2 小时前发布
AI Agent 應用開發工程師
纬创资通 · 高雄市
AI 估算 · 6.0–9.0万2 小时前发布
AI Application Engineer, Product Engineering
西部数据 · 深圳市
AI 估算 · 1.5–2.5万2 小时前发布
AI Agent 开发工程师（AI教育）
商汤 · 北京市
AI 估算 · 4.0–7.0万3 小时前发布
Senior AI Engineer – Palantir Foundry and AIP Forward Deployed Engineer
英伟达 · 深圳市
AI 估算 · 6.0–10.0万3 小时前发布
Watch Jobs