携程
agent算法工程师(MJ037714)
agent算法工程师(MJ037714)
发布于 2 小时前实习/见习
实习生仅现场办公AI算法
AI算法
Llm
Rag
Sql
数据分析
评测体系
值不值得投
70综合评分
综合评分 70
前沿AI技术实习岗，侧重技能成长，WLB一般
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
5.0千
比AI算法中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 510 个在招
市场机会
选择适中
上海 · AI算法 · 31 个在招
职位详情
关于这个职位
该职位为携程算法团队的实习岗位，主要负责构建Agent（智能体）的评测体系
工作内容涵盖定义评分标准、建设真实场景评测集、开发自动化测试工具链以及推动评测结果在版本发布中的落地应用，旨在量化并提升Agent产品的可用性与稳定性
最低要求
在读非应届本硕学生，毕业时间为2028年及以后
Python编程基础扎实
理解LLM应用范式及常见失败模式
具备评测意识（包括指标设定、基线对比、对照组设计）
能够将模糊的业务问题拆解为可验证的技术方案
良好的逻辑思维、数据敏感度、团队合作意识、沟通理解能力及独立解决问题的能力
工作职责
评测标准制定：定义评分维度与Rubric（包括任务完成度、事实正确性、约束满足、工具调用、时延与成本），并提供可打分的正反例
评测集建设：从真实线上流量采样，覆盖AI搜索、导购Copilot、行程规划、智能客服等场景，维护回归集与Badcase闭环
工具链开发：实现批量跑测、LLM-as-Judge多裁判机制、人工复核、版本对比与自动回归，并将结果可视化呈现为看板
归因与落地：对失败样本进行归因分析（定位到理解、召回、工具调用或生成环节），推动评测流程接入版本发布环节
优先资格
熟悉主流评测框架（如OpenAI Evals、promptfoo、DeepEval、LangSmith、RAGAS等）
了解A/B测试与统计显著性分析方法
有Agent或RAG相关项目经验
掌握SQL取数并能搭建数据看板
有推荐、搜索或广告领域相关经验者优先
AI 洞察
优缺点分析
优点
- 接触前沿的Agent和LLM应用技术，参与核心业务场景（搜索、导购）的质量把控
- 需要处理复杂的评估指标设计，平衡自动化评测与人工复核的效率，应对快速迭代的模型版本
- 适合对AI评测感兴趣、具备良好逻辑思维和数据处理能力的在读研究生
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI算法专家、大模型应用架构师或AI产品经理方向发展，积累AI质量保障领域的核心竞争力
- 负责构建和维护大模型Agent应用的自动化评测体系，确保产品迭代质量
- 扎实的Python编程能力，深入理解LLM应用范式，熟悉主流评测框架（如LangSmith, RAGAS等）
申请策略
- 准备一个关于如何设计AI应用评测指标的案例分析，展示将模糊问题转化为可量化指标的能力
- 突出Python编程能力、LLM/RAG项目经验、以及对评测指标设计的思考
- 深入学习主流评测框架的使用，掌握统计显著性分析方法，提升SQL数据查询能力
面试指南
- 采用STAR法则（情境、任务、行动、结果）描述项目经历，重点阐述在评测过程中遇到的挑战及解决方案
- 你如何设计一个LLM Agent的评测指标体系？
- 请介绍你使用过的评测框架及其优缺点
- 如何处理LLM输出中的幻觉问题？
- 如何通过数据驱动的方式优化Agent性能？
- 复习LLM基础知识，熟悉常见评测数据集和方法论，准备相关的代码或项目演示
职位点评
薪资福利65
成长发展85
工作生活50
使命价值70
薪资福利
65中等
作为实习岗位，薪资符合市场平均水平，但福利体系不如正式员工完善。
薪资信号未披露（AI估算：4.3–6.5千/月）
成长发展
85较高
岗位涉及前沿的Agent评测技术，能提供丰富的学习机会和技能成长空间。
技术前沿前沿/新兴技术
技术栈Agent、LLM、RAG、Python、SQL
业务类型profit_center
工作生活
50较低
实习岗位通常需坐班，工作强度可能较高，WLB信号不明确。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
通过提升AI产品质量，间接改善用户体验，具有一定的社会价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs