携程
Senior AI QC EN SHACC ALL(MJ037560)
Senior AI QC EN SHACC ALL(MJ037560)
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Aigc
Badcase分析
Golden Dataset
Llm评测
Prompt Engineering
回归测试
根因分析
质量门禁
跨部门协作
值不值得投
薪资怎么样
2.9万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 540 个在招
市场机会
选择适中
上海 · 数据标注与评测 · 12 个在招
职位详情
关于这个职位
该职位属于携程的 AI 质量评估方向，主要负责为 LLM 产品建立质量评测标准与流程（准确率、安全合规、指令遵循等），并通过自动化与人工结合的方式量化模型表现
你将对模型迭代做回归与验收测试，监测线上表现、挖掘 badcase，并主导根因分析，推动算法、产品、运营团队完成问题闭环
最低要求
学历背景：全日制本科及以上学历
工作经验：3 年以上互联网产品运营经验
具备 LLM/AIGC 产品运营实操经验者优先（highly preferred）
专业技能：
精通 AI 评测方法论（如 Golden Dataset 构建、人工评测 SOP）
对细节有敏锐洞察力（“捉虫”心态），能够从海量数据中挖掘潜在风险
熟悉 Prompt Engineering，能够复现或验证问题（侧重验证而非日常维护）
软技能：较强的跨部门沟通能力
能以数据影响并推动跨职能伙伴解决复杂问题
语言能力：英语书面与口语流利
工作职责
AI 质量评估框架与标准
建立并维护 LLM 的质量评估标准，覆盖准确率、安全、合规与指令遵循能力
设计自动化与人工在环（human-in-the-loop）相结合的评测流程，定期量化模型表现
端到端质量控制与风险管理
负责模型迭代的回归测试与验收测试，执行质量门禁（quality gates），在上线前防止性能退化
监测线上表现、挖掘 badcase，识别模型幻觉、逻辑错误或体验缺陷，并及时发出风险预警
问题驱动的改进与闭环管理
主导质量问题的根因分析，准确判断问题源自数据、Prompt 还是模型架构
推动算法、产品与运营团队解决质量缺陷，跟踪修复率并开展复验，确保形成闭环
跨职能协作
连接业务需求与技术实现，确保 AI 真正为用户创造价值
优先资格
有项目管理经验者优先（Project management experience is a plus）
有 LLM/AIGC 产品运营实操经验者优先（highly preferred）
AI 洞察
优缺点分析
优点
- 直接参与 LLM/AIGC 前沿产品的质量治理，能系统积累评测框架、Golden Dataset、人工评测 SOP 等可迁移的稀缺方法论
- 岗位横跨算法、产品、运营，视野广、跨团队曝光度高，有利于建立内部影响力
- 旅游交易场景对准确性与合规要求高，质量问题真实且有业务价值，成果容易量化呈现
- 英文工作要求有助于保持国际化职业竞争力
- LLM 输出具有不确定性，评测标准难以一次定死，需要持续迭代，工作节奏与心智负担不小
- 适合有互联网产品运营经验、对 AI 产品有实操理解、细节控且擅长用数据推动跨团队协作的人
- 也适合想从运营转向 AI 质量/评测方向的转型者
缺点 / 挑战
- 质量岗位往往是“发现问题的人”，需要推动算法与产品团队改 bug，跨部门博弈和沟通成本较高
- badcase 挖掘和回归测试偏重复性，需要自我驱动才能避免陷入“执行层”
角色解读
- 纵向可成长为 AI 质量/评测负责人，统管评测体系、标准与团队，进而向 AI 产品负责人方向发展
- 横向可转向 AI 产品经理、算法策略或 AI 运营管理岗，凭借对模型能力边界的深刻理解形成差异化优势
- 在 AIGC 落地加速的背景下，模型评测与质量治理正成为稀缺的复合型能力，长期市场价值较高
- 为 LLM/AIGC 产品搭建质量评测体系，定义准确率、安全合规、指令遵循等评估标准，并设计自动化+人工在环的评测流程
- 负责模型迭代的回归与验收测试，守住上线前的质量门禁
- 上线后持续监测线上表现，挖掘 badcase 与幻觉、逻辑错误等问题
- 作为质量问题的“中枢”，主导根因分析并推动算法、产品、运营团队修复闭环，同时充当业务与技术之间的翻译官
- 扎实的 AI 评测方法论功底，能独立构建 Golden Dataset、制定人工评测 SOP 并量化模型表现
- 具备“捉虫”式的细节敏感度与数据敏感度，能从海量日志和用户反馈中定位风险点
- 熟悉 Prompt Engineering，能通过改写/复现 Prompt 来验证问题归因（数据、Prompt 还是模型）
- 较强的跨部门沟通与影响力，以及流利的英文书面与口语能力
申请策略
- 提前了解携程在 AI 助手、智能客服、行程推荐等场景的 AIGC 落地情况，面试时能结合具体业务谈质量风险点会加分
- 准备一两个“我如何说服算法团队改一个他们认为不是 bug 的问题”的故事，体现影响力
- 重点突出 LLM/AIGC 相关产品运营或评测经历，写清楚你负责过哪些模型能力的评估、用了什么评测方法与指标
- 用具体案例呈现 badcase 挖掘与问题闭环：发现了什么问题、如何归因、推动谁修复、最终指标改善多少
- 体现 Prompt Engineering 的实际使用（尤其是复现与验证问题的场景），以及跨部门推动项目落地的证据
- 若有英语工作环境经历或项目管理经验（PMP 等），务必点明
- 系统梳理一套 LLM 评测方法论：Golden Dataset 构建流程、评测维度设计、人工评测 SOP 与标注一致性校验
- 补充 Prompt Engineering 实操，练习用 Prompt 变体定位问题来源
面试指南
- 体系类问题用“目标—维度—数据—流程—指标—闭环”六步框架作答，先讲清楚评什么、怎么评、怎么用结果
- 案例类问题用 STAR 结构：背景与问题现象—你如何定位与归因—推动谁做了什么—最终量化结果
- 冲突类问题强调“用数据和风险量化对齐目标”，先摆事实与影响面，再给方案与备选，避免情绪化对抗
- 如果让你从零搭建一套 LLM 质量评测体系，你会如何设计评测维度、数据来源和流程？
- 请举一个你发现并推动解决的典型 badcase，你是如何判断问题出在数据、Prompt 还是模型本身？
- 模型即将上线，但回归测试显示某项指标下降，业务方坚持要发，你会怎么处理？
- 你如何用数据说服算法或产品团队接受一个他们认为优先级不高的问题？
- Prompt Engineering 在你日常工作中扮演什么角色？请举例说明
Watch Jobs