滴滴出行
大模型高级运营工程师
大模型高级运营工程师
发布于 大约 7 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
学历未注明
运营管理
Openai Api
Prompt Engineering
Rag
Sql
Higress Ai Gateway
Litellm
One Api
AI 估算 · 25k–40k
大模型热门方向，高级经验，北京一线互联网大厂，薪资有竞争力
职位详情
关于这个职位
作为滴滴出行大模型高级运营工程师，你将负责大模型网关的运营与优化，包括智能路由、Token效率治理、Agent场景支持等
需要深入理解大模型API调用链路，通过数据分析和工程手段降低成本、提升效果，并与业务方合作推动最佳实践落地
适合有技术产品运营背景、熟悉AI基础设施的候选人
最低要求
年以上工作经验，有技术产品 / 平台产品运营背景，有大模型平台、AI 基础设施或开发者平台经验者优先
有实际开发、部署或运营过基于 LiteLLM、One API、Higress AI Gateway 等方案的大模型网关，深入理解 OpenAI 兼容 API、Virtual Key、多级限流（TPM/RPM）、负载均衡、降级重试、Prompt Caching 的原理与配置
熟练使用 Claude Code、Codex、Cursor、Manus、Coze/Dify 等至少两种 Agent 类产品或框架，理解 Function Calling、MCP、RAG、多轮上下文管理的工作机制，能独立搭建 Agent Demo 或工作流
熟练使用 Python 编写数据分析与自动化脚本，熟练 SQL，能独立完成调用日志分析、指标体系搭建与归因
能读懂 API 文档并亲自调试模型接口
理解 Token 计费、上下文窗口、prompt 工程、模型能力边界等概念，对"效果-成本-延迟"权衡有实际调优经验
工作职责
产品规划与演进：理解网关请求生命周期（接入认证 → 限流 → 路由 → 缓存 → 计量），配合产研完成智能模型路由、语义缓存、无效 Token 检测与度量、上下文压缩中间件等技术方向的需求定义、方案评审与效果验收
Token 效率与成本治理：基于网关真实调用日志搭建"Token 效率"度量体系，深入分析典型浪费场景（系统提示词/工具定义缓存未命中、简单任务调用旗舰模型、Agent 多轮上下文膨胀、长文档盲目入上下文、输出冗余），能动手复现问题、给出优化方案（prompt 压缩、上下文裁剪、结构化输出、任务拆解、模型降级路由等）并量化对比"效果-成本"收益
Agent 场景深耕：作为公司 Agent 应用的基础设施提供者，理解 Agent 调用链路（多轮循环、工具调用、RAG、上下文管理），为重点业务方提供 Token 优化、模型选型与调用架构的技术咨询，沉淀最佳实践
多模型供给运营：参与通用模型的引入评估（能力评测、成本测算、路由策略设计）与上下线运营，设计模型选型指引与自动路由规则
大模型生态建设：良好的跨团队沟通与项目推动能力，面向司内用户输出接入文档、SDK 示例、调优指南，组织大模型培训与共创活动
优先资格
有大模型平台、AI 基础设施或开发者平台经验者优先
AI 洞察
优缺点分析
优点
- 大模型是当前最热门的技术方向，经验积累价值高
- 滴滴作为大厂，平台资源丰富，能接触到大规模真实场景
- 职位偏技术运营，兼具工程和产品思维，发展空间多样
- 有机会参与前沿技术（语义缓存、Agent路由）的落地
- 需要同时掌握技术细节和业务理解，对综合能力要求高
- 大模型技术迭代快，需要持续学习新工具和框架
- 适合有技术背景、喜欢解决实际优化问题、对AI基础设施有热情的候选人，尤其适合从开发转运营或产品方向的人才
缺点 / 挑战
- 成本治理工作可能涉及跨部门推动，沟通协调压力较大
角色解读
- 向大模型平台架构师或技术专家发展，深入AI基础设施领域
- 可转向AI产品经理或技术管理岗位，负责更大规模平台产品
- 积累的优化经验可迁移至其他大厂或创业公司AI Infra团队
- 运营和优化大模型网关，包括路由、缓存、限流等配置，确保服务稳定高效
- 分析Token调用日志，识别浪费场景，制定优化方案（如prompt压缩、模型降级）并量化收益
- 为内部Agent应用提供技术咨询，帮助业务方优化调用链、降低成本
- 参与新模型引入评估，设计路由策略，输出文档和最佳实践
- 深入理解大模型API网关（如LiteLLM、Higress），熟悉OpenAI兼容API、限流、负载均衡等
- 熟练使用Python和SQL进行日志分析和指标体系建设
- 熟悉Agent框架（如Coze、Dify）和RAG、Function Calling等机制
- 掌握Token计费、prompt工程、模型能力边界等概念，具备效果-成本权衡经验
申请策略
- 了解滴滴的AI基础设施现状和业务场景，面试时可针对性地提出优化想法
- 关注大模型成本优化领域的最新进展（如Prompt Caching、语义缓存），体现技术洞察
- 突出大模型网关或AI基础设施的运营经验，列举具体优化案例和量化成果
- 强调Python/SQL数据分析能力，附上日志分析或指标体系的示例
- 展示对Agent框架（如Coze、Dify）的实际使用经验，最好有Demo链接
- 提及Token成本优化和模型调优的相关项目，说明效果-成本权衡思路
- 如果对网关产品不熟，可以先学习LiteLLM、Higress等开源方案并动手部署
- 熟悉至少一个Agent框架（如Dify），搭建简单的RAG demo
面试指南
- 对于优化类问题，用STAR法则：描述场景、目标、行动、结果，量化收益
- 对于设计类问题，先拆解要素，再给出方案，最后对比权衡
- 对于技术概念问题，结合实际经验解释，不要只背定义
- 请描述你在大模型网关运营中遇到的一次典型成本浪费场景，你是如何分析和优化的？
- 如何设计一套Token效率度量体系？请举例说明你关注的指标
- 你理解的Agent调用链路包括哪些环节？在成本优化上有什么策略？
- 假设需要引入一个新模型，你会从哪些方面评估并设计路由策略？
- 你用过哪些Agent框架？它们的优缺点是什么？
职位点评
71
综合评分
大厂大模型核心岗位，前沿技术栈，成长空间大，但WLB和薪资透明度一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合看重技术成长和前沿实践、能接受现场办公和一定工作强度的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展85
工作生活50
使命价值60
薪资福利
75中等
滴滴作为上市大厂，薪资福利有竞争力，但JD未明确薪资，且北京生活成本较高，综合评分中等偏上。
薪资信号未披露（AI估算：25K-40K/月）
成长发展
85较高
大模型是前沿技术，岗位涉及多种新兴工具和实践，成长空间大，但JD未明确晋升路径。
技术前沿前沿/新兴技术
技术栈LiteLLM、One API、Higress AI Gateway、OpenAI API、Token效率、Prompt Engineering、RAG、Function Calling、Agent
业务类型profit_center
工作生活
50较低
未提及远程或弹性，北京现场办公，可能涉及加班，WLB一般。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
60中等
大模型行业增长快，但职位主要是降本增效，社会影响力一般，仅中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
滴滴出行 的其他在招职位
相似职位推荐
Watch Jobs