米哈游
AI 运维工程师
AI 运维工程师
发布于 大约 8 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
学历未注明
软件工程
CUDA
性能调优
量化
ROCm
TensorRT
vLLM
分布式推理
LLM部署
昇腾
AI 估算 · 25k–45k
AI运维工程师需求旺盛，米哈游平台好，薪资有竞争力，结合上海行情与技能难度估算。
职位详情
关于这个职位
作为AI运维工程师，你将负责将AI模型部署到多种硬件平台（NVIDIA、AMD、国产芯片），进行推理性能调优和稳定性保障
你会与算法团队紧密合作，选择最优推理引擎，搭建压测体系，确保线上服务稳定高效
这个职位能让你深入接触前沿的LLM、CV等模型部署技术，成为连接算法与工程的桥梁
最低要求
有2年以上推理部署或AI性能优化经验
熟悉至少2种主流推理引擎（TensorRT/vLLM/Triton/SGlang等）的原理与调优手段
熟悉NVIDIA GPU生态（CUDA、cuDNN、TensorRT、NCCL），了解其架构演进（A100→H100→B200等）
了解AMD ROCm或国产NPU至少其一的演进路径、算子支持与生态现状
有开源大模型（LLM/扩散模型/多模态）部署优化实战经验
扎实的性能建模能力：能基于FLOPs、带宽、显存、Batch Size、Sequence Length等参数进行数学推导与方案设计
熟练使用Linux、容器化（Docker/K8s）、网络、性能分析工具（nsight、nvprof、perf、bpf等）
工作职责
核心职责：
模型部署：负责LLM、CV、语音等多类模型的推理服务化部署，覆盖NVIDIA（CUDA/TensorRT）、AMD（ROCm）及国产卡（昇腾CANN、寒武纪、燧原、摩尔线程等）硬件平台
推理引擎选型与调优：能基于业务场景（吞吐/时延/成本）对比TensorRT、vLLM、Triton、SGlang等引擎，输出选型与调优方案
性能建模与分析：基于Roofline模型、计算/访存比、并行策略、KV Cache、Continuous Batching等进行量化分析，定位瓶颈并给出优化建议
Benchmark体系：搭建离线/在线压测与回归测试框架，输出量化评估报告
线上稳定性：推理服务监控、告警、异常排查与性能回归治理
跨团队协作：对接算法团队，理解模型结构、算子特性与精度约束，将工程约束前置反馈到模型设计与训练环节
优先资格
有推理框架二次开发或开源社区贡献（PR、Issue、博客）
熟悉量化（INT8/FP8/INT4/GPTQ/AWQ）、剪枝、Speculative Decoding、PagedAttention等优化技术
熟悉模型并行（TP/PP/EP/SP）策略与分布式推理
有训练-推理全链路经验（Megatron、DeepSpeed等）
良好的文档输出与跨团队沟通能力
AI 洞察
优缺点分析
优点
- 接触前沿的LLM和多模态模型部署技术，技术成长快
- 米哈游作为一线游戏公司，平台大，资源多，薪资福利有竞争力
- 工作涉及多硬件平台（NVIDIA、AMD、国产芯片），技能覆盖面广
- 技术栈复杂，需要持续学习新硬件和新框架，学习成本高
- 线上稳定性要求高，可能面临高压故障排查和紧急响应
- 适合热爱AI基础设施、喜欢钻研性能优化的工程师，能适应快速变化的技术环境，并乐于解决复杂问题
缺点 / 挑战
- 跨团队协作需要良好沟通能力，工程和算法之间的需求平衡有挑战
角色解读
- 技术深耕：成为推理性能优化专家，主导核心模型部署方案，向架构师方向发展
- 团队管理：带领推理部署团队，负责部门技术路线规划
- 横向发展：转型AI平台开发或算法工程化，拓宽技术栈
- 将LLM、CV等AI模型部署到NVIDIA、AMD、国产芯片等不同硬件上，确保推理服务高效运行
- 对比和调优TensorRT、vLLM等推理引擎，根据场景平衡吞吐、时延和成本
- 搭建压测和监控体系，分析性能瓶颈，保障线上服务稳定
- 与算法团队协作，将工程约束反馈到模型设计阶段，提升部署效率
- 精通至少两种主流推理引擎（如TensorRT、vLLM）的原理和调优
- 熟悉NVIDIA GPU生态（CUDA、TensorRT、NCCL）及硬件架构演进
- 扎实的性能建模能力，能基于FLOPs、带宽等参数进行数学推导
- 掌握Linux、容器化（Docker/K8s）及性能分析工具（nsight、perf等）
申请策略
- 准备一个完整的大模型部署案例，从模型选择、引擎调优到压测报告，展现系统性思维
- 突出推理引擎实战经验：明确列出你使用过的TensorRT、vLLM等引擎及具体优化成果（如吞吐提升X%）
- 展示硬件平台适配能力：列举你熟悉或接触过的GPU/NPU类型（如NVIDIA A100、昇腾910），并说明优化细节
- 量化项目成果：用数据说明性能建模、压测、稳定性保障的效果，如延迟降低、成本节约
- 补齐国产芯片生态知识：若对昇腾、寒武纪等不熟，可阅读官方文档或尝试在云上体验
- 加深量化技术理解：学习INT8/FP4量化原理，实践GPTQ、AWQ等工具
- 熟悉分布式推理策略：研究TP/PP/EP等并行方式，动手搭建简单demo
面试指南
- 对比类问题：先讲各自原理和适用场景，再结合自己实际项目给出选型依据
- 问题排查类：遵循'定位-分析-解决-验证'的逻辑，强调工具使用（nsight、perf）和数据支撑
- 原理类问题：先清晰解释概念，再举例说明其在实际优化中的收益
- 请对比TensorRT和vLLM在LLM推理中的优缺点，并说明你在什么场景下选哪个？
- 如何对一个大模型推理服务进行性能建模？请举例说明关键参数和公式
- 你如何处理线上推理服务的显存溢出（OOM）问题？排查思路是什么？
- 解释PagedAttention的原理，以及它如何改善KV Cache利用率？
- 你是否有过跨硬件平台的部署经验？比如将模型从NVIDIA迁移到昇腾，遇到了哪些坑？
职位点评
66
综合评分
技术前沿、薪资优厚，但需要现场办公且WLB一般。
更适合这类人
最适合追求技术快速成长、热爱前沿AI基础设施的工程师，对WLB要求不高且看重薪资竞争力。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活40
使命价值60
薪资福利
75中等
米哈游作为一线大厂，薪资福利通常处于市场高位，但JD未明确披露具体薪资，需面试确认。
薪资信号未披露（AI估算：25K-45K/月）
成长发展
90较高
职位涉及最新硬件（B200、昇腾）和前沿推理技术（vLLM、量化、分布式），技能成长空间极大。
技术前沿前沿/新兴技术
技术栈TensorRT、vLLM、Triton、CUDA、ROCm、CANN、量化、分布式推理
业务类型profit_center
工作生活
40较低
上海现场办公，未提及弹性工作或远程选项，AI运维可能涉及线上值班，WLB一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
60中等
虽在游戏公司，但AI基础设施岗位直接支撑业务创新，有一定技术使命感，社会价值中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs