腾讯
大模型推理优化工程师（上海/深圳）
大模型推理优化工程师（上海/深圳）
发布于 大约 20 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Cuda
Gpu优化
Sglang
Tensorrt-Llm
Vllm
大模型推理优化
性能调优
量化
值不值得投
78综合评分
综合评分 78
大模型推理优化工程师，技术前沿、成长空间大，但WLB和薪资细节待确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
35K
比算法优化工程师中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1950 个在招 · 其中算法优化工程师 3 个
市场机会
选择面较广
上海 · 算法优化工程师 · 约 100 个在招
职位详情
关于这个职位
该职位专注于大模型推理优化，负责腾讯游戏业务中大模型服务的性能调优
工作涉及推理引擎开发、算子优化、算力适配等全流程，以支持低延迟、高吞吐的在线推理服务，作为核心技术中台支持不同游戏项目的落地需求
最低要求
教育背景：硕士及以上学历，计算机、软件工程、人工智能或相关专业
在大模型推理优化、GPU 性能调优方向有丰富经验者优先
技术能力：精通 Python 与 C++，熟悉 Linux 开发环境，具备扎实的系统编程与算法基础
熟悉 PyTorch 等深度学习框架，深入理解 KV Cache、量化、前缀缓存等大模型推理优化机制
有 CUDA 编程或 GPU 性能调优经验，能使用 Nsight 等工具进行 profiling
熟悉主流推理框架（vLLM、SGLang、TensorRT-LLM 等），有二次开发或深度优化经验
工作职责
背景：我们正在寻找专注于大模型推理优化的工程师，负责游戏业务中线上大模型服务的性能优化
您将参与从推理引擎优化到异构硬件落地的全流程，在低延迟、高吞吐的场景中支撑游戏大模型的在线推理服务，作为核心技术中台支持不同游戏项目的落地需求
推理性能优化：围绕首 Token 延迟（TTFT）、生成吞吐、显存与算力利用率进行极致调优
应用量化（FP8、INT4/AWQ、MXFP4 等）、稀疏化等压缩技术，在维持模型推理效果的前提下降低推理成本
推理引擎与算子优化：基于 vLLM、SGLang、TensorRT-LLM 等主流框架进行二次开发与深度优化，涉及连续批处理、PagedAttention、前缀缓存、KV Cache 量化与分级存储等关键能力
结合 CUDA/Triton 进行算子融合与计算图编译优化
推理架构演进：探索 PD 分离、投机解码、MoE 专家并行等前沿架构，优化长上下文、长思维链与高并发场景下的推理效率
算力适配：负责推理服务在算力上的部署、适配与调优，开展算子适配、显存管理与通信优化，构建跨硬件、可复用的推理加速方案
性能分析与持续优化：建立推理服务的分析与监控体系，使用 Nsight 等工具进行 profiling 与瓶颈定位，监控推理服务的算力资源使用效率
与模型、agent、游戏引擎等多团队协作，结合游戏研发与运营的实际需求，持续优化推理成本
优先资格
在大模型推理优化、GPU 性能调优方向有丰富经验者优先
AI 洞察
优缺点分析
优点
- 从事前沿大模型技术，技术含量高，成长空间大
- 腾讯平台资源丰富，项目影响力强，应用场景具体
- 技术难度高，需要持续学习最新优化技术
- 跨团队协作可能复杂，需要良好的沟通能力
缺点 / 挑战
- 与游戏业务结合，工作内容具有创新性和挑战性
- 性能优化压力大，需应对低延迟和高吞吐的严苛要求
- 适合对大模型推理优化有深厚兴趣，具备扎实系统编程和GPU优化能力，追求技术成长和挑战的工程师
角色解读
- 成为大模型推理优化领域的专家，深耕技术深度
- 向架构师或技术领导方向发展，负责更大规模的系统设计
- 参与前沿AI技术研究，推动游戏业务的创新落地
- 负责游戏业务中大模型服务的推理性能优化，包括延迟、吞吐和资源利用率
- 基于主流推理框架进行二次开发和算子优化，提升推理效率
- 探索前沿推理架构，如PD分离和投机解码，适应复杂场景
- 适配异构硬件，构建可复用的推理加速方案，支持多团队协作
- 精通Python和C++，具备扎实的系统编程与算法基础
- 深入理解大模型推理机制，如KV Cache、量化和前缀缓存
- 有CUDA编程和GPU性能调优经验，能使用Nsight等工具
- 熟悉vLLM、SGLang等推理框架，有二次开发或优化经验
申请策略
- 研究腾讯游戏业务的大模型应用场景，展示对业务的理解
- 准备性能优化案例，准备在面试中演示具体技术方案
- 突出大模型推理优化相关项目经验，量化性能提升结果
- 展示CUDA编程和性能调优的具体成果，如工具使用案例
- 列出熟悉的相关框架（如vLLM）和量化技术，体现技术深度
- 深入学习vLLM、SGLang等推理框架的源码和优化实践
- 实践量化技术如FP8、INT4，掌握稀疏化等压缩方法
- 加强Nsight等profiling工具的使用，提升瓶颈定位能力
面试指南
- 使用STAR法则描述项目，突出技术细节和量化结果
- 针对技术问题，结合原理和实践经验回答，如量化、缓存机制
- 强调团队协作和问题解决能力，展示对业务的理解
- 请描述你过去的大模型推理优化经验，遇到的最大挑战是什么？
- 如何优化首Token延迟（TTFT）和生成吞吐？
- 你熟悉哪些推理框架，有二次开发或深度优化经验吗？
- 如何处理显存管理和通信优化，以支持高并发场景？
- 如何与模型、agent、游戏引擎等多团队协作优化推理成本？
职位点评
薪资福利75
成长发展90
工作生活60
使命价值85
薪资福利
75中等
腾讯作为上市公司，薪资福利体系可能完善，但JD未明确薪资细节，需在面试中确认。
薪资信号面议 (25K-45K/月)
成长发展
90较高
该职位涉及前沿大模型技术，有清晰的技能成长和项目实践机会，技术栈现代且具有挑战性。
技术前沿前沿/新兴技术
技术栈大模型推理优化、CUDA、Python、C++、vLLM、SGLang、TensorRT-LLM、量化
业务类型profit_center
工作生活
60中等
JD未提及办公模式和工作时间，可能需现场办公，WLB信息不足，需在后续沟通中确认。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
大模型是当前AI热点，游戏业务结合具有创新性和社会影响力，行业处于高速增长赛道。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs