小米
AI基建-大模型推理框架开发工程师
AI基建-大模型推理框架开发工程师
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Gpu算子开发
Pytorch
Sglang
Vllm
大模型推理
性能调优
深度学习
值不值得投
78综合评分
综合评分 78
巨头平台核心AI基建岗，技术前沿且成长空间巨大，薪资竞争力强，但工作节奏与压力可能较大。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.8万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 5770 个在招
市场机会
选择适中
北京 · 高性能计算 · 33 个在招
职位详情
关于这个职位
该职位主要负责基于vLLM、SGLang等技术的大模型推理框架开发，设计并优化推理引擎架构与计算流程
同时负责复杂大模型框架的性能评估、调优及Cuda Kernel优化，开发高性能GPU算子，以提升大模型在不同硬件上的实时推理性能
最低要求
硕士及以上学历，计算机、软件工程、数学等相关专业，具备扎实计算机理论基础和丰富编程经验，在深度学习领域有深入研究与实践
精通 Python，熟练掌握至少一种深度学习框架（如 PyTorch），理解深度学习原理算法，有丰富模型开发与调优经验，能独立搭建复杂模型并优化性能
熟悉 C++ 和 CUDA 编程，具备代码优化能力，能针对 GPU 等硬件高效编写和优化代码，了解硬件体系结构并进行针对性优化
熟悉大模型推理框架的基本原理和流程，了解 vLLM、SGLang 等大模型推理框架的核心技术和实现优先
有良好团队协作与沟通能力，能与不同背景成员有效沟通协作，责任心强、敬业热情，能承受工作压力，保证项目按时高质量交付
工作职责
负责基于 vLLM、SGLang 等技术的大模型推理框架的开发工作，包括但不限于设计和实现高效的推理引擎架构，优化推理过程中的计算流程，提高推理性能，以满足不同规模大模型的实时推理需求
复杂大模型框架性能评估和调优工作，构建并完善性能监控体系，通过实时监测训练指标，定位性能瓶颈，提出优化方案，确保在不同硬件上达到最优性能
负责Cuda Kernel优化，开发高性能的GPU算子，提升大模型推理性能
优先资格
了解 vLLM、SGLang 等大模型推理框架的核心技术和实现
AI 洞察
优缺点分析
优点
- 处于大模型与AI基建的核心赛道，技术壁垒高，个人技术价值与行业竞争力提升显著
- 依托小米的巨头平台与海量算力资源，能够接触到超大规模大模型的真实落地场景与前沿技术
- 掌握CUDA与推理框架底层优化技能，属于当前AI行业极度稀缺的硬核技术人才
- 大模型推理优化涉及底层硬件与复杂算法，技术难度极大，需要持续跟进最新的学术与工业界进展
缺点 / 挑战
- 作为基建团队，可能需要应对高并发的实时推理需求及紧急的性能瓶颈排查，工作节奏快、压力较大
- 具备扎实C++/CUDA底层开发能力，对大模型推理机制有深入理解，且热衷于挑战高性能计算与系统优化的技术极客
角色解读
- 纵向可晋升为AI基建技术专家或架构师，主导更大规模的大模型推理系统设计与优化
- 横向可向AI系统优化、高性能计算或大模型底层研发等前沿技术方向拓展，成为行业稀缺的底层优化人才
- 负责大模型推理框架（如vLLM、SGLang）的底层开发与架构设计，优化计算流程以满足实时推理需求
- 构建性能监控体系，进行复杂大模型框架的性能评估与调优，定位并解决硬件层面的性能瓶颈
- 编写和优化Cuda Kernel，开发高性能GPU算子，最大化提升大模型在不同硬件上的推理效率
- 精通Python及C++编程，熟练掌握CUDA编程及GPU硬件体系结构，具备底层代码优化能力
- 深入理解深度学习原理，熟练使用PyTorch等框架，具备丰富的模型开发与性能调优经验
- 熟悉大模型推理框架（如vLLM、SGLang）的核心技术与实现原理
申请策略
- 提前了解小米在大模型领域的布局及AI基建团队的技术栈，在面试中展现对公司业务的理解
- 重点突出在CUDA Kernel优化、GPU算子开发及C++底层性能调优方面的具体项目经验与量化成果
- 详细阐述参与过的大模型推理框架（如vLLM、SGLang）的开发或深度二次开发经验
- 展示在PyTorch等深度学习框架下的复杂模型搭建、训练指标监控及性能瓶颈定位能力
- 深入研读vLLM、SGLang等主流推理框架的源码，理解其PagedAttention、Continuous Batching等核心机制
- 提升对NVIDIA GPU架构及Triton/CUDA编程的底层理解，尝试手写高性能算子
面试指南
- 采用STAR法则：情境（遇到的性能问题）-> 任务（优化目标）-> 行动（使用的CUDA/算子优化手段，如内存合并、共享内存优化等）-> 结果（量化的性能提升指标）
- 对比分析法：在回答框架对比或技术选型时，从原理、适用场景、优缺点及实际落地效果四个维度进行结构化阐述
- 请详细描述你在使用CUDA进行Kernel优化时，遇到过哪些性能瓶颈，是如何定位并解决的？
- vLLM和SGLang在推理加速的核心机制上有什么区别？你在实际项目中是如何应用或改进这些机制的？
- 在大模型推理中，如何平衡显存占用与计算吞吐量？请结合你的项目经验说明
- 请介绍一个你独立搭建并优化复杂深度学习模型的经历，最终性能提升了多少？
- 复习CUDA编程模型、GPU内存层次结构及常见的算子优化技巧（如FlashAttention原理）
- 准备1-2个具有代表性的底层优化项目，能够深入讲解技术细节和踩坑经验
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
小米作为已上市的巨头企业，薪资福利体系完善，该岗位属于核心AI基建方向，薪资水平在市场上具有较强竞争力。
薪资信号未披露（AI估算：3.5千–6万/月）
成长发展
90较高
岗位聚焦大模型推理框架与底层CUDA优化，技术壁垒极高，处于AI行业最前沿，能极大提升个人核心技术竞争力。
技术前沿前沿/新兴技术
技术栈vLLM、SGLang、Python、PyTorch、C++、CUDA、GPU算子
业务类型ambiguous
工作生活
50较低
JD中未提及工作模式与WLB相关信息，但作为核心AI基建研发岗，通常面临较高的项目交付压力，WLB情况无法明确判断。
工作模式未明确
办公地点未明确
加班情况JD含高强度暗示词
使命价值
80较高
大模型推理基建是支撑通用人工智能发展的核心底座，具有极高的技术探索价值与行业推动意义。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs