哈啰出行
大模型训推优化工程师
大模型训推优化工程师
发布于 大约 17 小时前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
学历未注明
PyTorch
模型量化
DeepSpeed
SGLang
vLLM
分布式推理
Qwen
Lmdeploy
Megatronlm
Tf
AI 估算 · 35k–60k
大模型领域稀缺人才，哈啰出行C轮后成熟平台，上海薪资水平高，岗位要求极高，预估薪资有竞争力。
职位详情
关于这个职位
该职位主要负责大模型推理系统的性能优化与分布式架构设计，包括低比特量化、稀疏化attention等加速技术，以及高并发负载均衡方案
你将主导多节点多GPU的分布式推理，实现毫秒级延迟和高吞吐，是推动AI模型落地应用的关键角色，适合对LLM推理有深入理解的技术专家
最低要求
精通C/C++、Python等至少一门编程语言，以及Linux下的系统开发经验
熟悉常用机器学习算法，对文本/多模态大模型相关领域模型，对llama、deepseek、qwen等模型有深刻的理解，熟悉TF/Pytorch等深度学习框架，有相关模型训练和模型效果优化者优先
熟悉大模型MegatronLM/Deepspeed分布式训练框架，深入了解模型量化、蒸馏、剪枝等模型优化原理和策略，有文本、语音、以及多模态模型相关训练、效果调优经验优先
熟练使用包括vllm/sglang/lmdeploy等一种以上模型推理服务框架，有代码分析及性能优化经验优先
有技术敏锐度，善于攻坚，抗压能力比较强，良好的团队合作精神和意识
工作职责
主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优
研究低bit量化、稀疏化attention等解码加速技术，在保障精度前提下显著降低计算资源消耗
设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力
AI 洞察
优缺点分析
- 站在AI技术最前沿，接触LLM推理核心优化，技能稀缺性高
- 哈啰出行作为C轮后大厂，平台稳定且有丰富业务场景，技术挑战大
- 薪资水平高，且大模型领域人才溢价明显，职业发展潜力大
- 技术深度和广度要求极高，需要同时掌握分布式系统、模型优化、高性能计算等多领域知识
- 工作强度可能较大，涉及攻坚任务和抗压需求，需要快速迭代和解决复杂问题
- 行业竞争激烈，需要持续学习最新技术（如新模型、新框架），保持技术敏锐度
- 适合对LLM推理优化有浓厚兴趣、具备扎实系统编程和深度学习基础、渴望挑战技术难题并希望在大模型领域深耕的工程师
角色解读
- 技术纵深发展：成为大模型推理优化领域专家，主导下一代推理架构设计
- 横向扩展至训练优化：积累训推一体经验，转向AI系统全栈架构师
- 管理方向：带领团队负责AI基础设施，晋升为技术经理或AI平台负责人
- 主导大模型在线推理系统的性能优化，构建多节点多GPU分布式推理架构，实现智能请求调度
- 研究低bit量化、稀疏化attention等解码加速技术，在保障精度下降低计算资源消耗
- 设计高并发负载均衡方案，构建弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟和高吞吐
- 精通C/C++、Python及Linux系统开发，具备系统级性能调优能力
- 深入理解LLaMA、DeepSeek、Qwen等大模型架构及原理，熟悉TF/PyTorch框架
- 熟悉MegatronLM/DeepSpeed分布式训练框架及模型量化、蒸馏、剪枝等优化技术
- 熟练使用vLLM、SGLang、lmdeploy等推理服务框架，并有代码分析及性能优化经验
申请策略
- 哈啰出行技术团队注重落地效果，简历中多用具体指标（如QPS、延迟、显存占用）来量化贡献
- 可提前了解哈啰在AI领域的业务方向（如出行大模型应用），面试中展现业务理解
- 突出大模型相关项目经验，尤其是推理优化、分布式训练或量化部署的实际成果
- 详细描述在vLLM/SGLang等框架上的性能调优案例，量化改进指标（如延迟降低、吞吐提升）
- 强调C++/Python系统编程能力，特别是在Linux环境下的高性能开发经验
- 展示对LLaMA、DeepSeek等模型架构的深入理解，可附带技术博客或开源贡献
- 深入掌握vLLM、SGLang等推理框架的源码，理解其调度和内存管理机制
- 学习CUDA编程和GPU性能优化，如Tensor Core使用、算子融合等
面试指南
- 理论结合实践：先阐述核心原理（如量化原理、注意力机制），再结合项目经验说明如何应用
- 系统架构视角：从整体流程（请求接收、调度、推理、返回）出发，分层分析瓶颈，强调权衡（精度vs速度）
- 量化指标：回答时尽量给出实验数据（如延迟、吞吐、显存），展现优化效果
- 请解释FlashAttention的原理及其在推理加速中的作用
- 如何设计一个支持动态batch和连续批处理的大模型推理服务？
- 如何对LLaMA模型进行4-bit量化，并保持精度？请详述步骤
- 描述你在使用vLLM或SGLang时遇到的一个性能瓶颈及解决过程
- 分布式推理中如何实现多GPU间的负载均衡？请给出具体方案
匹配度报告
71
综合匹配度
顶尖大模型推理优化岗，技术前沿、薪资高，但工作强度大且WLB一般。
适合人群
适合追求技术成长和前沿领域、愿意接受高强度工作以换取高回报和快速发展的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利80
成长发展95
工作生活40
使命价值70
薪资福利匹配
80较高
薪资水平高，大厂福利稳定，但JD未提及具体福利，且上海生活成本高，补偿性动机中等偏上。
薪资信号未披露 (35K-60K/月)
成长发展匹配
95较高
岗位涉及大模型最前沿技术，技能成长空间极大，但JD未明确提及晋升或培训，发展性动机主要由技术本身驱动。
技术前沿前沿/新兴技术
技术栈C/C++、Python、PyTorch、LLaMA、DeepSeek、MegatronLM、DeepSpeed、vLLM、SGLang、模型量化、分布式推理
业务类型profit_center
工作生活匹配
40较低
JD未提及WLB，有'抗压能力强'暗示高强度，且仅现场办公，生活化动机满足度低。
工作模式仅现场办公
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值匹配
70中等
大模型是高速增长赛道，技术具有开拓性，但哈啰出行作为出行平台社会影响力一般，意义感动机中等。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs