天猫淘宝海外-高级LLM推理优化工程师-杭州

优缺点分析

角色解读

• 技术专家路线：可深耕推理优化技术，成为LLM系统架构师或技术专家，解决行业级性能挑战
• 业务结合路线：可向搜推算法或架构方向发展，主导AI导购等复杂系统的整体技术方案
• 技术管理路线：在积累足够项目经验和影响力后，可带领小团队负责特定技术模块或产品线
• 研发并优化用于搜索推荐的大型语言模型在线推理引擎，确保系统低延迟、高吞吐、低成本运行
• 将大模型能力工程化，落地生成式检索、AI导购等新型搜推产品，直接服务全球用户
• 管理GPU计算资源，通过量化、缓存管理等技术手段，持续优化推理服务的综合成本
• 扎实的编程与系统能力：精通C++/Python，擅长性能分析与调优，有分布式系统设计经验
• 深入的GPU与模型推理知识：熟悉CUDA编程，掌握PyTorch、TensorRT、vLLM等主流推理框架
• 搜索引擎或推荐系统实战经验：理解搜推业务逻辑，并有相关模型服务落地经验
• 对前沿技术的追踪与学习能力：关注LLM推理领域最新进展（如SGLang），并能推动技术应用

申请策略

• 在申请材料或面试中，可以结合淘宝海外业务，思考LLM推理优化如何具体提升跨境搜索/推荐的用户体验（如多语言理解、本地化内容生成），展现业务理解力
• 准备一些关于推理系统设计的开放性问题思考，例如：‘如何设计一个支持多模型混部、弹性伸缩的GPU推理集群？’
• 突出在CUDA编程、推理框架（特别是vLLM/TensorRT）应用与优化方面的具体项目成果（如吞吐提升比例、延迟降低数据）
• 详细描述参与的搜索、推荐或广告系统项目，说明你在其中负责的模型服务或推理优化部分
• 展示对分布式系统、高并发服务架构的理解和实践经验，例如如何设计调度策略、管理GPU资源池
• 如有相关的开源贡献（如LLM推理项目）、技术博客或专利，务必在简历中显著体现
• 深入研究当前主流的LLM推理优化技术栈（如vLLM、SGLang、TensorRT-LLM），了解其核心原理和实现细节
• 通过公开的基准测试或项目，实践模型量化（如GPTQ, AWQ）、KV Cache管理等技术，积累可量化的成果

面试指南

• 针对性能优化问题，使用STAR法则（情境-任务-行动-结果）组织回答，重点阐述你的技术选型思路（为什么选择某种量化方式或调度策略）和最终的量化收益（延迟、吞吐、成本的变化）
• 针对架构设计问题，可以从分层（接入层、调度层、执行层）、高可用（故障转移、降级）、可观测性（监控指标）、成本（资源池化、动态伸缩）等维度展开，体现系统性思维
• 针对技术原理问题，先阐述其解决的核心矛盾（如显存墙、延迟墙），再解释基本原理，最后结合实践谈谈优缺点和适用场景
• 你过去是如何优化一个模型推理服务的性能的？请描述一个具体的案例，遇到了什么瓶颈，采用了哪些方法？
• 对于一个像搜索推荐这样高并发的在线场景，你会如何设计一个大模型的在线推理服务架构？需要考虑哪些关键点？
• 谈谈你对模型量化（如INT8/FP8）和KV Cache管理的理解
• 在实际应用中，它们分别解决什么问题？可能带来哪些副作用？
• 你了解vLLM或TensorRT-LLM吗？它们的核心创新点是什么？如果让你调研并选型一个推理框架，你会考虑哪些维度？