大模型推理服务部署框架资深工程师-智能创作（北京/上海/深圳）

优缺点分析

角色解读

• 技术纵深发展：成为大模型推理优化领域的权威专家，主导核心架构演进
• 管理路线：带领团队负责更大规模推理系统，逐步转向技术管理岗位
• 跨领域拓展：结合业务理解，转向AI产品架构师或技术总监方向
• 设计并实现多模态大模型（LLM/VLM/AIGC）的推理服务架构，优化推理性能并降低服务成本
• 负责推理服务在分布式环境下的部署、监控与高可用保障，解决大规模并发挑战
• 与产品研发团队协作，将前沿模型能力快速落地到实际产品中并确保交付质量
• 参与中长期技术规划，探索模型能力边界与硬件算力极限
• 精通Python、C++或Go，具备扎实的软件工程能力，能编写高性能服务代码
• 深入理解大模型推理框架如VLLM、Ray、ComfyUI，有分布式系统架构经验
• 熟悉GPU/NPU硬件特性，有Kernel开发或调优经验者优先
• 优秀的沟通协作能力，能与跨团队伙伴高效合作

申请策略

• 在面试前了解字节跳动智能创作相关业务方向（如剪映、抖音特效），准备结合业务的技术方案
• 强调对模型推理极致性能的追求，展示自己的技术热情和过往成果
• 突出大模型推理框架（VLLM、Ray等）的实际部署和优化经验，用数据说明性能提升或成本降低
• 强调分布式系统架构设计经验，尤其是高并发、低延迟系统案例
• 展示GPU/NPU kernel开发或调优经历，以及性能剖析工具使用
• 系统学习主流推理框架源码（如vLLM、TensorRT-LLM），理解核心优化策略
• 动手实践模型量化、剪枝、蒸馏等压缩技术，并了解硬件特性（如NVIDIA CUDA、华为昇腾）

面试指南

• STAR原则：描述背景、任务、行动、结果，突出量化成果
• 技术选型框架：从需求出发，对比方案优缺点，列出实验数据支撑
• 问题解决思路：先定位瓶颈，再针对性优化，最后验证并监控
• 请详细描述你设计过的一个大模型推理服务架构，包括面临的挑战和优化手段
• 如何选择推理框架（如VLLM vs TensorRT-LLM）？在不同场景下如何权衡？
• 分布式系统中如何保证推理服务的高可用性和容错性？
• 描述一次你通过Kernel优化提升GPU利用率的经历
• 如何评估和监控推理系统的性能指标？