大模型应用研发工程师（推理部署优化方向）-TRAE

优缺点分析

角色解读

• 在LLM推理优化领域成为专家，主导核心性能突破
• 横向拓展至AI Agent系统架构，参与产品级AI开发工具的设计
• 向技术管理方向发展，带领团队攻克更复杂的算力与部署挑战
• 保障TRAE产品的AI模型服务稳定性，处理线上告警和扩缩容
• 端到端分析推理链路的性能和成本，协同团队优化时延、吞吐和GPU利用率
• 设计和迭代高性能推理部署方案，包括模型量化、算子库扩展和完整Pipeline产品化
• 精通LLM部署流程，熟悉vLLM、TRT-LLM或SGLang等推理框架
• 具备CUDA Kernel开发和调优经验，深入了解NVIDIA GPU架构
• 强大的端到端性能分析和问题定位能力
• 自驱力强，能主动追踪LLM前沿结构并推动技术落地

申请策略

• 提前了解TRAE产品功能，思考当前推理部署的潜在瓶颈
• 在面试中展示对LLM推理全链路的理解，而不仅仅是单一环节
• 突出LLM推理部署经验，包括具体框架（vLLM/TRT-LLM）的优化案例
• 展示CUDA Kernel开发或调优的项目，说明性能提升效果
• 强调端到端性能分析的能力，如解决过的时延或吞吐瓶颈
• 提及对LLM前沿结构的理解，如MoE、Diffusion等模型的部署经验
• 深入学习vLLM或TRT-LLM源码，掌握其架构与优化策略
• 练习CUDA编程，特别是针对Transformer模型的算子优化

面试指南

• 用STAR法则（情境-任务-行动-结果）结构化回答项目经验
• 对于技术选型问题，先对比各方案的特性，再结合场景给出选择理由
• 优化类问题：明确指标→定位瓶颈→提出方案→评估效果
• 请描述你优化过的一个LLM推理服务的性能瓶颈，如何分析和解决的？
• vLLM、TRT-LLM、SGLang的优缺点是什么？在什么场景下选择哪个？
• 如何实现一个针对MoE模型的推理加速方案？
• CUDA Kernel层面，如何优化Attention计算？
• 面对线上模型服务突发流量，你会怎么设计扩缩容策略？