大模型应用研发工程师（推理部署优化方向）-TRAE

优缺点分析

角色解读

• 成长为AI推理优化专家，主导大规模模型部署架构设计
• 向AI系统架构师方向发展，覆盖算法、工程与硬件协同优化
• 可横向拓展至AI编程产品全栈，或深耕底层算力与编译器技术
• 保障TRAE产品AI模型服务的稳定性，处理线上报警和部署扩缩容，支撑业务增长
• 端到端分析链路性能，协同优化代码补全和Agent的时延与吞吐，提升用户体验
• 设计并迭代模型推理部署方案，逼近硬件算力极限，构建量化-推理-部署完整Pipeline
• 深入理解LLM模型部署流程与常见优化技术，如vLLM、TRT-LLM、SGLang
• 熟悉NVIDIA GPU硬件特性，具备CUDA Kernel开发与调优经验
• 拥有端到端性能瓶颈分析能力，能精准定位并解决问题
• 自驱力强，主动学习LLM前沿结构与部署优化方案

申请策略

• 了解TRAE产品的技术架构与业务场景，准备相关的优化方案思考
• 关注字节跳动技术博客或开源项目，展现对该方向的热情
• 突出LLM部署优化项目经验，特别是使用vLLM、TRT-LLM等工具的实际成果
• 展示端到端性能优化的案例，包括时延、吞吐、成本等指标的提升
• 强调CUDA Kernel开发经验与GPU硬件理解的深度
• 深入学习CUDA编程与GPU架构，动手实现常用算子
• 熟悉主流推理框架（vLLM、SGLang）源码，尝试进行二次开发

面试指南

• STAR法则：描述情境、任务、行动、结果，量化指标
• 从系统视角分析：先定位瓶颈（计算/访存/通信），再针对性优化
• 结合理论：如Roofline模型分析，然后选择优化手段（算子融合、量化等）
• 请介绍你优化LLM推理性能的项目经验，具体用了哪些技术？
• vLLM的PagedAttention原理是什么？如何解决显存碎片问题？
• 如何端到端定位推理延迟瓶颈？请举例说明
• CUDA Kernel开发中如何优化访存？请分享一个具体案例
• MoE模型推理部署有哪些挑战？如何设计方案？