Al Infra 推理优化工程师

优缺点分析

角色解读

• 技术专家路线：深入AI Infra底层，成为分布式推理系统架构师或计算库核心开发者
• 跨团队影响力：积累经验后主导公司级推理平台建设，推动技术标准制定
• 管理路线：带团队负责推理优化方向，从个人贡献者转向技术管理
• 设计和实现高可用的大模型推理服务，处理多用户并发请求，确保低延迟和弹性伸缩
• 深入团队内的训练与推理性能优化工作，定位并解决GPU利用率、显存、通信等瓶颈
• 跟踪AI Infra和分布式系统前沿技术，推动新技术在业务中的验证与落地
• 扎实的GPU性能优化能力，精通CUDA、Triton、Cute等底层工具
• 熟悉Linux高性能服务开发，具备良好的系统设计和代码规范
• 丰富的大模型（LLM/DiT）推理优化经验，掌握量化、剪枝、FlashAttention等方案

申请策略

• 投递前仔细研究米哈游的技术博客或公开演讲，了解其AI Infra架构，在面试中展现针对性
• 强调持续学习意愿和团队协作能力，因为岗位需要快速跟进新技术并落地
• 突出GPU优化项目经验：具体说明使用CUDA、Triton等工具解决了哪些性能问题，量化收益（延迟降低百分比、吞吐提升等）
• 强调大模型推理经验：列出参与过的LLM/DiT推理服务部署案例，以及用到的优化技巧（如FlashAttention、PagedAttention）
• 展示系统设计能力：描述高可用分布式系统的设计（负载均衡、容错、弹性伸缩），可附带架构图
• 若CUDA经验不足，建议学习《CUDA By Example》并练习矩阵乘、Attention的算子实现
• 掌握Triton（NVIDIA Triton Inference Server）和Triton语言（OpenAI Triton）的基本用法
• 了解DiT（Diffusion Transformer）的推理流程和常见优化方案（如Step合并、FP16/INT8）

面试指南

• 采用STAR法则（情境、任务、行动、结果）回答项目经历问题
• 对于技术原理问题，先给出核心概念，再深入解释其机制，最后结合实际或业务场景说明价值
• 对于设计问题，先列出关键需求（如并发、延迟、成本），再提出方案并权衡优缺点
• 请描述一次你使用CUDA优化某个算子的经历，遇到了什么瓶颈，如何解决的？
• LLM推理中常用的优化技术有哪些？请解释FlashAttention的原理和优势
• 如何设计一个大模型推理服务的弹性伸缩策略？需要考虑哪些因素？
• 你对DiT模型在推理阶段的优化有什么想法？
• 请举例说明你在团队中如何推动一项新技术落地