AML-火山方舟大模型推理系统工程师

优缺点分析

角色解读

• 技术深度发展：成为大模型推理系统领域的资深专家
• 架构方向：负责更大规模分布式系统的架构设计
• 管理方向：带领团队（Tech Lead）或转为技术管理岗
• 研发和优化大模型训练与推理系统，提升计算性能和吞吐量
• 解决高并发、高可靠性等技术难题，支撑千亿级日均Token流量
• 调研引入前沿技术架构，如子图匹配、编译优化、模型量化等
• 与算法部门协作，实现算法与系统的联合优化
• 精通C/C++和Python，具备大规模机器学习系统经验
• 熟悉至少一种深度学习框架（PyTorch/TensorFlow等）
• 掌握主流大模型推理框架（vLLM、TensorRT-LLM等）
• 理解GPU硬件架构和CUDA编程，有性能分析能力

申请策略

• 准备一个完整的项目经历，说明如何优化系统提升吞吐量或降低延迟
• 了解火山引擎和字节跳动大模型业务布局，展示技术热情
• 突出大规模机器学习系统或推荐系统的实践经验，尤其是性能优化案例
• 展示对主流大模型推理框架（vLLM、TensorRT-LLM）的使用或二次开发经验
• 强调C++/Python编程能力以及GPU编程（CUDA）项目
• 描述解决高并发、分布式系统问题的具体成果
• 深入了解vLLM或TensorRT-LLM的源码，尝试贡献代码
• 学习GPU性能分析工具（Nsight、Profiler）和模型量化技术

面试指南

• 从问题分析、方案设计、实现细节、效果量化四个方面回答技术问题
• 对于系统设计类问题，先明确需求边界，再给出架构方案，最后讨论权衡
• 如何优化Transformer推理中的显存占用和延迟？
• 请解释vLLM的PagedAttention原理及其优势
• 描述一次你解决分布式训练或推理系统性能瓶颈的经历
• CUDA kernel优化中，如何有效利用共享内存和寄存器？
• 大模型推理服务如何实现高并发和负载均衡？
• 复习GPU架构和CUDA优化技巧，准备一个相关项目案例