【Dots】大模型AI infra工程师

优缺点分析

角色解读

• 成为AI Infra领域专家，主导下一代训练和推理系统的架构设计
• 横向扩展：从单模块优化到全栈系统架构师，覆盖数据、训练、推理
• 纵向晋升：技术专家（T序列）或技术管理者（M序列），带领团队攻克前沿难题
• 构建和管理超大规模数据管道，支撑LLM/多模态模型的训练数据全流程
• 设计和优化分布式强化学习训练框架，提升RL任务吞吐效率
• 深入CUDA/CuteDSL等底层编写高性能算子，攻克计算和通信瓶颈
• 打造高并发低延迟推理架构，优化模型部署和服务调度
• 精通CUDA编程和GPU架构，熟悉CuteDSL/TileLang等底层工具
• 有大规模分布式训练系统开发经验，熟悉PyTorch、Megatron等框架
• 熟悉数据工程全链路（生产、清洗、存储、调度），具备大数据处理能力
• 对性能优化有极致追求，理解计算/通信/显存等trade-off

申请策略

• 准备一个端到端的性能优化案例，从问题定位到解决方案，体现你的技术洞察力
• 关注小红书Dots团队的技术博客和论文，在面试中展示对团队工作的了解
• 重点突出CUDA、CuteDSL、TileLang等底层优化经历，展示性能提升数据
• 详细描述参与的大规模分布式训练或推理系统项目，强调架构设计与优化成果
• 展示对技术trade-off的理解，例如在精度/速度、显存/计算之间的权衡案例
• 深入了解FlashMLA、Mega Kernel等最新算子优化技术
• 补充强化学习训练框架（如RLHF、GRPO）的实操经验
• 熟悉数据工程工具（如Spark、Flink、PySpark）和分布式存储（如HDFS、对象存储）

面试指南

• 结构化回答：先明确问题核心（瓶颈维度），再分点提出优化方案，最后对比trade-off
• 量化思维：用具体数字（如吞吐提升X%，延迟降低Yms）支撑你的论点
• 第一性原理：不盲目套用框架，从硬件原理、计算模型出发推导最优方案
• 如何优化一个大规模Transformer模型的训练吞吐？请从数据加载、计算、通信角度分析
• 请解释FlashMLA的原理及其相比传统MLA的优势
• 在分布式RL训练中，actor和learner如何高效协同？如何处理长序列带来的显存问题？
• 如何设计一个低延迟推理服务？考虑PD分离和动态批处理
• 请描述一次你发现的性能瓶颈，并最终如何优化（具体数据）