dots-模型结构算法工程师

优缺点分析

角色解读

• 在LLM预训练核心团队积累前沿技术经验，可成长为Scaling Law或模型架构方向的专家
• 有机会主导新一代模型结构的设计与验证，推动技术落地并发表高影响力论文
• 往技术管理方向发展，带领子团队攻克更大规模训练与推理效率挑战
• 设计并执行大规模对比实验，研究模型能力随计算量、数据量等维度的扩展规律（Scaling Law）
• 探索并实现新型模型结构（如MoE、Hybrid Attention），验证其对模型效率与能力边界的影响
• 研究并优化超大模型训练中的优化器、混合精度、大Batch训练等问题，解决训练稳定性与效率挑战
• 扎实的Python编程能力和PyTorch使用经验，能够快速实现和迭代研究想法
• 深厚的机器学习/深度学习理论基础，熟悉Transformer架构及其变体
• 具备分布式训练或CUDA/Triton算子优化经验者优先，有大规模实验设计和分析能力
• 对训练动态（loss curve、emergent ability）有敏锐洞察力，数据驱动的研究习惯

申请策略

• 在简历或Cover Letter中体现你对loss curve与训练dynamics的兴趣，展示研究品味
• 了解小红书在社区和电商领域的产品背景，思考LLM如何赋能业务场景
• 突出LLM预训练或相关研究经历，特别是大规模实验设计与分析成果
• 强调技术深度：如MoE、长上下文、优化器改进等具体项目经验
• 展示数学/算法竞赛背景（如ACM、NOI）或论文发表，体现研究潜力
• 列举分布式训练、CUDA/Triton等系统优化经验，证明动手能力
• 补充Scaling Law相关论文阅读（如Chinchilla、Scaling Laws for Neural Language Models）
• 熟悉PyTorch分布式训练（DDP/FSDP）并动手复现一些主流LLM训练流程

面试指南

• 对于技术问题，可采用「定义-原理-实践-优化」框架：先清晰定义问题，解释底层原理/公式，结合项目经历说明具体做法，最后提出可优化的方向
• 对于开放性问题，强调数据驱动和系统性思维
• 请解释Scaling Law的基本概念，并说明参数规模、数据量、计算量三者之间的关系
• MoE架构相比Dense Transformer有什么优势和挑战？如何解决负载均衡问题？
• 在训练超大规模模型时，你会如何诊断并解决loss spike或训练不稳定的问题？
• 你对非Transformer架构（如Mamba、RWKV）有什么看法？它们在长上下文场景下的表现如何？
• 请描述一次你设计并执行大规模实验的经历，包括实验目标、变量控制、结果分析
• 复习Transformer、MoE、Scaling Law核心论文，深入理解关键公式和实验设计