LongCat - 预训练算法研究员

优缺点分析

角色解读

• 在算法研究员方向上深耕，逐步成为大模型训练领域的专家
• 可向技术负责人或架构师方向发展，带领团队攻克技术难题
• 在美团内部有完善的技术晋升通道，可向更高的技术级别或管理岗位发展
• 负责下一代大模型训练范式的研究，从模型结构、训练策略、数据策略等角度提升模型能力
• 设计更高效的模型结构，如长序列能力、记忆能力、推理能力等
• 探索前沿训练范式，如diffusion LLM、test-time scaling等，并研究scaling路径
• 深入理解NLP、LLM、MLsys等领域的核心理论和技术
• 熟练使用PyTorch、Megatron、DeepSpeed等主流框架进行模型训练和推理
• 具备扎实的数学和优化基础，能够设计实验并分析训练动态

申请策略

• 在面试中展示对LLM技术趋势的深入思考和独特见解，而不是仅仅罗列技能
• 关注美团的业务场景，思考如何将技术应用到实际业务中
• 突出在NLP或LLM领域的研究成果和项目经验，包括发表的论文、开源贡献或实际应用
• 详细描述使用PyTorch、Megatron等框架进行大规模训练的实践经验
• 强调对scaling law、训练策略等前沿技术的理解和探索
• 可以提前补充MLsys知识，了解分布式训练中的通信、显存优化等技术
• 熟悉Megatron、DeepSpeed等框架的源码，提升工程能力

面试指南

• 用STAR法则（情境、任务、行动、结果）结构化描述项目经验
• 对于开放式问题，先阐述基本概念，再结合自己的实践和思考，提出创新点
• 展示对技术细节的掌握（如显存优化技术），同时体现宏观视野
• 请介绍你在LLM预训练方面的项目经验，包括遇到的挑战和解决方案
• 如何设计实验来探索学习率、batchsize等超参数对训练动态的影响？
• 谈谈你对scaling law的理解，以及你认为未来scaling的瓶颈在哪里？
• 在分布式训练中，如何处理显存不足和通信效率的问题？
• 你对Diffusion LLM和test-time scaling等前沿技术有何看法？