LongCat - 基座大模型评测分析研究员

优缺点分析

角色解读

• 专业路径：从研究员成长为技术专家，专注大模型评测与优化，掌握Scaling Law等核心规律
• 管理路径：积累经验后带领团队负责模型评测方向，或横向扩展至模型训练全链路
• 行业机会：大模型是AI领域风口，具备此经验可跳槽至头部科技公司或创业团队
• 分析大语言模型的评测结果，定位模型在训练和推理中的问题，并提出改进方向
• 构建数据-训练-评测闭环，研究数据配比、Scaling Law对模型效果的影响
• 追踪前沿技术，探索新的评测方法和优化策略，并推动团队技术迭代
• 与算法、工程团队紧密协作，参与预训练、SFT、RLHF等全流程优化
• 扎实的编程能力，精通Java/Python/C++，能够高效实现算法和数据处理流程
• 深入理解NLP、多模态或大模型相关算法，熟悉Transformer、BERT、GPT等架构
• 具备数据分析和实验设计能力，能从海量数据中提炼规律并指导模型优化
• 良好的沟通与协作能力，能在跨团队项目中推动技术落地

申请策略

• 深入了解美团在零售+科技领域的大模型应用场景，在面试中展示业务思维
• 准备1-2个你曾经解决的模型优化案例，详细描述问题分析、实验设计和结论
• 突出大模型相关项目经验，如参与过预训练、微调或评测工作，量化成果（如提升指标）
• 强调编程能力和算法功底，列出熟悉的框架（PyTorch/TensorFlow）和语言（Python/C++）
• 展示数据分析和实验设计能力，如设计过对比实验或分析过模型异常案例
• 如有论文或开源贡献，务必列出，体现研究深度
• 系统学习大模型技术栈：Transformer原理、RLHF、Prompt Engineering、模型压缩等
• 实践数据分析和可视化工具，如Pandas、Matplotlib、TensorBoard，用于分析模型行为

面试指南

• 对于项目描述类问题，采用STAR法则（情境-任务-行动-结果），突出个人贡献和量化成果
• 对于技术原理类问题，先解释核心概念，再结合实际案例说明应用场景和局限性
• 对于问题解决类问题，结构化思考：假设-验证-迭代，强调数据驱动和实验方法论
• 请详细描述你参与过的一个大模型项目，包括模型架构、训练流程和评测指标
• 如何评估大语言模型的性能？请列举你熟悉的评测指标和方法，并说明各自的优缺点
• 模型在评测中表现不佳，你如何定位问题？请描述你的分析思路和步骤
• 什么是Scaling Law？如何设计实验验证数据量与模型效果的关系？
• 在多轮对话场景中，如何设计自动化评测方法以确保模型回复质量？