大模型算法工程师（评测方向）-抖音研发（北京/杭州/深圳/上海）

优缺点分析

角色解读

• 深入大模型评测领域，成为评测方向技术专家或负责人
• 转向算法研发或AI平台架构岗位，拓宽技术广度
• 随着大模型技术发展，可向AI科学家或技术管理岗位发展
• 设计并落地大模型评测框架，持续提升评测的专业度与效率
• 训练、部署和调优评测模型，分析模型表现并归因问题，输出评测洞察
• 面向LLM、多模态、Agent等前沿场景，探索科学可扩展的评测方法论
• 跟踪大模型领域前沿技术，在评测工作中应用创新
• 扎实的机器学习、深度学习或自然语言处理基础，具备大模型算法经验
• 熟练使用Python，有评测框架设计、模型训练部署或评测系统落地经验
• 出色的分析和问题解决能力，能深入解决大模型训练与应用中的问题
• 良好的沟通协作能力，能与团队高效合作推进技术落地

申请策略

• 关注字节跳动技术博客和AI Lab动态，了解业务方向
• 在简历中体现对评测科学性的思考，如如何设计公正稳定的评测指标
• 突出大模型相关的项目经验，如LLM微调、评测数据集构建等
• 展示算法竞赛、论文或开源贡献，体现技术深度
• 强调Python编程能力和评测框架设计经验
• 量化工作成果，如模型性能提升百分比、评测效率提高等
• 深入学习主流大模型架构（如GPT、BERT、LLaMA）及评测方法
• 补充强化学习、多模态等相关知识，拓宽技术面

面试指南

• STAR法则：情境-任务-行动-结果，结构化描述项目经验
• 先定义问题，再提出多个可选方案，比较优劣后选择最优
• 注重量化结果和迭代思维，展示从数据到模型再到评测的闭环能力
• 请介绍你参与过的大模型评测项目，包括设计思路和遇到的挑战
• 如何评估一个LLM的生成质量？你会设计哪些评测指标？
• 你如何判断评测数据集的覆盖性和公平性？
• 当模型表现异常时，你会如何定位问题并改进评测流程？
• 如何看待当前大模型评测方法的局限性？你有什么改进想法？