大模型策略产品实习生（J98040）

优缺点分析

角色解读

• 深耕AI产品方向，可从评测策略扩展到模型产品设计，晋升为高级产品经理
• 积累大模型领域经验，向AI解决方案架构师或技术产品总监发展
• 在百度内部可横向转岗至搜索、对话等核心产品线，拓宽职业道路
• 参与大模型主观能力评测体系的搭建，设计评测维度和策略，确保模型能力评估的全面性和有效性
• 探索自动评估方法，如基于规则、模型打分等，提升评测效率，并推动工具化落地
• 利用用户反馈数据，分析模型体验问题，识别能力短板，输出改进建议
• 与算法、研发团队协作，将评测结论转化为模型优化和产品策略，推动项目进展
• 产品思维：能够独立进行需求分析、功能设计，并对复杂问题进行结构化分析
• 数据分析能力：能从用户数据中提炼洞察，指导产品迭代
• 对大模型技术有浓厚兴趣，了解基本原理和应用场景
• 沟通协作能力：作为跨团队桥梁，高效推进项目

申请策略

• 在简历中可附上个人对大模型应用的理解或小作品，如分析文章或Demo
• 关注百度AI开放平台及文心一言动态，面试中展现对百度产品的了解
• 突出与AI或大模型相关的项目经验，如参与过模型评测、产品设计或数据分析
• 强调数据分析能力，可附上具体案例，如通过数据洞察驱动产品改进
• 展示产品思维，例如在实习或课程中设计过产品功能并取得效果
• 若有Python或自动评估相关经验，务必提及
• 提前了解大模型基础知识，如Transformer、Prompt工程等
• 学习基本的Python脚本编写，了解LLM-as-a-Judge等自动评估方法

面试指南

• 先明确评估目标，再拆解维度（如相关性、创造性等），结合定量和定性方法，注意人机结合
• 强调自动评估的效率和一致性，同时承认局限性，需要人工校准
• 从数据入手定位问题，提出假设并验证，最后形成可执行建议
• 使用STAR法则描述经历，突出数据洞察和实际影响
• 请谈谈你如何评估一个大模型的主观能力？你会设计哪些维度？
• 你如何理解LLM-as-a-Judge？它能替代人工评估吗？
• 如果模型在创意写作任务上表现不佳，你会如何分析原因并推动改进？
• 描述一个你通过数据驱动产品优化的经历