淘天集团-智能算法产品事业部-AI 产品经理（电商方向）

优缺点分析

角色解读

• 在AI产品评测方向深耕，成为AI产品专家，负责核心Agent产品的评测体系搭建与优化
• 向AI产品经理方向发展，逐步参与产品规划、需求定义和业务落地，从评测视角转向全链路产品设计
• 积累大模型应用实战经验，未来可横向拓展到其他AI领域，或向技术型产品、解决方案架构等方向发展
• 负责构建电商场景的AI评测集（Benchmark），设计覆盖营销素材、选品分析等核心场景的测试用例，确保评测体系的高覆盖度和区分度
• 收集、清洗真实电商数据，制定高质量的评测标准，为Agent的能力评估提供可靠的数据基础
• 对Agent进行日常版本评测和验收，深入分析Bad Case，特别是“幻觉”问题，输出可驱动模型优化的深度分析报告
• 开展竞品对标分析，对比行业主流大模型和竞品Agent，为产品策略（如Prompt优化、RAG检索）提供数据支撑
• 具备扎实的逻辑思维和数据分析能力，熟练使用Excel，掌握Python基础数据处理与脚本编写
• 了解大语言模型（LLM）基本原理，对Prompt Engineering有浓厚兴趣，能撰写高质量Prompt
• 对电商行业有基本认知，熟悉SKU/SPU、GMV、转化率等常用术语，有电商运营/客服经验更佳
• 具备自驱力和沟通能力，能够主动发现问题并推动研发、产品团队协作解决

申请策略

• 关注岗位所属的事业部——智能算法产品事业部，了解其业务方向，可在面试中展示对电商AI的思考
• 准备一段自己评测AI或使用大模型的经历，展现对“评测”的兴趣和方法论
• 突出电商相关经历，如电商运营、客服、或对电商术语（SKU/SPU、GMV、转化率）的熟悉
• 强调数据分析能力，展示Excel高级技能、Python数据处理项目或相关课程作业
• 如果有AI项目经历，如使用LLM、Prompt Engineering或搭建过AI应用，务必详细描述，这是加分项
• 体现逻辑思考和“找茬”能力，可举例说明如何发现并解决复杂问题
• 提前学习大模型基础知识，了解Prompt Engineering常用技巧，并动手实践写Prompt优化效果
• 加强Python数据处理能力，学习pandas、numpy等库，并练习用Python进行简单数据分析

面试指南

• 针对评测类问题，可以先拆解场景目标，再定义评测维度（准确性、全面性、用户体验等），最后设计具体测试用例和数据标注标准
• 针对数据分析问题，明确业务问题，利用数据工具进行清洗、分析，最后给出可执行的结论和建议
• 针对推动协作问题，强调沟通步骤：先分析根因，再与研发、产品对齐优先级，最后跟进闭环
• 什么是好的电商AI Agent？你如何评价一个AI Agent的表现？
• 请你设计一个针对“智能选品”场景的评测集，你会考虑哪些维度和指标？
• 如果你发现Agent在回复中出现“幻觉”问题，你会如何分析并推动解决？
• 你熟悉哪些电商术语？请解释SKU和SPU的区别
• 你有用过哪些大模型产品？认为它们在电商场景有哪些局限？