AI Benchmarking Specialist - Chinese, International Seller Growth

优缺点分析

角色解读

• 向AI审计专家或质量保证经理发展，负责更复杂的模型评估项目
• 积累生成式AI评测经验后，可转向AI产品经理或数据科学家等角色
• 在亚马逊内部可横向拓展至卖家AI工具的产品或运营岗位
• 设计并执行AI模型基准测试方案，评估模型在准确性、偏见、鲁棒性等方面的表现
• 审核数据集和模型输出，确保内容准确合规并发现潜在风险
• 编写详细的审计报告，为高级管理层提供改进建议和决策支持
• 参与优化AI审计流程，探索自动化工具以提升效率
• 了解AI/ML基础概念，特别是大语言模型（LLM）的评估方法
• 具备数据分析和质量保证能力，能根据标注指南精确验证数据
• 良好的沟通和文档编写能力，能产出清晰专业的报告
• 注重细节，有逻辑思维和问题解决能力

申请策略

• 在求职信中表达对AI伦理和模型质量的兴趣，展现细致认真的工作态度
• 提前了解亚马逊领导力准则（如“顾客至上”），在面试中结合具体案例体现
• 突出数据标注、质量审核或模型评估相关项目经历，展示你对AI工作流的理解
• 强调数据分析能力，如使用Python进行数据清洗或可视化
• 如有学术研究（如论文或竞赛）涉及AI公平性、鲁棒性，务必提及
• 展示英语能力，尤其是技术文档阅读和报告撰写经验
• 补充AI/ML基础知识，特别是大语言模型的工作机制和评测指标（如BLEU、ROUGE、准确率等）
• 学习基本的Python编程和数据分析工具（如Pandas、Matplotlib），用于自动化审计任务

面试指南

• 使用STAR法则（情境、任务、行动、结果）回答行为问题，突出细节和逻辑
• 技术问题可分步骤解答：定义问题→提出指标→设计测试→分析结果
• 展现批判性思维，承认模型可能的缺陷并提出改进方向
• 如何评估一个AI模型的准确性和公平性？请举例说明
• 描述一次你发现数据质量问题并推动改进的经历
• 你如何确保在大量重复性工作中保持高准确率？
• 谈谈你对大语言模型（LLM）局限性（如幻觉、偏见）的理解
• 如果让你设计一个针对客服聊天机器人的基准测试，你会考虑哪些维度？