协助规划和执行AI模型的基准测试,包括定义测试计划、指标以及关于准确性、鲁棒性、偏见和可靠性的验收标准
通过审查数据集、模型输出和数据操作实践,支持内容准确性、相关性和隐私检查,并上报潜在的监管风险
根据特定的标注指南验证数据,确保所收集信息的准确性和质量
准备清晰的审计和基准测试报告,包括错误评级、根本原因分析和建议,并为高级利益相关者的演示文稿做出贡献
维护有组织的审计文档、证据和基准测试数据集以支持内部审查
与团队成员和经理密切合作,推动流程效率提升并探索自动化机会
努力通过为AI审计方法、检查清单和测试框架的开发和持续改进做出贡献,来提高数据生成的效率和有效性,以适应法规和最佳实践的发展