晓天衡宇-大模型标注评测工程师-系统底层方向

优缺点分析

角色解读

• 在AI数据领域深耕，成为数据质量专家，负责更大规模的数据项目
• 向AI评测方向发展，参与模型能力评估体系的设计
• 转向AI产品管理或技术管理，带领团队负责数据标注与评测业务
• 负责验收系统底层方向的AI Coding数据质量，包括bug修复、性能优化等任务，确保数据真实且难度合理
• 主导标注规范的制定与迭代，覆盖代码生成、debug、代码审查等任务，并设计Agentic场景的标注框架
• 对标注员产出进行专家级审核，建立质量评估体系，并设计一致性校验流程
• 为标注团队提供技术培训，解决技术难题，并参与标注工具设计
• 精通C/C++/Rust，熟悉操作系统、内存管理、并发编程等底层知识
• 具备代码审阅能力，能识别代码逻辑错误、安全漏洞和性能问题
• 熟悉GDB/LLDB、perf/Valgrind等调试和性能分析工具
• 具备结构化表达和标准化能力，能将质检问题转化为可复用的验收标准

申请策略

• 了解阿里巴巴AI数据团队的业务方向，在面试中展示对AI数据质量的见解
• 准备一个案例，说明如何解决一个复杂的代码质量问题，体现专家能力
• 突出底层开发经验，特别是C/C++/Rust项目，展示对内存管理、并发等问题的处理能力
• 强调代码审阅和质量管理经验，如有相关数据标注或评测项目经历务必提及
• 展示结构化表达和标准化能力，例如编写过技术规范或评审标准
• 如有LLM相关经验，包括使用或微调模型，应重点突出
• 熟悉LLM数据标注流程和评测方法，了解Agentic场景
• 学习使用调试和性能分析工具，如GDB、perf等

面试指南

• 使用STAR法则：情境、任务、行动、结果，具体描述经历
• 强调逻辑性和系统性，展示结构化思维
• 结合底层技术知识和AI数据特点，给出专业见解
• 如何评估一个AI生成的代码修复是否正确？
• 描述一次你发现并解决内存泄漏或并发问题的经历
• 如何设计一个标注规范来确保数据质量？
• 你如何识别模型是真正理解还是死记硬背？
• 在数据标注中，如何平衡效率和准确性？