阿里巴巴
日常实习生-AI Coding 研发-评测方向
日常实习生-AI Coding 研发-评测方向
发布于 大约 13 小时前实习/见习
实习生仅现场办公人工智能
人工智能
Ai Coding
Go
Llm
评测体系
值不值得投
72综合评分
综合评分 72
大厂实习，前沿技术栈，成长空间大，但工作强度可能较高。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
4K
比人工智能中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1730 个在招 · 其中人工智能 91 个
市场机会
选择面较广
杭州 · 人工智能 · 97 个在招
职位详情
关于这个职位
作为阿里云AI Coding创新团队的日常实习生，你将深度参与AI编程工具的评测体系构建，包括设计自动化评测框架、研发高质量评测数据集与指标、开发智能评测Agent等
你将与算法和工程团队紧密协作，为模型迭代和产品发布提供评测驱动的反馈闭环，确保产品在代码生成、理解、补全等核心场景中达到业界领先水平
最低要求
计算机科学、软件工程或相关专业硕士及以上学历
精通Python、Go或Java至少一种语言，具备扎实的工程实现能力与良好的代码规范意识
深入理解LLM技术栈，有Agent系统设计及开发经验优先
熟悉大模型全链路（从模型训练到推理、各类AI框架），对AI研发助手有独到见解和创新思路，熟悉技术社区，参与过开源生态建设者优先
有AI Coding相关评测体系设计、评测指标构建、训练数据合成与清洗等经验者优先
熟悉云原生技术栈（Docker/Kubernetes），有高并发服务开发或评测平台建设经验者加分
工作职责
构建端到端的AI Coding评测体系：设计覆盖多语言、多场景、多维度（正确性、安全性、可维护性、性能、一致性等）的自动化评测框架，支撑模型迭代与产品发布
研发高质量评测数据集与指标：通过合成数据、真实用户反馈、开源项目挖掘等方式构建代表性评测集
定义并实现量化指标（如Pass@k、CodeBLEU、执行成功率、静态分析合规率等）
开发智能评测Agent与仿真环境：构建可模拟开发者行为的评测智能体，支持复杂上下文（跨文件、工程级依赖、调试交互）下的能力评估
协同算法与工程团队：参与大模型训练数据筛选与合成、RAG效果验证、推理策略优化等环节，提供评测驱动的反馈闭环
推动评测平台工程化：建设高可用、可扩展、低延迟的评测服务系统，支持大规模并发评测任务调度与结果分析
AI 洞察
优缺点分析
优点
- 接触前沿AI Coding技术，参与核心产品研发
- 大厂平台，资源丰富，有导师指导
- 积累大模型评测经验，市场需求大
- 实习表现优秀有转正机会
- 技术栈要求高，需要快速学习LLM和Agent知识
- 工作强度可能较大，需要适应快节奏
- 评测体系构建复杂，需要跨团队协作
- 适合对AI编程工具和评测体系有浓厚兴趣，具备扎实编程基础，愿意深入大模型技术的计算机相关专业硕士生
缺点 / 挑战
暂无明显挑战项
角色解读
- 从评测实习生起步，可转向AI算法工程师或评测平台开发工程师
- 积累大模型评测经验，成为AI质量保障专家
- 有机会参与开源生态，提升技术影响力
- 设计并实现AI Coding评测框架，覆盖多语言、多场景的自动化测试
- 构建高质量评测数据集，定义量化指标如Pass@k、CodeBLEU等
- 开发智能评测Agent，模拟开发者行为，评估复杂上下文下的模型能力
- 与算法和工程团队协作，提供评测反馈闭环，优化模型和产品
- 精通Python、Go或Java至少一种，具备扎实的工程能力
- 深入理解LLM技术栈，有Agent系统开发经验优先
- 熟悉大模型全链路，包括训练、推理和AI框架
- 了解云原生技术栈，如Docker和Kubernetes
申请策略
- 了解阿里云AI Coding产品，如通义灵码，准备相关见解
- 在简历中体现对评测体系的理解，可附上相关项目链接
- 突出编程语言熟练度，尤其是Python或Java的项目经验
- 强调LLM或Agent相关项目，如模型微调、Agent开发
- 展示评测相关经验，如自动化测试框架设计、指标定义
- 提及开源贡献或技术社区活跃度
- 学习LLM基础知识，了解Transformer架构和主流模型
- 实践Agent开发，使用LangChain或AutoGPT等框架
面试指南
- 对于设计类问题，采用需求分析、方案设计、实施步骤、效果评估的结构
- 对于技术问题，结合具体项目经验，说明背景、挑战、解决方案和结果
- 对于开放性问题，展示逻辑思维和创新性，可提出多种方案并比较
- 如何设计一个评测AI代码生成模型的框架？
- 解释Pass@k指标的含义和计算方法
- 你如何构建一个高质量的评测数据集？
- 描述一个你使用LLM或Agent的项目经验
- 如何确保评测系统的可扩展性和低延迟？
职位点评
薪资福利60
成长发展90
工作生活50
使命价值80
薪资福利
60中等
实习薪资在杭州处于中等水平，但大厂实习经历对简历加分，福利待遇较好。
薪资信号未披露（AI估算：3K-5K/月）
成长发展
90较高
职位涉及前沿AI技术，能深度参与核心项目，成长空间大，导师制等培养机制。
技术前沿前沿/新兴技术
技术栈LLM、Agent、AI Coding、评测体系
业务类型profit_center
工作生活
50较低
实习岗位通常需要现场办公，工作强度可能较大，但杭州生活便利。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
AI Coding是热门赛道，产品有潜力提升开发效率，具有技术价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs