稀宇科技
大模型算法评测实习生
大模型算法评测实习生
发布于 大约 11 小时前实习/见习
上海市 / 北京市
无经验要求
实习生
仅现场办公
本科
研究与开发 (研发)
PyTorch
开源项目
多模态模型
大语言模型
自动化评测
数据集建设
前沿技术追踪
Acm
AI 估算 · 6k–9k
实习薪资，结合上海/北京消费水平及AI算法实习行情，中等偏上。
职位详情
关于这个职位
该职位负责构建AI大模型评测系统，与模型训练团队协作优化模型效果
你将参与自动化评测框架开发、评测方案制定和数据集建设，通过全面评测分析模型能力边界，为模型迭代提供指导
同时需追踪大模型前沿技术，探索新的评测方法
最低要求
本科或硕士在读，计算机及相关专业优先，实习时间不少于4个月，每周不少于4天
良好的 pytorch / python技术栈，具备熟练的阅读代码和编写代码的能力
了解大语言模型，日常高频使用大语言模型解决问题，热衷于探索大语言模型的上限
对SOTA 的大模型技术有深入了解(不管是来自实践还是其他)，能够问出好的问题，并对至少一个重要问题有非共识理解
科学的研发习惯
具备良好的问题定义能力
对细节敏感
独立思考
工作职责
负责AI大模型的评测系统的构建，与模型训练团队配合不断优化提升AI大模型效果
深入理解大规模语言模型/多模态模型，参与自动化评测框架的开发、评测方案的制定与评测数据集的建设
通过对模型进行全方面细致的评测，明确模型能力边界，对模型能力进行深入分析，产出围绕大模型的客观认知，从而为模型训练迭代提供指导意见
追踪大模型方向前沿进展，积极主动地学习和探索新的评测及分析的方法和技术
优先资格
有较强的代码能力，参与过有影响力开源项目/有 acm获奖经验的优先
AI 洞察
优缺点分析
优点
- 接触前沿大模型技术，提升实战能力
- 参与构建评测系统，全面发展技能
- 与模型训练团队紧密合作，积累宝贵经验
- B轮公司，发展前景好
- 需要持续学习，技术更新快
- 评测工作需细致耐心，对细节要求高
- 团队合作要求高
- 适合对大模型有浓厚兴趣、具备较强编程能力、追求技术深度的在校学生
缺点 / 挑战
暂无明显挑战项
角色解读
- 向高级算法工程师发展，深入模型训练与优化
- 成为大模型评测专家，主导评测体系设计
- 转向AI研究岗位，参与前沿技术探索
- 构建AI大模型评测系统，与模型训练团队协作优化模型效果
- 开发自动化评测框架，制定评测方案并建设评测数据集
- 全面评测模型，分析能力边界，输出分析报告指导模型迭代
- 追踪大模型前沿技术，探索新评测方法
- 熟练掌握Python和PyTorch，具备良好的代码能力
- 深入了解大语言模型原理及SOTA技术
- 具备科学研发习惯和问题定义能力，对细节敏感
- 有开源项目或ACM竞赛经验者优先
申请策略
- 在简历中体现对评测工作的热情和思考
- 了解稀宇科技的产品和技术方向
- 突出Python/PyTorch项目经验，特别是与深度学习相关
- 强调对大语言模型的理解和使用经验
- 如有开源贡献或ACM获奖，务必列出
- 展示问题定义和分析能力
- 深入学习Transformer架构和常见大模型
- 实践自动化测试框架开发
面试指南
- 结合具体案例，展示系统性思考
- 分析评测指标、数据集构建、误差分析等
- 突出实践经验和细节把控
- 请谈谈你对大模型评测的理解
- 如何设计一个评测任务来评估模型在某一方面的能力？
- 描述你使用PyTorch完成的一个项目
- 如何应对模型评测中的“作弊”或过拟合问题？
- 你如何看待目前LLM的局限性？
职位点评
68
综合评分
前沿大模型评测实习，技术成长突出，但工作强度未明确。
更适合这类人
适合追求技术成长、愿意投入时间学习的学生。
表现最好
成长发展
相对薄弱
工作生活
薪资福利60
成长发展90
工作生活50
使命价值70
薪资福利
60中等
实习薪资处于行业中等水平，公司提供学习机会但经济回报有限。
薪资信号未披露（AI估算：6K-9K/月）
成长发展
90较高
该职位提供大模型前沿技术学习、实践评测系统构建，成长空间大。
技术前沿前沿/新兴技术
技术栈大语言模型、多模态模型、PyTorch、Python
业务类型ambiguous
工作生活
50较低
需要保证较长实习时间和出勤，但未提及加班情况。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
参与前沿AI技术研发，对人工智能发展有贡献，但短期使命感不强。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs