大模型评测实习生
🤖 AI 估测：¥6K-10K
发布时间：22 天前
ℹ️关于这个职位
这是一个面向快手大模型的评测实习生岗位
你将参与LLM、T2I、T2V等多种大模型的评测工作与体系建设，并开发自动化评测工具以提升效率
同时，你还会参与到评测Agent工具链、对战平台等前沿工具链的建设中，是深入理解大模型技术栈的绝佳机会
✓工作职责
以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设
参与评测相关自动化评测工具开发及维护，最大化提高评测效率
以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测
参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设
⭐最低要求
本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先
算法基础扎实，熟悉 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理
具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F1、recall等基本的模型评估指标计算方式
熟悉常见的模型架构，能够训练或微调常见CV、NLP、LLM、MLLM模型
良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，对大模型技术有热情和探索精神
具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心
👍优先资格
有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑
实际参与过AIGC、大模型相关的项目研发优先
了解分布式系统、调度、容器、代码管理相关领域技术，熟悉Kubernetes、Docker、Yarn等原理与应用
熟悉常见模型评测数据集、评测方法，包括但不限于C-Eval、CMMU、MT-bench、MINT、SuperCLUE
熟悉Bert、CLIP、BLIP、ResNet、VGG、RCNN、Yolo等常见算法原理及训练实操