科大讯飞
【星火X计划-实习】超长上下文大模型结构建模技术研究(J14622)
【星火X计划-实习】超长上下文大模型结构建模技术研究(J14622)
发布于 2 小时前实习/见习
实习生仅现场办公机器学习工程
机器学习工程
Kv缓存优化
Megatron-Lm
Pytorch
分布式训练
大模型预训练
注意力机制
深度学习
值不值得投
76综合评分
综合评分 76
前沿大模型核心算法实习、技术成长空间极大、易出顶会成果，但研发节奏较快。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
6千
比机器学习工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 230 个在招 · 其中机器学习工程 31 个
市场机会
选择适中
合肥 · 机器学习工程 · 49 个在招
职位详情
关于这个职位
该职位聚焦千万级超长上下文通用大模型建模难题，研究线性与稀疏注意力混合架构，优化KV缓存与位置编码
你将参与大模型预训练、推理加速及评测体系搭建，解决长文本理解与推理中的算力与显存瓶颈
最低要求
毕业时间在28届及以后，硕士及以上学历，计算机科学与技术、人工智能、电子信息、数学、自动化、高性能计算等相关专业，其他专业但具备突出研究和动手能力者同样欢迎
具备扎实的机器学习、深度学习及大模型基础，熟悉 Transformer 架构、各类注意力机制核心原理与技术优劣，掌握大模型预训练、微调、推理全链路技术体系，了解大规模模型训练的各类并行调度优化方案
熟练掌握 Python，具备良好的 C/C++ 编程能力，熟悉 PyTorch 框架
具备良好的科研建模、理论分析、算法设计和实验验证能力，能够搭建预训练实验基线，跟踪并复现业界前沿方案，分析关键瓶颈并提出具有创新性的解决思路
具备良好的跨团队协作能力，可协同模型训练、推理加速、业务落地团队推进技术迭代，抗压能力强，能够适配工业级前沿算法研发节奏
工作职责
开展融合式注意力建模创新研究，设计线性-稀疏混合自适应建模架构，保障全局运算严格线性复杂度的同时强化局部时序精细建模
构建轻量化时序位置编码与自适应校正机制，解决千万级上下文的位置偏移与外推失效问题
设计层级化次线性KV缓存淘汰与压缩策略，解决超长序列推理缓存爆炸问题
设计差异化预训练调度、权重自适应融合、损失校正策略，解决超长序列预训练收敛慢、精度震荡问题
搭建覆盖时序建模精度、序列外推能力、算力/显存开销、长文本任务泛化性的全维度自动化评测平台，完成算法方案的有效性、稳定性验证
优先资格
具备基座大模型预训练及相关前沿研究经验者优先
具有 Megatron-LM、TorchTitan等大模型训练框架使用或二次开发经验者优先
在 NeurIPS、ICLR、ICML、ACL 等顶级会议或相关高水平期刊发表过大模型预训练、稀疏模型、深度学习优化等方向论文者优先
AI 洞察
优缺点分析
优点
- 聚焦大模型最前沿的超长上下文难题，技术壁垒高，易产出顶会论文
- 依托星火大模型平台，拥有充足的算力资源与工业级落地场景
- 属于顶尖AI人才计划，能接触到业界核心的预训练与推理优化技术
- 千万级长序列建模涉及极高的算力与显存开销，实验周期长、调试难度大
- 需要平衡理论创新与工程落地，对算法设计与底层框架优化能力要求极高
- 适合对大模型底层架构有浓厚兴趣、具备扎实数学与算法基础，且有志于在AI基础研究或大模型预训练方向深耕的硕博研究生
缺点 / 挑战
暂无明显挑战项
角色解读
- 从大模型算法研究员成长为超长上下文建模领域的技术专家
- 未来可主导大模型预训练核心架构设计，或向大模型系统优化、AI业务落地等方向拓展
- 研究千万级超长上下文大模型的注意力机制，设计线性-稀疏混合自适应建模架构
- 优化KV缓存淘汰与压缩策略，解决超长序列推理的显存瓶颈
- 搭建全维度自动化评测平台，验证算法方案的有效性
- 扎实的深度学习与大模型基础，精通Transformer架构及各类注意力机制原理
- 熟练掌握Python、C++及PyTorch，熟悉Megatron-LM等大模型训练框架
- 具备优秀的科研建模、算法设计及顶会论文阅读与复现能力
申请策略
- 了解科大讯飞星火大模型的最新进展与长文本能力，准备针对超长上下文痛点的具体优化思路作为面试加分项
- 突出在Transformer、注意力机制或大模型预训练方向的研究经历与项目成果
- 强调在NeurIPS、ICLR等顶会的论文发表记录或开源框架的二次开发经验
- 展示解决过的大规模模型训练收敛、显存优化或推理加速的具体案例
- 深入学习线性注意力、稀疏注意力及KV Cache优化的最新前沿论文
- 提升C++与CUDA编程能力，以应对大模型底层算子与训练框架的性能优化需求
面试指南
- 采用“问题拆解-理论分析-工程实现-实验验证”的框架
- 先阐述技术原理与痛点，再提出创新解决方案，最后结合具体实验数据或工程指标（如显存、吞吐量）说明效果
- 线性注意力与稀疏注意力各自的优缺点是什么？如何设计混合架构来弥补单一机制的缺陷？
- 在千万级上下文场景下，如何解决位置编码的外推失效与长距离位置偏移问题？
- 请详细描述一种次线性KV缓存淘汰或压缩策略，并分析其对推理精度和显存占用的影响
- 在使用Megatron-LM等框架进行大模型预训练时，遇到过哪些并行调度或收敛问题？如何解决的？
- 复习Transformer底层数学推导，精读近期关于Long Context、Linear Attention、Sparse Attention的顶会论文
- 准备1-2个自己主导的深度学习算法优化项目，详细阐述难点与解决过程
职位点评
薪资福利65
成长发展95
工作生活50
使命价值85
薪资福利
65中等
作为顶尖AI人才实习计划，薪资在实习生中具备一定竞争力，但整体仍受限于实习身份。
薪资信号未披露（AI估算：4–8千/月）
成长发展
95较高
聚焦千万级超长上下文大模型核心难题，技术极具前沿性，且明确鼓励产出顶会论文，发展性极强。
技术前沿前沿/新兴技术
技术栈Transformer、线性注意力、稀疏注意力、KV缓存、PyTorch、Megatron-LM、大模型预训练
成长机会星火X顶尖AI人才计划、产出高水平顶会论文
业务类型profit_center
工作生活
50较低
JD未提及工作模式与WLB相关信息，且工业级前沿算法研发节奏通常较快，生活化动机满足度一般。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
85较高
大模型技术属于当前AI领域的核心驱动力，解决长文本理解等痛点具有显著的行业推动价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号填补千万级长序列统一建模技术空白、拓展大模型超长场景业务边界
创新程度开拓性创新（行业首创）
科大讯飞 的其他在招职位
相似职位推荐
Watch Jobs