米哈游
LLM数据处理
LLM数据处理
发布于 大约 17 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
分布式计算
PyTorch
数据湖
LLM
数据清洗
Pipeline
AI 估算 · 25k–45k
LLM方向是当前热门，米哈游大厂薪资竞争力强，上海岗位，技术要求高。
职位详情
关于这个职位
该职位负责构建和优化LLM大模型的高质量训练数据集，包括数据清洗、实验和Pipeline建设
你将参与前沿AI技术，接触海量数据处理和分布式计算，适合有扎实编程和大数据经验、对LLM感兴趣的工程师
最低要求
计算机/软件工程等相关专业本科以上学历
扎实的编程基础、良好的编程风格，熟悉多线程编程、分布式计算、网络通信、内存管理、设计模式
熟悉多项大数据处理/分析相关的工具/框架，例如Hadoop、HDFS、Hive、MapReduce、Spark、Presto、ClickHouse、Ray、数据湖等
具备优秀的分析和解决问题能力，良好的团队合作精神及沟通意识
工作职责
参与LLM大模型的数据准备、数据清洗、数据实验等工作，构建高质量的LLM数据集
建设对标业内前沿的LLM训练数据集，并在此基础上进一步提升数据质量和多样性
构建高质量LLM数据产出的Pipeline，包括文本数据质量、Pipeline的优化等
优先资格
有前沿模型研发经验，涉及数据、评估、平台相关工作
具有大规模分布式架构设计开发经验
熟悉PyTorch深度学习框架，了解常见的深度学习算法
AI 洞察
优缺点分析
- 参与前沿LLM技术，积累大数据和AI核心经验
- 米哈游平台大，项目影响力强，职业发展空间好
- 薪资待遇优厚，福利完善，上海大厂环境
- 对技术深度和广度要求高，需同时掌握大数据和深度学习
- 数据处理工作可能重复性较高，需要耐心和细致
- 互联网大厂工作节奏快，可能存在一定加班压力
- 适合有2-5年大数据处理经验，对LLM感兴趣，希望深入AI基础设施的工程师
角色解读
- 可向LLM数据专家或模型训练专家发展，深入AI核心
- 未来可转向模型评估、训练平台开发或AI架构师
- 也有机会在米哈游内部转岗至其他AI相关岗位
- 负责LLM大模型的数据准备和清洗，构建高质量训练数据集
- 建设业内前沿的LLM训练数据集，提升数据质量与多样性
- 开发并优化数据产出Pipeline，确保文本数据质量和处理效率
- 扎实编程基础，熟悉多线程、分布式计算、网络通信等
- 掌握Hadoop/Spark等大数据处理框架，具备数据管道构建经验
- 了解深度学习框架（如PyTorch）和常见算法
申请策略
- 了解米哈游在AI领域的布局，特别是LLM相关产品
- 简历中体现对数据质量的追求和问题解决能力
- 突出大数据项目经验，特别是数据处理Pipeline的构建
- 强调编程能力，展示多线程、分布式系统相关项目
- 如果有LLM相关数据工作或研究经验，务必重点描述
- 补充PyTorch等深度学习框架的使用经验，了解常见模型
- 复习Hadoop/Spark核心原理，熟悉大规模数据处理优化技巧
面试指南
- STAR原则：描述情境、任务、行动、结果，突出技术细节和量化成果
- 对比方法：比较不同技术选型的优缺点，展示决策能力
- 问题解决思路：先分析瓶颈，再提出方案，最后验证效果
- 请描述一次你构建数据处理Pipeline的经历，遇到哪些挑战？
- 如何评估数据集的质量？你用过哪些数据清洗方法？
- Hadoop和Spark的区别？什么场景下选择哪个？
- 对LLM训练数据的要求有哪些？如何提升数据多样性？
- 如果处理TB级数据，你会如何优化性能？
匹配度报告
68
综合匹配度
大厂LLM数据处理岗，前沿技术栈，薪资竞争力强，但工作强度可能较大。
适合人群
适合追求技术成长和薪资回报，对WLB要求不高，能接受现场办公环境的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利75
成长发展85
工作生活40
使命价值70
薪资福利匹配
75中等
薪资水平偏高，大厂福利有保障，但JD未明确提及具体福利，补偿性动机满足度较好。
薪资信号未披露 (25K-45K/月)
成长发展匹配
85较高
前沿LLM技术栈，大数据和深度学习技能成长空间大，但JD未明确提及晋升路径。
技术前沿前沿/新兴技术
技术栈LLM、Hadoop、Spark、PyTorch、分布式计算
业务类型ambiguous
工作生活匹配
40较低
仅现场办公，上海办公地点，未提及WLB，互联网大厂可能有加班压力。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值匹配
70中等
AI行业高速增长，技术创新性强，但社会影响中性，使命感一般。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs