京东
大模型量化工程师
大模型量化工程师
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Cuda
Ptq
Qat
Sglang
Vllm
国产芯片适配
大模型量化
异构计算
性能调优
值不值得投
72综合评分
综合评分 72
前沿AI基础设施岗、技术挑战高、成长空间大，工作节奏可能偏快
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
6.0万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1980 个在招 · 其中人工智能 14 个
市场机会
选择面较广
北京 · 人工智能 · 约 700 个在招
职位详情
关于这个职位
负责大语言模型及多模态模型的量化方案设计（如PTQ、QAT），在主流推理框架与异构硬件平台进行适配调优
开展模型级与算子级性能剖析，开发定制化加速内核并引入前沿解码技术以提升吞吐与降低延迟，同时设计系统化评测体系保障精度指标，推动国产芯片生态落地
最低要求
具备大模型量化方案设计与落地经验，精通PTQ、QAT及rotation等压缩技术，可在保持模型精度的前提下实现高效压缩
拥有量化模型在vLLM、SGLang等推理框架及英伟达、国产异构硬件平台上的适配、集成与性能调优能力，能推动方案在国产芯片生态中完整落地
具备模型级与算子级性能剖析与瓶颈定位能力，能针对量化算子、注意力机制等关键路径进行优化，并探索Speculative Decoding等加速技术以提升吞吐与降低延迟
具备系统化评测与问题解决能力，能设计benchmark评测机制，从精度回退、算子不兼容等复杂问题中定位根本原因，并持续跟踪剪枝、稀疏化等前沿技术进行工程验证
对大模型压缩与推理优化有长期深耕的抱负，以推动国产芯片生态落地和提升技术影响力为己任，并在量化精度评测中坚持严谨客观标准，以身作则挑战性能瓶颈
符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信
工作职责
负责大语言模型及多模态模型的量化方案设计，应用PTQ、QAT等技术实现高效压缩与精度保持，奠定部署基础
主导量化模型在vLLM、SGLang等推理框架及英伟达、国产显卡等异构硬件平台的适配、集成与性能调优，保障稳定高效运行
开展模型级与算子级性能剖析，定位瓶颈与热点，开发定制化加速kernel，并研究应用Speculative Decoding等技术提升解码吞吐与降低延迟
设计并实施系统化benchmark评测，对精度、延迟、吞吐等指标进行度量分析，为技术选型提供数据支撑，并优化Agent场景下的长上下文与高并发负载
AI 洞察
优缺点分析
优点
- 技术栈高度前沿，直接参与大模型底层优化与国产算力生态建设，积累稀缺的硬核工程经验
- 依托头部互联网大厂的平台资源，可接触海量真实业务场景与超大规模集群，数据与算力资源丰富
- 团队聚焦高价值基础设施层，技术成果易转化为行业影响力，有利于个人技术品牌塑造
- 职业发展通道清晰，内部技术氛围浓厚，适合追求技术深度与长期主义的人才
- 异构硬件适配与Kernel开发调试周期长，面临算子兼容性、精度回退等复杂工程难题
- 核心研发团队通常节奏紧凑，需适应敏捷交付与高强度项目推进的工作模式
- 国产化替代进程中的硬件生态尚不完善，需投入大量精力解决底层兼容性问题
- 适合具备扎实计算机体系结构基础、热爱底层系统优化、对大模型推理效率与国产算力生态有强烈热情的资深工程师
缺点 / 挑战
- 技术迭代极快，需持续跟进学术界最新论文与工业界开源动态，学习压力较大
角色解读
- 纵向深化：成为大模型推理优化领域的首席科学家或技术专家，主导下一代AI基础设施架构设计
- 横向拓展：向AI系统工程（AI Systems）、分布式训练框架或芯片原厂联合研发方向延伸
- 管理转型：带领AI Infra技术团队，负责大模型底层工具链的研发规划与人才梯队建设
- 负责大模型及多模态模型的量化方案设计，运用PTQ/QAT等技术实现模型压缩与精度平衡
- 主导量化模型在主流推理框架与各类GPU/国产芯片上的适配集成，并进行深度的性能调优
- 开展模型级与算子级性能剖析，开发定制化加速内核，引入前沿解码技术以降低延迟并提升吞吐
- 设计系统化Benchmark评测体系，持续追踪剪枝、稀疏化等前沿技术并完成工程验证
- 精通大模型量化技术栈（PTQ、QAT、Rotation等），具备扎实的数学与算法功底
- 熟练掌握vLLM、SGLang等推理框架，熟悉CUDA编程与异构硬件底层架构
- 具备优秀的性能剖析与瓶颈定位能力，能独立完成Kernel开发与系统级调优
- 拥有扎实的工程落地经验，熟悉Linux环境、C++/Python开发及自动化测试流程
申请策略
- 提前调研目标团队正在使用的推理框架与硬件生态，在简历或面试中展现针对性匹配度
- 关注公司在AI基础设施领域的公开技术博客或开源项目，了解其技术演进路线与当前痛点
- 突出大模型量化实战经历，详细列出使用的技术路线（如PTQ/QAT）、压缩比、精度保持率及部署框架
- 强调异构硬件适配与Kernel优化经验，展示CUDA编程能力、性能剖析工具使用及具体提速/降延迟数据
- 体现系统化工程能力，包括Benchmark设计、CI/CD流水线搭建、自动化测试及跨团队协作经验
- 补充开源贡献、顶会论文或专利，证明在AI基础设施领域的持续深耕与技术影响力
- 深入研读Transformer架构底层原理，掌握Attention机制优化、KV Cache管理及Speculative Decoding等进阶技术
- 强化CUDA编程与编译器知识（如TVM、XLA），提升自定义算子开发与图优化的实战能力
面试指南
- 采用STAR法则结构化回答：背景（业务痛点/模型规模）→ 任务（量化目标/性能指标）→ 行动（技术选型/代码实现/调优策略）→ 结果（量化数据对比/上线效果）
- 针对技术问题，先阐述底层原理（如内存布局、计算图调度、硬件特性），再结合具体工具链给出可落地的解决方案，最后补充边界情况处理与后续优化方向
- 对于系统设计类问题，遵循“需求分析→架构设计→模块拆分→性能预估→容错机制”的逻辑，体现全局视野与工程权衡能力
- 请详细描述你过去项目中PTQ或QAT的具体实现流程，如何解决精度回退问题？
- 在vLLM或SGLang中，PagedAttention是如何工作的？如何针对特定硬件进行算子融合优化？
- 面对国产芯片与NVIDIA GPU的算子差异，你会如何进行性能对齐与兼容性适配？
- 如何设计一套完整的Benchmark体系来评估量化模型在长上下文与高并发场景下的表现？
- 请分享一次你通过Kernel级优化显著提升模型吞吐或降低延迟的实际案例
职位点评
薪资福利72
成长发展88
工作生活48
使命价值75
薪资福利
72中等
JD未明确薪资福利细节，但作为头部互联网大厂核心AI团队，整体薪酬包通常具备较强市场竞争力，稳定性与基础保障完善。
薪资信号未披露（AI估算：4.0千–8.0万/月）
成长发展
88较高
深度参与大模型底层优化与国产芯片生态建设，技术栈高度前沿，能积累稀缺的工程落地经验与行业技术影响力。
技术前沿前沿/新兴技术
技术栈PTQ、QAT、vLLM、SGLang、Speculative Decoding、CUDA、异构计算
成长机会为每一位成员提供广阔的成长空间和富有挑战性的项目
业务类型profit_center
工作生活
48较低
JD未明确办公模式与加班政策，互联网大厂核心研发团队通常节奏较快，需做好应对项目压力与高强度交付的准备。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
致力于大模型降本增效与国产算力适配，契合AI基础设施发展趋势，具备较强的行业技术价值与社会意义。
行业发展高速增长赛道
社会影响中性/一般
使命信号推动国产芯片生态落地和提升技术影响力
创新程度积极采用新技术
Watch Jobs