联想
Agent Infra架构师
Agent Infra架构师
发布于 大约 8 小时前普通员工/个人贡献者
北京市
专家级经验
全职员工
仅现场办公
学历未注明
架构师
Kv-Cache
Llama.Cpp
Mnn
Ncnn
Onnx Runtime
性能优化
推理引擎
模型量化
端侧部署
AI 估算 · 40k–70k
职位详情
关于这个职位
该职位负责设计并实现面向异构算力设备的轻量化推理引擎，覆盖移动端、边缘和桌面平台，优化大模型推理性能，构建端侧Agent执行引擎，并与云端协同
需要深厚的C++和推理引擎开发经验，适合对AI基础设施和性能优化有热情的资深工程师
最低要求
年以上 AI 系统或推理引擎开发经验，深度参与过至少一个端侧推理框架的核心模块设计（ONNX Runtime / MNN / NCNN / MLX / llama.cpp / ExecuTorch）
精通 C++17 及以上版本，具备扎实的多线程与高并发编程能力，熟悉并发队列、无锁/低锁设计、锁竞争分析与性能优化
熟悉 Rust 者优先
深入理解大模型推理的核心瓶颈，能够从显存带宽、计算能力、PCIe 传输、CPU-GPU 页交换等维度定位性能问题，理解 Prefill 与 Decode 阶段在计算密集、访存密集及并行特征上的差异
有生产环境端侧模型部署经验，熟悉模型转换工具链（ONNX / CoreML / TFLite / MLC-LLM）
深入掌握 KV-Cache 底层原理及工程实现，熟悉 PagedAttention、逻辑块与物理块管理、页表映射、显存池等关键机制，能够针对长上下文和高并发场景优化缓存利用率
熟悉大模型推理请求调度策略，包括连续批处理（Continuous Batching）、动态批处理、预取与请求抢占，能够在吞吐、时延、公平性和资源利用率之间进行系统性权衡
具备 GPU 显存管理与优化经验，熟悉显存池化、显存碎片治理、CPU-GPU 页交换与 Offload 机制，能够设计受限算力和受限内存设备上的模型装载与运行方案
熟悉推理服务性能度量与调优方法，能够围绕吞吐量（TPS）、首 Token 时延（TTFT）、单 Token 解码时延（TPOT）建立基准测试、性能剖析和持续优化体系
工作职责
设计并实现面向异构算力设备（移动端、边缘盒子、桌面端）的轻量化推理引擎，覆盖 Android/Linux/Windows 多平台，支持动态模型加载、内存优化、算力感知调度
针对不同设备算力（ARM NEON、x86 AVX、Mobile GPU），设计模型量化策略（INT4/INT8/FP16），适配主流开源模型（Qwen、Llama、Mistral、Phi等），实现推理延迟 < 500ms、内存占用 < 4GB 的生产级标准
构建端侧 Agent 执行引擎（AgentCore Harness），实现工具调用、多轮对话、上下文管理、流式输出、离线运行能力，与TianxiAI形成端边云协同闭环
设计端侧模型蒸馏回灌机制，支持云端大模型能力包向端侧增量更新，实现版本一致性校验、能力感知路由、断点续传与灰度发布
建立端侧推理性能基准体系（RTF、首token延迟、内存峰值、功耗），输出端侧模型选型指南，推动模型压缩工具链、自动化评测、CI/CD 流水线落地
AI 洞察
暂无 AI 洞察数据
Watch Jobs