大模型应用架构工程师-Seed

优缺点分析

角色解读

• 成长为LLM应用架构领域的专家，深入掌握大模型落地全链路技术
• 向技术Leader或架构师方向发展，带领团队攻克复杂系统难题
• 参与前沿AI研究，推动技术从理论到产品的转化，拓展职业天花板
• 负责LLM在C端应用落地，设计动态编排架构，整合多Tool和多模型，提升系统可扩展性
• 与算法团队协作，探索WebGPT、Function Call、Agents等前沿能力，推动复杂服务落地
• 设计全流式通信架构，与大规模LLM推理服务联动，优化高并发高吞吐系统的性能和健壮性
• 精通C/C++、Python、Java、Go中至少一门语言，具备扎实的编码和系统设计能力
• 丰富的在线架构经验，熟悉对话系统或推荐系统等高并发场景
• 了解LLM原理和MLSYS基础知识，有分布式系统设计或优化经验

申请策略

• 提前了解字节豆包业务和火山引擎大模型服务，思考现有架构的可优化点
• 准备1-2个系统设计案例，展示从0到1的架构演进思路
• 突出分布式系统或高并发架构设计经验，特别是对话系统或推荐系统相关项目
• 展示LLM相关实践，如模型部署、推理优化、Agent开发等
• 如有ACM等竞赛获奖或分布式系统优化案例，务必单独列出
• 学习LLM推理优化技术，如vLLM、TensorRT等，了解全流式通信原理
• 研究Function Call、Assistant API等Agent框架，动手实现简单demo

面试指南

• 先澄清需求，明确约束条件（如并发量、响应时间、工具数量），再分模块设计（路由、调度、通信、降级、监控）
• 延迟优化从推理侧（并行解码、量化、batch）和架构侧（连接池、异步IO、缓存）两维度切入
• 健壮性思路：限流、熔断、降级、重试、弹性伸缩，结合具体场景举例
• 请设计一个多Tool动态编排系统，支持用户请求时自动选择合适的工具组合
• 如何优化LLM在实时对话场景下的延迟？从架构和推理两方面回答
• 当系统面临突发高并发流量时，如何保证服务的健壮性和可用性？
• 解释全流式通信的概念，以及在大模型应用中的优势
• 复习分布式系统设计要点，如一致性、容错、扩展性，准备白板画图