商汤26届AI领航员-大装置-大模型算法应用开发工程师
任职要求
1.有扎实的编程基础，熟练掌握 Python，掌握至少一个主流深度学习框架(如 PyTorch、Tensorflow)。 2.了解主流大模型的使用方式和 API，了解主流的RAG和Agent应用开发框架，学握LazyLLM优先。 3.具备工业级-多模态-Agentic-RAG实践经验，数量学握RAG效果提升，功能扩展和性能优化的技巧。(b站搜索LazyCoder可学习) 4.具备良好的代码水…
工作职责
1.大模型应用开发：负麦基于主流开源/闭源大模型进行应用落地，包括问答系统、智能助手、知识检索、文档处理等；并与产品、前端、后端、数据团队紧密协作，推动算法模型在真实业务中的部署与落地。 2.RAG 系统优化：主导通用型 RAG(Retrieval-Augmented Generation)系统的构建与效果优化，包括召回、排序、长文本处理、多文档合成等关键环节。 3.Agent 框架开发：研究和实现多 Agent 协作框架，提高 Agent 在复杂任务中的稳定性与执行效果，探索如任务分解、工具使用、状态记忆等机制。 4.模型效果调优：结合业务场景，设计 Prompt、微调、评测等策略，提升大模型在特定任务中的表现。 5.技术积累与分享：沉淀可复用的模型应用框架、调优经验和评估指标，推动团队整体技术能力提升。
1. 参与MaaS平台的功能测试、接口测试、自动化测试体系建设； 2. 参与设计并实现模型推理、训练、评估等流程的自动化验证机制； 3. 参与搭建端到端测试框架，提升测试效率与覆盖率； 4. 与平台研发、算法、运维等团队紧密协作，推动产品质量持续提升； 5. 深度参与模型性能测试与混沌测试，评估系统在高负载与异常场景下的稳定性； 6. 支持 CI/CD 流水线集成测试脚本，保障版本交付质量。
1. 负责实现和迭代自然语言处理相关算法，支撑企业数字化业务中的自然语言理解和生成需求，例如信息抽取、文档分析、检索问答、对话交互等； 2. 深度参与客户工程业务实现，将算法和企业业务需求应用相配合，实现客户端到端业务需求，实现LLM的落地最后一公里； 3. 积极跟进LLM SOTA技术，能够迅速在某一细分领域的深入掌握最新算法，包括但不限于基础模型跟进、推理框架优化、SFT训练及Agent智能体开发； 4. 设计和开发基于大语言模型（LLM）的智能Agent，优化其在不同业务场景中的任务规划、工具调用及自主决策能力； 5. 培训非LLM专业人员，使之具备基本标准业务落地AI赋能能力。
我们正在构建全球最具性能密度的「AI推理引擎」 。不止追求单 GPU 峰值利用率，更着眼于在异构加速器上，为前沿大模型提供极致吞吐与最低延迟 。 在这里，你将与团队共同定义下一代生产级 AI 推理的计算原语与优化策略 ，支撑 1.6TB 级 MoE 大模型在生产环境中的百万级上下文落地 。 岗位描述 1. 高性能内核开发 基于 CUDA/Triton/CUTLASS 开发面向生产的自定义 Attention 内核（支持 GQA/MQA/MLA 及 PagedAttention） ；设计多算子融合策略及端到端低精度（FP8/INT4）量化流水线 。 2. 分布式推理与 PD 分离 设计基于 RDMA 的去中心化 Prefill/Decode（PD）分离运行时 ；编排多维并行策略（TP/PP/SP/EP），实现计算与通信的极致重叠（Overlap） 。 3. 多层级 KV Cache 体系 构建 GPU HBM ➔ CPU DRAM ➔ 分布式 SSD 的三层缓存架构，支撑 80-140 个并发百万 Token 长会话 。 4. 前沿推理范式落地 设计并优化 iteration-level 动态批处理（Continuous Batching）调度器与 Speculative Decoding（推测解码）引擎 。 5. 性能剖析与自动化 基于 Nsight 工具链建立端到端性能剖析体系 ，利用 Roofline Model 定位瓶颈 ，构建代码合并触发的自动化内核 benchmark 管线 。
1. 基于 LazyLLM 框架，负责 LazyRAG 系统的核心模块研发，包括文档解析服务、检索算法优化、问答链路设计及自进化机制的工程实现。 2. 深入参与 RAG 算法迭代：包括切片策略、多粒度索引、Embedding/Reranker 模型升级、Agentic RAG 编排等方向，持续提升系统在多场景下的问答准确率。 3. 负责系统可观测性与评测体系建设，包括自动化评测集构建、Bad Case 归因分析、A/B Test 机制设计与落地，推动算法能力的数据驱动迭代。 4. 参与记忆管理与自进化模块的研发，包括词表/规范/技能的自动提取、注入与版本管理，实现系统从用户反馈中持续学习的能力。 5. 跟踪业界前沿技术（RAG、Agent、多模态检索、LLM 推理优化等），将新技术快速验证并落地到产品中。