阿里巴巴业务技术-高性能AI大模型网关工程师-急招
任职要求
1. 计算机相关专业本科及以上学历，2年以上后端开发经验，有高并发、高性能分布式系统开发经验； 2. 精通 Java 核心技术（包括多线程、NIO、JVM 内存模型与调优），熟练掌握 Spring Boot、Spring Cloud 等主流框架，具备良好的代码规范与工程素养； 3. 熟悉高性能API网关或服务代理架构，了解请求生命周期管理、协议转换（如 REST/gRPC/SSE）、认证鉴权、限流熔断等核心机制； 4. 具备高并发、低延迟系统的实战经验，如分布式限流与动态配额控制；缓存策略及防穿透/雪崩方案；异步处理与响应流式传输等 5. 熟悉数据库与中间件优化，包括 SQL 调优、分库分表、消息队列（Kafka/RocketMQ）原理及可靠性保障； 6. 具备系统架构设计能力，能主导模块划分、技术选型、容灾降级与弹性伸缩方案，对可用性（SLA）、可观测性（Metrics/Logs/Traces）有深刻理解； 7. 对 AI 基础设施有浓厚兴趣或实践经验，了解大模型推理的基本流程（如 Prompt 输入、Token 生成、上下文管理），能理解并协同算力平台（如 GPU 资源调度、推理引擎集成）进行服务优化； 8. 优秀的逻辑思维与业务抽象能力，能从复杂业务场景中提炼通用服务能力，并推动技术方案跨…
工作职责
作为集团 AI 基础设施的关键组成部分，你将负责内部大模型网关（AI Hub）的设计、开发与持续演进，打造统一、高效、智能的大模型服务接入平台。 我们向下聚合集团内外多源大模型能力（包括自研及第三方 LLM、多模态模型等），向上为搜索、客服、内容生成、智能办公等数十个高并发业务场景提供标准化、低门槛的 API 接入服务。 面对万级QPS、毫秒级延迟、十万亿Token 级计量等严苛挑战，你将深度参与以下核心技术方向： - 构建智能路由引擎，支持按模型能力、成本、延迟 SLA、地域等维度动态调度请求； - 设计精细化流量治理体系，实现多租户配额管理、Token 级限流、优先级队列与熔断降级； - 打造商业化计费与用量追踪系统，支撑按 Token、时长或套餐的灵活计费模式； - 优化流式推理链路（SSE/WebSocket），保障长上下文、高吞吐场景下的低首Token延迟（TTFT）与稳定性； - 协同底层算力平台，推动网关与推理引擎（如 vLLM、TGI）的高效协同，提升 GPU 资源利用率。 你的工作将直接影响集团 AI 能力效率、服务成本与用户体验，是推动 AI 工程化落地的核心力量！加入我们，一起创造价值~
1. 负责天猫技术在各域的Agent算法优化，包括ToB和ToP相关产品，如AI商品运营、百补AI导购、品牌商家AI访谈； 2. 主导大模型后训练与领域适配，参与Agent在各业务场景下的微调于多轮对话优化，提升模型在生意诊断、运营策略、导购方案生成、工具决策等任务中的专业性与一致性。 3. 运用SFT、RL等后训练方法，设计合理Reward Function和优化函数，提升大模型在自主规划（Planning）、多步推理、工具调用、数据问答等方面的能力； 4. 负责设计并优化检索增强（RAG）系统，从索引构建、召回排序到知识融合与上下文压缩，全面提升RAG在高准确性需求场景下的效果与稳定性。 5. 深入跟踪LLM/Agent领域前沿进展，推进前沿技术在业务中的验证与落地，重点突破工具集成复杂推理、数据洞察、AI 搜索等方向的应用创新； 6. 负责建立科学评测体系，设计覆盖功能性、合规性、一致性与业务转化的多维评估指标，系统分析模型表现，指导模型与Agent策略的精准优化。
围绕真实电商核心场景，参与AI应用的系统化构建与优化，把AI变为业务增长引擎，具体工作包括： 1）AI应用全生命周期演进：深度参与业务问题建模、应用架构设计、上下文工程、训练数据构建、自动化评估体系、模型后训练优化等 2）数据飞轮构建：打造高质量数据生产链路，探索合成数据（Synthetic Data）与高效蒸馏技术方案，跑通“业务-模型-反馈”迭代闭环 3）评测体系构建：面向业务目标，设计完备的AI应用效果评估体系，构建自动化评估框架，建立离线评估与在线业务指标联动的量化评估能力 4）强化学习与奖励机制设计：构建可工程化的Reward体系与RL训练环境，提升模型在垂直业务场景中的可控性与泛化能力 5）AI外部能力体系搭建：实现AI应用所需的知识库（RAG）、长短期记忆系统（Memory）、工具调用、多Agent协作框架等 6）多模态AI应用开发：构建AI应用的多模态感知与推理能力，解决在UI自动化、视觉理解与审核、多模态会话等场景的落地应用问题
1.负责淘天内控平台的技术系统设计与核心功能开发，运用大模型（LLM）、机器学习等AI技术，系统化防控资金、业务流程、合规等复杂风险； 2. 深度参与下一代智能内控引擎的研发，将AI模型与实时策略深度融合，打造高并发、低延迟的决策系统，保障双十一等大促场景下的极致稳定性与精准性； 3. 针对内控风控这一高专业性场景，探索并落地大模型的领域后训练（Post-training）、指令微调（SFT）、检索增强生成（RAG）等前沿方案，持续提升模型在风险识别、归因分析、合规判断等任务上的准确率 与可解释性； 4.主导企业级AI应用的开发与落地，通过构建AI Agent、智能工作流（Workflow）和知识库引擎，重塑风险的主动发现、智能分析与自动化治理方案； 5. 持续跟踪大模型（LLM）、多模态、Agent框架、模型对齐与安全等前沿AI技术，并推动其在内控领域的创新应用与业务价值转化。
1、负责淘宝内部企业级软件的AI研发系统技术规划与实施落地，带领团队面对数千个代码库的复杂存量系统，通过完善现有系统AI友好化改造、构建各类研发Agent、探索新型研发工具形态，最终交付企业级软件的AI原生研发模式； 2、AI研发系统构建及演进：根据行业最新进展及内部企业实际情况，定义企业级软件的AI研发系统的整体方案及演进路径。能够识别关键问题，创新技术方案，协同各方诉求，完成技术方案应用落地； 3、存量系统AI友好化改造：定义企业级软件的AI友好架构内容，针对现有存量系统能够制定切实可行的落地方案和实施路径，多团队协作，逐步完成存量代码库的AI友好化改造； 4、跨团队协作与应用落地：能够深入了解电商场景的交易营销、搜索推荐、直播等技术域特点，构建AI研发系统平台通用能力及各技术域开放定制能力，制定满足各技术域不同诉求的差异化落地方案。