阿里巴巴大模型算法工程师-AI Business

1.参与行业领先的AIGC项目，如大语言模型，多模态模型等 2.综合运用大模型、判别式模型等算法技术，提升多维度文本控制生成能力 3.参与完整LLM整体训练框架方案设计，和端到端解决方案的实现 4.推动AIGC在业务的落地，参与实现系统性、可复制、可规模化的解决方案 5.支持LLM、MLLM方向的新技术研究和落地应用，支持指令微调、强化学习相关算法需求

作为大模型评测研发工程师，将负责“大模型通用Benchmark评测体系”与“业务领域Benchmark构建”的全链路研发：从评测数据集设计、智能化自动化评估方法探索研究、指标实现，到平台化落地，精准衡量模型能力边界，持续驱动模型语料优化与模型迭代 通用 Benchmark 研发 • 持续迭代覆盖语言理解、推理、知识、幻觉、对齐、代码、多模态、Agent 等各个维度的自动化评测框架； • 研究并实现更贴合业务发展的评测方法与指标，构建高效、可扩展、可复现、可解释的评测引擎 业务领域 Benchmark 构建与评测 • 深入跨境电商各个业务领域，构建领域Benchmark，真实反馈模型业务表现 • 设计场景化评估方案，如RAG、Agent、COT、 In-Context Learning等，并形成端到端评测能力； 评测方法研究 • 探索基于 LLM-as-a-Judge、人类偏好对齐、模型解释性等前沿评测技术 • 跟踪 ACL / EMNLP / NeurIPS / ICML / ICLR 等会议，高效复现SOTA方法，形成可比对可参考的评估系统

AI Business成立于2023年4月，是阿里国际数字商业集团设立的一层业务组织，专注于AI技术能力建设和AI产品能力输出，旨在用最先进的AI技术重塑平台竞争力，为商家和用户带来极致的电商体验。 作为跨境电商领域的AI先锋，我们坚定地相信人工智能对塑造未来电商的关键作用，并坚持对AI领域人才的培养和发展。我们已经汇聚了业内顶尖的AI算法专家、AI工程师和AI产品团队，并诚挚邀请有共同使命感、追求创新与卓越的AI人才加入我们的团队，共同用AI技术书写数字商业领域的新篇章。 1、负责AI大语言模型、图像模型等深度学习模型的在线推理、离线训练优化工作； 2、负责AI生态内基础引擎系统能力的建设，包括信息检索、AI记忆、流程调度等。 3、负责AI算法服务能力建设，针对业务场景的真实需求，设计合理的技术方案和路线。

Team Introduction: Dedicated to building an industry-leading large-model dialogue system, the team serves hundreds of millions of daily active users, with application scenarios covering the entire Douyin e-commerce ecosystem. This includes core business scenarios such as platform customer service, platform merchant service, merchant customer service, influencer customer service, and innovative intelligent shopping guides. Through continuous technological innovation and optimization, the team has successfully established a complete intelligent dialogue solution, delivering significant efficiency improvements and user experience enhancements to e-commerce operations. Research Objectives: Develop an LLM-based customer service chatbot for TikTok and Douyin E-commerce, enabling intelligent customer service interactions. The LLM will handle the entire user inquiry process, including request clarification, solution negotiation, and execution. Necessity: LLM's strong conversational and reasoning abilities make it especially suitable for intelligent customer service, capable of potentially reaching the service standards of excellent human representatives. Research Content: Design a multi-agent framework based on LLM, integrating planning-agent, reply-agent, and tool-agent. Each agent will specialize in different functions, working collaboratively to manage the complete service process—from issue identification and solution negotiation to solution implementation and feedback. 1) Reply-agent ensures the proposed solutions comply with platform policies and service guidelines, avoids excessive improvisation or hallucinations, and maintains smooth communication and negotiation with the user. 2) Planning-agent identifies user demands and problem scenarios, sourcing relevant service guidelines and constraints as well as recognizing risk scenarios. 3) Tool-agent validates the legality of tool usage, accurately interprets the results from tool interactions, and manages execution dependencies of various actions. Research Challenges: Compliance with service guidelines: Ensuring the chatbot's solutions adhere to platform service guidelines (such as available refund within xx days of parcel arrival and coupon limits per user per week). Dynamic feedback adaptation: Static adherence to service rules and providing fixed solutions can limit the flexibility of reply-agents, preventing them from acting like excellent human customer service representatives. By enabling reply-agents to interact in real-time with their environment, considering user's behavioral trends, demands expressed during inquiries, and feedback on proposed solutions, personalized service can be provided. This approach fosters adaptive responses and progressive services and solutions, closely mirroring the flexibility and excellence of human customer service. Self-reflection: Employing LLM's capabilities to understand, analyze, and evaluate its own behavior, fostering self-supervision and decision refinement through reflection on outputs, particularly with complex and ambiguous tasks. Complex image processing: Handling scenarios involving numerous complex images (including shipping order photos, bank transaction screenshots, images of damaged goods received, and seller qualification certifications). These images contain key information crucial to enhancing the chatbot's problem resolution capabilities. 团队介绍： 智能对话团队，致力于打造业界领先的大模型对话系统。团队服务的日活用户超过数亿，应用场景覆盖抖音电商全链路，包括平台客服、平台商服、商家客服、达人客服，以及创新的智能导购等核心业务场景，通过持续的技术创新和优化，成功构建了一套完整的智能对话解决方案，为电商业务带来了显著的效率提升和用户体验改善。 课题目标： 构建基于LLM的电商客服机器人（Chatbot），服务TikTok和抖音电商智能客服场景，由LLM完成一次用户进线的完整接待过程，包括诉求澄清、方案协商、方案执行等阶段。 必要性： LLM具有强大的对话和推理能力，智能客服是LLM能够发挥价值的最典型场景，有机会能够达到匹配优秀人工客服的服务能力。 课题内容： 设计一个基于LLM 的 multi-agent framework，将 planning-agent、reply-agent、tool-agent 集成到一起，每个 agent 负责不同能力，互相协同，完成从问题定位、方案协商，到方案执行、结果反馈等服务全流程。reply agent 需要确保给用户提供的方案是符合平台的相关政策和service policy的，不自行过度发挥、不出现幻觉，顺滑的完成和用户的沟通协商过程；planning agent 完成定位用户诉求和问题场景，以便从外部获取该场景的服务准则和约束，如何识别风险场景；tool agent 需要确保工具调用的合法性、接收和解析工具调用的返回结果，另外一些动作的执行存在前后依赖的问题。 课题挑战： 1、遵循服务准则：如何确保方案Chatbot提供的方案是follow平台服务准则的，例如到货xx天之内可以申请退款、同一用户一星期内最多发送xx额度的优惠券； 2、感知环境反馈：reply agent如果只能死板的follow当前场景服务准则，提供一层不变的方案，是无法像优秀客服一样做到灵活变通的。让Agent能够实时的和环境打通，通过结合当前用户进线前的行为动线、进线后表达的诉求和用户对 agent 提供方案的反馈，为用户提供个性化的服务，对用户的实时反馈有响应，像优秀客服一样能随机应变，递进式的提供服务和解决方案； 3、进行自我反思：利用LLM理解、分析和评价其自身的行为，使LLM能够自我监督，通过对自身输出的反思，改进其所做的决策，以便在处理复杂、有歧义的任务时，能有更好的表现； 4、复杂图片理解：电商场景存在大量复杂的图片，包括运费订单实拍图、银行流水截图、买家收货缺件破损的、商家各类资质证明等，这类图片往往包含重要的信息，对提升Chatbot解决能力非常重要。