阿里巴巴LAZADA-Red Team & Sec Test / Specialist-Hangzhou

参与语言大模型、视觉大模型、语音大模型、多模态大模型的应用评测与研究工作，具体工作内容包括但不限于： - 从大模型应用视角出发，建设科学、全面的大模型评测体系，制定并实施评测标准与评测方案。 - 对数据进行处理、理解，建设高质量数据pipeline，并基于科学、全面的评估体系构建数据集，系统评估模型能力，产出评测报告，指引大模型相应能力的提升。 - 利用大模型辅助、替代人工标注，准确、高效的进行半自动化、自动化的模型评测，降低评测成本、提升评测效率。 - 利用大模型进行自动化的Red Team，系统的发现9.11和9.8谁大答错等典型模型能力短板，以及模型发生涉政涉黄涉及未成年人等不当回复的风险。 - 对模型评测中发现的模型能力短板、模型能力变化、不符合认知的异常进行研究分析，产出研究分析结论，指引大模型相应能力的提升。具体研究项包括不限于数据、模型结构、训练方式对各类模型能力的影响，以数据相关研究为例，包括不限于研究不同数据类型、不同数据配比、不同数据加入时机、不同数据规模等变量对各类模型能力的影响。 - 紧密关注大模型方向的前沿技术进展，积极主动地学习和探索新数据分析、模型训练以及模型评测方法。 - 紧密关注大模型应用落地的行业最新进展，结合行业进展思考大模型评测、训练的发展趋势，对模型评测体系、机制进行迭代。

我们是致力于推动智能化服务技术革新的创新团队，专注于为全行业提供高效、智能的解决方案。我们的业务涵盖智能客服、智能培训、智能质检等多个领域。 我们团队正在建设“评测数字员工”，旨在通过标准化、智能化的评测手段，推动AI智能服务的全面升级，并打造行业领先和有代表性的评测体系与benchmark。 如果你对AI、NLP、数据挖掘、评测等领域充满热情，并希望在一个充满挑战与机遇的环境中快速成长，那么加入我们，一起定义未来智能化服务的新标准！ 【职位描述】 1. 评测体系设计：参与设计并优化智能化服务（包括智能客服、智能培训、智能质检等）的评测体系，涵盖对话质量、操作质量、培训效果、拟人化、用户满意等核心指标。 2. 评测开发与优化： ○ 研发并优化基于LLM-as-Judge的评测能力，包括但不限于对话生成质量评估、意图识别准确率、多轮对话一致性等。 ○ 探索agent在复杂任务中的性能评测方法，如任务规划、SOP遵循、RAG、多模态交互等。 3. Red-team：针对agent系统的弱点进行攻击，找到系统潜在的风险，防患于未然。 4. Benchmark构建：构建并维护智能化服务领域的代表性benchmark，确保评测标准的科学性与可扩展性。 5. 数据驱动决策：通过数据分析与挖掘，识别智能化服务系统的性能瓶颈，并提出改进方案。 6. 跨业务协作：与多个智能体研发团队、产品团队紧密合作，确保评测体系与业务需求的高度匹配，推动产品的持续优化。 7. 技术前沿探索：跟踪智能化服务领域的最新技术动态，探索并落地创新评测方法。

研究领域： 人工智能 项目简介： 内生安全是近年来大语言模型研发中的一个关键研究方向。随着模型能力的快速增长，特别是推理模型，通过慢思考LongCoT的方式极大的提升了能力达到专家水平，然而强大能力也带来了潜在的安全风险。内生安全的目标是通过设计模型架构、推理机制或训练流程，使得模型在底层逻辑中具备一致性、自我审查和误差控制的能力，从本质上降低安全隐患，而不是简单依赖筛查和围栏过滤。 对于推理模型的内生安全而言，其主要难点在于 1. 可解释性不足，缺乏启发式策略和理论的结合。没有对推理模型有专门的内生安全性质的定义，形成数学的框架 2. 对抗能力缺失。由于模型较新且运行成本大，目前已有的jailbreak方法依赖大量试错的尝试，很难形成有效的攻防相互促进 3. 动态推理过程的监督。由于推理模型将思考过程进行展示，以往工作只关注在最后模型回复阶段，忽略了推理过程可能包含的风险 因此，可以再一下方向进行相关研究 1. 安全高效评估框架：针对推理模型研发专门的red team方法进行内生安全评估 2. 对抗训练：提出高效的对抗方法，通过posttrain方式提升内生安全 3. 内生安全奖励：在GRPO过程中，除了回复的helpful，也考虑harmless 4. 多模态场景下的推理安全：对图文视频音频等多模态输入，均在思考过程中进行安全检查等

【RED HR元气储备营】项目旨在寻找下一代 Talent Warrior： 不限方向，全领域的HR工作岗位统统为你开放！ 在这里，你不会是“打杂助理”，而是未来HR TEAM核心战力的预备成员。 在这里，不缺战场，不缺空间，缺的是能打的你！ 一边实习，一边升级打怪，还能收获校招 offer ？ 从“新手村”直通“满级号”？ 实习打怪期，时时有收获，时时有带教，时时有成长； 优秀的你将提前一年斩获2027届首批校招offer！ 快来加入项目，解锁HR主线任务！升级拿offer，比打副本还爽！⚔️ 🔍 We Are Looking For 27届同学请看过来👀 反应敏捷、学习力满格，「一点就通」的机灵派； 不怕困难，是「啊，这还得再来一局」的坚持派； 责任感拉满，不敷衍应付，主动找解法的担当派； 虽年轻却心态稳健，上岗即可独当一面的实力派。 学历？🤷 不卷。我们只看你能不能打！ 🔦 你的成长，像打游戏一样爽 Day 1：培训营开局，充弹药、拿战利品 Day 30–60：实战练级，带教护航，独立输出 Day 90：转正 Pipeline 正式启动，Boss 等你挑战，提前一年，直接拿Offer！ 毕业后：解锁小红书职业主线，开启真·全程打通模式 🧩 奖励掉落 1v1 mentor带教：带你从新手村打到满级号 成长闭环：系统培训+实战项目，技能点全加满 超强归属感：不是“临时工”，而是团队里的靠谱伙伴 直通校招：表现优秀的同学将直接斩获【2027校招正式 Offer】 ⏳ 时间轴快照 2026年3月：正式启动 2026年3月中旬：首批学员入营 2026年6月：优秀同学将完成实习转化，斩获校招offer！ 取得毕业证后：正式入职