字节跳动大模型自动化评测专家（大语言模型方向）-DMC

1. 建设一站式的大模型自动化评测平台，负责大模型评测基准建设和评测算法研究应用。 2. 为蚂蚁AI业务建设科学的评测体系，参与AI业务评测基准建设，对数据、模型和业务进行全面评估验证。系统化业务问题识别与优化机制，帮助指引算法和技术迭代方向，推动业务落地并取得效果。

1、调研公开评测方法，并将公开评测集集成至内部平台； 2、深度配合垂类业务探索智能高效的大模型应用效能自动化评估方案，主导开发评估体系/工具； 3、制定大模型评估在应用方向的评估标准，主导评估体系构建，主导大模型评估工作。

全面负责定义、设计并实现下一代对话系统的核心算法与交互范式，解决当前对话模型在多轮交互、知识应用、共情能力等方面的挑战，探索并引领模型在个性化、主动性、拟人化等前沿方向的技术突破。直接决定数亿夸克用户在Chat场景的与AI 的交互体验，塑造夸克在未来对话式 AI 时代的领先地位。 1. 对话体验定义与规划。深入分析用户意图与行为，结合业务场景，制定并执行对话体验的中长期技术演进路线图。并密切追踪并研究对话式 AI 领域的最新进展，包括主动式对话策略、多模态对话 (语音/视觉融合)、AI Agent 中的对话流控制等。您将主导定义“顶级对话体验”的标准，并将其分解为可落地、可量化的算法迭代目标。 2. 多轮对话与上下文理解。攻坚并解决长程、复杂多轮对话中的核心技术难题，包括但不限于指令遵循、上下文精准理解、长程记忆与遗忘机制、隐式意图识别等。您将设计创新的模型结构与训练策略，使模型具备真正连贯、有逻辑的对话能力。 3. 对话回复准确与全面。主导研发将外部知识 (如搜索、工具调用) 与大模型进行深度、动态融合的先进技术。致力于解决模型在对话中的意图偏离、事实性错误、内容不详实和知识更新不及时等问题，并通过 RAG 新范式或其他创新方法，显著提升对话的准确性与信息量。 4. 评测体系与数据飞轮。建立并完善一套科学、全面的对话能力评测体系，能够精准衡量模型的综合对话质量 (Coherence, Empathy, Informativeness 等)。设计并驱动高效的数据闭环系统，利用真实用户反馈持续、自动化地优化模型。

1. 大模型攻击研究 ● 针对大语言模型（LLM）、多模态模型（VLM）、智能体（Agent）等开展安全性与幻觉问题研究，系统化识别模型在对抗样本、越狱攻击、数据投毒、隐私泄露、注入、越权等方面的脆弱点； ● 设计并优化大模型对抗攻击算法，研究 Prompt 注入、自动化越狱策略与生成式数据增强方法，用于模拟实战攻击与安全性评估； ● 构建覆盖文本、图像、语音等多模态、agent场景的攻击方法库，支撑红队测试与模型安全基准建设。 2. 大模型防御机制 ● 研究大模型输入/输出层面的安全检测与防御机制，开发 Prompt 过滤、上下文改写、敏感内容抑制等方法； ● 构建跨模态、多层次的安全防护框架，提升 LLM/VLM/Agent 在实际应用中的鲁棒性。 3. 大模型安全对齐 ● 探索使用SFT、RL、MoE、RAG、Editing等对齐方法，提升模型的内生安全能力； ● 研究有害内容规避、幻觉抑制、安全对齐评测等关键技术，推动安全性融入模型全生命周期。 4. Agent 安全 ● 研究 Agent 在memory存储、多工具调用、链式推理中的攻击面与潜在风险，识别敏感数据泄露、工具滥用、意图篡改、海绵攻击等新型威胁； ● 设计 Agent 安全管控机制，包括权限控制、任务隔离、调用审计等，确保复杂场景下 Agent 的安全可控。