字节跳动AI问答场景评估专家-AI数据与安全
任职要求
1、本科及以上学历，具备扎实的中文专业背景，对AI领域有强烈兴趣与探索意愿，具备快速学习能力与跨学科思维，有大模型评测相关经验，有文本大模型评测经验者优先； 2、在较多垂直领域有很好的涉猎，能够剖析专业、行业领域问题，输出自己的见解，有较好的搜索习惯，或大模型产品使用习惯，善于站在用户视角反馈体…
工作职责
1、负责AI问答场景的质量评估体系建设，主导进行评估体系Benchmark建设，通过评测结果及数据分析，输出评测报告，明确当前产品及策略待改进点，协助优化AI问答质量和体验，并根据业务目标输出理想态； 2、联动产品、研发团队，对SFT、RL阶段的模型结果评测，定义评估标准、优化评测流程并产出提升模型能力的数据分析报告，同时结合用户行为与相关数据分析，协助产品研发提升模型能力和产品体验； 3、根据业务目标参与评测方案制定、建设评估数据集，站在用户视角和模型视角构建理想态，通过人工或自动评估对模型回复效果进行评测，并自主完成问题拆解和分析，驱动产研进行策略优化； 4、通过撰写PE或搭建Workflow的方法进行辅评来提升团队整体评测效率和准确性； 5、主导评测工作的开展，充分协调整合各方资源，保障内外部高效协作、顺畅沟通。
1. 算法设计与开发 -针对云计算基础设施资源的需求计划、供需匹配、采购决策和库存管理等场景，建立数学模型并设计求解算法（如线性规划、强化学习、仿真推演等）。 -设计并研发基于大模型（LLM）智能问答（QA）、推理分析（如Chain-of-Thought, ReAct）的agentic AI助手，提升资源运营效率。 2. 工程落地与优化 -将算法从原型推进到生产环境上线，并可解决实际运营业务场景中的规模化和时效性挑战。 -提供运营业务人员可通过自然语言直接交互并高效可用的Agentic AI助手。 -与工程团队合作，设计高性能、可扩展的算法服务架构。 3. 跨领域协作 -与云产品（需求侧）、供应链、采购、数据中心运营等多个团队紧密合作，理解业务痛点并转化为可量化的技术问题。 -跟踪学术界（如OR、ML顶会）和工业界（如AWS/GCP资源优化方案）最新进展，推动技术迭代。
1. 算法设计与开发 -针对云计算基础设施资源的需求计划、供需匹配、采购决策和库存管理等场景，建立数学模型并设计求解算法（如线性规划、强化学习、仿真推演等）。 -设计并研发基于大模型（LLM）智能问答（QA）、推理分析（如Chain-of-Thought, ReAct）的agentic AI助手，提升资源运营效率。 2. 工程落地与优化 -将算法从原型推进到生产环境上线，并可解决实际运营业务场景中的规模化和时效性挑战。 -提供运营业务人员可通过自然语言直接交互并高效可用的Agentic AI助手。 -与工程团队合作，设计高性能、可扩展的算法服务架构。 3. 跨领域协作 -与云产品（需求侧）、供应链、采购、数据中心运营等多个团队紧密合作，理解业务痛点并转化为可量化的技术问题。 -跟踪学术界（如OR、ML顶会）和工业界（如AWS/GCP资源优化方案）最新进展，推动技术迭代。
我们寻找的是AI Native——把AI当作第一生产力，能用Prompt思考、用AI构建、用Agent工作的人; 你将直接参与打造下一代AI原生产品，与最先进的大模型（GPT-4、Claude、Gemini、DeepSeek等）深度协作，探索人机协作的全新工作范式。 你将做什么 1. AI Native 产品与能力建设 • 负责 AI 原生产品或核心能力模块的规划、设计与落地，推动从 0 到 1 创新及从 1 到 N 规模化复制 • 结合业务场景，设计并落地多模态交互、智能问答、Agent 工作流、个性化推荐、内容生成等核心能力 • 深入理解用户需求与业务链路，识别 AI 在提效、增收、体验升级中的关键切入点，形成可验证的产品方案 • 推动复杂 AI 功能的产品化与工程化落地，兼顾效果、成本、稳定性与可运营性 2. 大模型应用架构与 Prompt/Skill 体系建设 • 设计和优化高质量 Prompt 模板、System Prompt、Few-shot 示例与任务编排策略，建立可复用的 Prompt 资产体系 • 结合 RAG、Function Calling、MCP、工作流编排等能力，设计端到端 AI 应用方案 • 构建并沉淀 AI Skills / Tools / Agent 能力体系，提升 AI 在垂直场景中的任务完成率和业务价值 • 针对复杂任务设计可执行的 AI Agent 工作流，实现任务自动化、协同化与闭环化 3. 业务落地与效果运营 • 建立 AI 产品效果评估机制，基于实验、数据分析与用户反馈持续优化核心指标 • 推动模型能力、产品体验与业务目标之间的对齐，在效果、时延、成本、风险之间做系统性权衡 • 与研发、算法、数据、运营等团队紧密协作，推进复杂项目的全链路落地 • 对重点项目的业务结果负责，能够将 AI 能力转化为明确的业务收益、用户价值和组织效率提升 4. 前沿探索与团队赋能 • 持续跟踪大模型、多模态、Agent、RAG 等方向的技术演进，评估其在实际业务中的适用性与投入产出比 • 沉淀 AI Native 产品方法论、最佳实践和标准流程，推动团队能力升级 • 对内推动 AI 认知统一与能力普及，对外关注行业趋势、开源生态与优秀案例，持续提升团队与组织影响力
1）模型应用落地：负责Prompt设计、Few-shot/Zero-shot优化、Continual Pretrain、SFT/RL、RAG链路搭建，提升模型在垂直场景的效果与稳定性，并落地业务解决方案，如AI搜索、智能问答、内容生成、对话系统等； 2）数据构建与评估：构建高质量指令数据、偏好数据、评估集，设计自动化评估指标（如BLEU、ROUGE、人工一致性、幻觉率）； 3）系统协同优化：与工程团队协作，提升模型的训练效率和推理效率，包括但不限于KV-Cache、量化、投机解码等技术，以及部署链路（如vLLM、TensorRT、Triton）的优化； 4）业务效果闭环：建立A/B实验体系，跟踪模型上线效果，持续迭代优化，推动业务指标（如CTR、转化率、用户满意度）提升。