夸克智能信息-多模态后训练算法专家-杭州/上海/北京
任职要求
1、计算机科学、人工智能、机器学习或相关领域的硕士或博士学位； 2、在多模态、计算机视觉、NLP、AIGC、计算机图形学、机器学习等一个或多个领域有较深入的研究； 3、有多模态大模型后训练相关经验，benchmark构造经验。 4、能够积极创新， 乐于面对挑战， 负责敬业，优秀的团队合作精神，一起探索新技术，推进技术进步。 加分项： 1、具有优秀的基础算法、扎实的机器学习基础，在CVPR、ECCV、ICCV、NeurIPS、ICLR、ICML、SIGGRAPH或SIGGRAPH Asia等顶级会议/期刊上发表论文者优先； 2、有多模态后训练数据处理，标注经历的优先； 3、具有优秀的代码能力，在ACM/ICPC、NOI/IOl、Top Coder、Kaggle等比赛获奖者优先。
工作职责
1. 探索研究多模态理解、视频理解等方向的前沿技术； 2. 关注多模态、全模态大模型的后训练相关技术，研判RL在多模态理解上的潜力；
团队介绍：Data-电商-智能对话团队，致力于打造业界领先的大模型对话系统。团队服务的日活用户超过数亿，应用场景覆盖抖音电商全链路，包括平台客服、平台商服、商家客服、达人客服，以及创新的智能导购等核心业务场景，通过持续的技术创新和优化，成功构建了一套完整的智能对话解决方案，为电商业务带来了显著的效率提升和用户体验改善。 课题介绍： 背景：电商智能客服正逐渐成为业务增长和用户体验优化的重要方向，基于大型语言模型（LLM）的智能客服系统解决电商场景中的核心挑战，由LLM完成一次用户进线的完整接待过程，包括诉求澄清、方案协商、方案执行等阶段，实现电商业务的智能化升级——让用户享受更智能高效的客服服务。 研究方向：本课题聚焦于LLM 后训练与智能客服。构建基于 LLM 的多智能体（Multi-Agent）框架，通过规划、回复、工具三类Agent的协作，实现从问题分析、方案执行到结果反馈的全流程智能客服。核心目标是确保客服对话的准确性、合规性与流畅度，避免模型生成幻觉或违背平台政策。同时，围绕电商客服的复杂任务，构建 Benchmark数据集，优化SOP遵循、多轮交互、用户满意度等指标。此外，研究高效数据利用方法，探索低标注数据条件下的LLM训练，并开发自动生成高质量训练数据的系统，以降低人工标注成本，提高智能客服的服务质量与效率。 1、数据挖掘：负责数据集的构建与维护，利用数据飞轮机制不断优化数据质量和丰富度，进行深度的数据挖掘，沉淀高价值信息； 2、大模型训练：针对业务需求进行大模型的继续训练（CT）、有监督微调（SFT）、偏好学习，以及多模态模型训练，提升模型在特定场景下的表现； 3、提示词工程：与业务专家合作，构建和优化结构化的提示词，充分挖掘和利用大模型的能力，高效、精准解决实际问题； 4、信息检索：开发和优化Query理解、召回、相关性排序等技术，提升信息检索的效率和准确性，提升RAG的效果； 5、智能体技术：利用领先的智能体框架，增强大模型的推理、对话和反思能力，解决复杂业务问题，提升用户体验； 6、大模型评测：制定和实施大模型的评估方案，结合人工评估和自动化评估手段，确保模型性能的可靠性和稳定性； 7、应用落地：定义业务问题，设定任务标准和目标，不断优化模型和系统，以达到最佳的业务效果和用户满意度。
1. 探索研究多模态生成大模型的设计与开发，探究高效生成、生成理解统一、多模态理解、强化学习/RLHF后训练和高效数据管线设计等方向； 2. 参与研发多模态生成大模型开发等下一代人工智能核心技术，参与大规模生成基础模型预训练与后训练开发。 3. 负责跟踪和研究多模态生成大模型前沿技术调研、落地、对业务进行优化。
1.负责视觉问答算法能力建设，应用在夸克AI相机、夸克眼镜场景，通过多模态/大模型能力持续提升用户与物理世界交互的能力； 2.持续优化VL能力，驱动模型/Agent在需求理解、路径规划、工具调用、mRAG等方面的性能提升； 3.同时深度结合场景，对定向品类制定和落地解决方案，并与业务一起挖掘探索新场景。
1、负责夸克AI相机的能力建设，打造有问题"拍照问夸克"的极致体验，解决用户上传图片后的识别、问答、搜索、处理、生成等各类需求。 2、你将直接参与到前台场景的算法建设，基于用户输入的图文query，持续迭代VL agent的回答能力。包括但不限于VL后训练(SFT/RL)、图片理解(det/grounding/fine-grained)、百亿图文库的知识对齐、多模态语义表征和匹配等。 3、跟进大模型前沿技术，探索VL RAG与VL reasoning等进阶方向，推进VL agent的技术范式演进，驱动拓展产品能力边界。