腾讯搜索应用部-大模型算法研究员(Agent方向)
任职要求
1.硕士及以上学历,计算机、机器学习或数学等相关专业,主导相关项目或论文者优先; 2.具备强烈的进取心、求知欲,对大模型有着非常强的兴趣; 3.出色的问题分析和解决能力,优秀的数据组织与挖掘能力; 4.实践能力强,优秀的Coding能力和扎实的算法功底; 5.具备强烈的进取心、求知欲及团队合作精神,热衷于追求技术创新。
工作职责
1.负责AI搜索、大模型对话等场景中AI Agent方向的算法研究,提升大模型逻辑推理和任务规划能力; 2.优化Agent的工具调用、记忆管理能力,解决AI搜索下多卡片、多API的调用精度,提升与环境的交互能力; 3.优化Agent上下文理解能力,解决查询意图、查询拆解、问题补全等实际问题; 4.LLM相关的算法探索与落地工作,包括不限于RAG、SFT+强化学习、Multi-Agent等前沿方向。
1.负责AI搜索、大模型对话等场景中AI Agent方向的算法研究,提升大模型逻辑推理和任务规划能力; 2.优化Agent的工具调用、记忆管理能力,解决AI搜索下多卡片、多API的调用精度,提升与环境的交互能力; 3.优化Agent上下文理解能力,解决查询意图、查询拆解、问题补全等实际问题; 4.LLM相关的算法探索与落地工作,包括不限于RAG、SFT+强化学习、Multi-Agent等前沿方向。
1.负责AI搜索、智能问答等RAG场景下的检索增强技术优化,提升检索准确率和生成内容质量; 2.负责大模型搜索在召回、排序阶段的相关性、权威性、时效性等问题的建模,提升长尾查询效果; 3.负责检索增强与大模型生成的联合优化,解决阅读理解、文本抽取、摘要生成等实际问题; 4.探索混合检索策略(密集检索+稀疏检索),优化召回率与排序精度。
部门介绍:专注于探索AI和智能硬件的结合,为用户提供自然和便捷的交互体验,隶属于产品研发与工程架构部。作为AI技术应用场景探索的部门,也是字节在智能硬件领域提供综合解决方案的核心部门。我们期待心怀技术理想、挑战技术难题的“你”的加入,和顶尖团队一起参与技术攻坚,开启更多可能! 课题背景: 团队目前在探索大模型在端侧的能力并结合对用户的个性化数据的分析和建模,在保护用户隐私的情况下,提供更高性能、低延迟的更智能的用户使用体验。 随着移动设备的普及和计算能力的提升,端侧AI逐渐成为智能设备的核心驱动力。端侧设备要求不仅要具备高效的计算能力,还需要在保证推理质量的前提下,优化性能和资源使用。尤其是在复杂任务推理、图像生成、意图分类和个性化记忆建模方面,如何设计高效、灵活的系统和模型,已成为当前的研究重点。本课题聚焦于端侧设备上的智能任务推理与生成模型优化,涉及扩散模型(如Stable Diffusion)的精简与高效训练、复杂任务的多意图推理与编排,以及个性化记忆模型的构建与优化,推动端侧AI在各类应用场景中的广泛落地。 课题挑战: 1、多意图与任务处理: 1) 精准理解用户输入中的多意图,推导意图间关系,设计鲁棒的任务推理方法; 2)设计高效的任务编排系统,支持多任务并行执行,并能根据复杂场景需求动态调整任务执行顺序; 3)针对复杂任务链条,构建动态规划与优化机制,实现高效任务分配与执行,确保多场景切换时规划合理稳定。 2、个性化记忆建模与搜索: 1)应对行为数据稀疏性,基于长期行为设计有效特征提取与建模方法,构建个性化的记忆模型,提升用户交互的精准度与体验; 2)提升记忆模型鲁棒性和泛化能力,设计轻量化模型兼顾端侧与云端部署; 3)在端侧设备实现低延迟全局搜索,优化计算资源提升搜索效率。 3、扩散模型优化与部署: 1)如何在保持生成质量的前提下,精简Stable Diffusion等扩散模型以适应端侧设备; 2)设计轻量化的网络架构和高效的采样策略,提升模型的运行速度与效率; 3)针对不同应用场景优化模型生成能力,提升对复杂背景、动态内容的适应性。 4、 GUI自动化操作: 1)实现通用化GUI自动化操作,支持多种设备界面; 2)优化自动化操作的效率与准确性,减少用户干预需求。 通过整合这些方向,课题将实现端侧设备的智能任务推理和生成能力提升,推动智能助手、图像生成等应用场景的技术进步。
团队介绍:字节跳动豆包大模型团队成立于 2023 年,致力于开发业界最先进的 AI 大模型技术,成为世界一流的研究团队,为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心,研究方向涵盖NLP、CV、语音等,在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源,在相关领域持续投入,已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等50+业务,并通过火山引擎开放给企业客户。目前,豆包APP已成为中国市场用户量最大的AIGC应用。 1、负责代码预训练数据的合成、清洗、权重分配、来源扩充等一系列工作,持续提高代码预训练、中程训练等阶段的数据质量;负责探究预训练小领域数据的配比和最终效果之间的关系;开发数据合成链路,解决代码模型中的关键问题; 2、负责探究深度推理技术,探究Test-time Compute和模型效果的Scaling laws,参与后训练奖励模型、强化学习算法的一系列优化流程,探究线上代码补全数据到RL过程的数据飞轮; 3、专注于代码强化学习中的奖励模型(Reward Model)的优化和创新;包括和SFT阶段配合解决判别能力较差的场景、探究合成数据进行代码奖励模型的预训练、组织标注人员进行代码奖励模型的标注、Critic的前沿探究、强化学习过程中的可执行代码与单元测试的质量过滤和扩充。