字节跳动大模型应用算法工程师-生活服务-筋斗云人才计划（北京/上海/成都）

团队介绍：生活服务业务依托于抖音、抖音极速版等平台，致力于促进用户与本地服务的连接。过去一年，生活服务业务开创了全新的视频种草和交易体验，让更多用户通过抖音发现线下好去处，也帮助众多本地商家拓展了新的经营阵地。我们期待你的加入，一同为亿万用户创造更美好的生活。 课题介绍： 随着大模型技术的显著进展，智能体所能参与的场景想象力不断扩大。然而，现有智能体在面对复杂多变的实际应用场景时，仍存在诸多不足。一方面，用户对于交互的多样性和便捷性提出了更高要求，期望能够实现语音、图像、文本等多模态信息的自然交互；另一方面，面对复杂且陌生的问题，缺少泛化且置信的推理和规划能力，难以提供全面且精准的解答。同时，在知识获取方面，挖掘优质内容或主动咨询用户以满足用户的多样化需求，也成为亟待解决的问题。因此，开展对多模态交互、深度思考、规划调度、降低幻觉以及内容挖掘方向的研究，对于提升智能体的性能和用户体验具有重要的现实意义。 1、多模态交互方向：深入研究语音、图像、文本等多模态信息的融合与交互技术，使智能体能够准确理解不同模态输入的含义，并根据用户需求以不同模态进行输出，实现自然流畅的交互体验； 2、深度思考方向：利用大模型的深度推理机制，提升智能体的逻辑推理、反思和问题解决能力。引入知识图谱等技术，增强智能体对知识的理解和运用能力，使其能够在面对复杂问题时，进行深度思考和分析，挖掘问题的本质，提供更具逻辑性和准确性的回答； 3、规划调度方向：构建智能工具调度系统，使智能体能够根据用户问题的类型和需求，自动识别并调用合适的内外部MCP工具，并自行设计工具调度的串并行顺序； 4、降低幻觉方向：大模型的幻觉会带来指令遵循能力差、回复生成质量低、执行流程错误等致命问题，严重影响用户对于智能体的信赖程度，需要被系统性地通过模型、架构、解决方案等多个层面去解决； 5、优质内容挖掘方向：研发高效的内容挖掘算法，从字节跳动站内外的海量的文本、图像、视频等数据中筛选出优质、有价值的信息。对内容进行分类、标注和评估，建立优质内容数据库。通过与智能体的交互，根据用户的兴趣和需求，定向挖掘优质内容，满足用户对高质量信息的获取需求。

团队介绍：生活服务业务依托于抖音、抖音极速版等平台，致力于促进用户与本地服务的连接。过去一年，生活服务业务开创了全新的视频种草和交易体验，让更多用户通过抖音发现线下好去处，也帮助众多本地商家拓展了新的经营阵地。我们期待你的加入，一同为亿万用户创造更美好的生活。 课题介绍：生活服务行业在数字化转型中面临效率提升和成本优化的迫切需求，传统商家依赖销售老师处理商品管理、订单咨询、营销推广等环节，存在响应速度慢、标准化程度低、人力成本高等痛点。基于大语言模型（LLM）的对话系统具备自然语言理解、多任务处理、知识推理等能力，可以为商家提供智能客服、流程自动化、数据分析等场景的解决方案。然而，现有通用模型在垂直领域应用中仍存在领域知识匮乏、复杂任务执行能力不足、多模态交互受限等问题，需结合RAG、Function Calling、多模态等技术进行针对性优化。 课题挑战/必要性： 生活服务行业规则多变（如季节性促销、政策调整），需设计低延迟的领域知识库动态更新机制。另外，商家需求多样，对Agent工具调用、动态规划与异常处理能力提出了很高的要求。同时，在交互中期望能够实现语音、图像、文本等多模态信息的内容理解能力与自然交互，解决语义一致性的难题。 课题内容： 1、RAG在垂直领域的优化：构建生活服务行业知识图谱与动态检索库，研究检索增强生成中的上下文压缩技术与深度思考技术，提升答案准确性； 2、Function Calling与业务流程自动化：设计面向商家的工具库，支持自然语言指令到工具调用的精准映射，研究强化学习（RL）在工具调用领域的应用提升模型对领域外工具的识别泛化能力； 3、对话Agent的决策与协作能力：研究基于强化学习（RL）优化Agent的任务规划能力，研究多Agent协作机制； 4、多模态交互与生成：深入研究图像内容理解，开发能够与商家自然沟通的多模态交互与生成系统。

团队介绍：生活服务业务依托于抖音、抖音极速版等平台，致力于促进用户与本地服务的连接。过去一年，生活服务业务开创了全新的视频种草和交易体验，让更多用户通过抖音发现线下好去处，也帮助众多本地商家拓展了新的经营阵地。我们期待你的加入，一同为亿万用户创造更美好的生活。 课题介绍：生活服务行业在数字化转型中面临效率提升和成本优化的迫切需求，传统商家依赖销售老师处理商品管理、订单咨询、营销推广等环节，存在响应速度慢、标准化程度低、人力成本高等痛点。基于大语言模型（LLM）的对话系统具备自然语言理解、多任务处理、知识推理等能力，可以为商家提供智能客服、流程自动化、数据分析等场景的解决方案。然而，现有通用模型在垂直领域应用中仍存在领域知识匮乏、复杂任务执行能力不足、多模态交互受限等问题，需结合RAG、Function Calling、多模态等技术进行针对性优化。 课题挑战/必要性： 生活服务行业规则多变（如季节性促销、政策调整），需设计低延迟的领域知识库动态更新机制。另外，商家需求多样，对Agent工具调用、动态规划与异常处理能力提出了很高的要求。同时，在交互中期望能够实现语音、图像、文本等多模态信息的内容理解能力与自然交互，解决语义一致性的难题。 课题内容： 1、RAG在垂直领域的优化：构建生活服务行业知识图谱与动态检索库，研究检索增强生成中的上下文压缩技术与深度思考技术，提升答案准确性； 2、Function Calling与业务流程自动化：设计面向商家的工具库，支持自然语言指令到工具调用的精准映射，研究强化学习（RL）在工具调用领域的应用提升模型对领域外工具的识别泛化能力； 3、对话Agent的决策与协作能力：研究基于强化学习（RL）优化Agent的任务规划能力，研究多Agent协作机制； 4、多模态交互与生成：深入研究图像内容理解，开发能够与商家自然沟通的多模态交互与生成系统。

团队介绍：生活服务业务依托于抖音、抖音极速版等平台，致力于促进用户与本地服务的连接。过去一年，生活服务业务开创了全新的视频种草和交易体验，让更多用户通过抖音发现线下好去处，也帮助众多本地商家拓展了新的经营阵地。我们期待你的加入，一同为亿万用户创造更美好的生活。 课题背景/目标： 用户在抖音App上对于生活服务类内容兴趣的的表达，多数和对应的时间、空间位置相关，例如餐饮消费，需要考虑当前时间、餐厅距离等时空因素。这类生活服务相关的兴趣表达，往往是相对较稀疏的。对用户更精准的生活服务相关的时空兴趣的学习，更有利于相关内容精准的分发，也更有利于生活服务相关的交易转化，在抖音的内容分发场景下，更好的支持更多样的商家经营。 课题挑战/必要性： 用户生活服务相关的行为相比于抖音整体的用户互动行为更加稀疏，且有噪音。用户在时间、空间上的兴趣在动态变化。用户行为跨越多种内容体裁，短视频、直播、图文、卡片等等。用户的时空兴趣和对应的生活服务品类相关性较强，同时生服品类间差异较大。如何在抖音基于互动行为建模的推荐系统主体中，更好的体现用户的时空兴趣，是一个充满挑战的课题。 课题内容： 在海量的抖音用户行为数据中，利用大模型相关技术更好的捕捉用户时空兴趣，包括但不限于：1.将用户行为与世界知识结合，对用户稀疏行为更好的建模；2.利用多模态建模，打通多体裁多品类并从中抽取用户时空兴趣；3.通过极致的性能技术优化，做好实时动态建模，将大模型应用于线上生成环境。 涉及研究方向： 大模型、深度学习、知识图谱、内容理解