字节跳动大模型应用算法工程师-AI Coding-筋斗云人才计划

Team Introduction: Dedicated to building an industry-leading large-model dialogue system, the team serves hundreds of millions of daily active users, with application scenarios covering the entire Douyin e-commerce ecosystem. This includes core business scenarios such as platform customer service, platform merchant service, merchant customer service, influencer customer service, and innovative intelligent shopping guides. Through continuous technological innovation and optimization, the team has successfully established a complete intelligent dialogue solution, delivering significant efficiency improvements and user experience enhancements to e-commerce operations. Research Objectives: Develop an LLM-based customer service chatbot for TikTok and Douyin E-commerce, enabling intelligent customer service interactions. The LLM will handle the entire user inquiry process, including request clarification, solution negotiation, and execution. Necessity: LLM's strong conversational and reasoning abilities make it especially suitable for intelligent customer service, capable of potentially reaching the service standards of excellent human representatives. Research Content: Design a multi-agent framework based on LLM, integrating planning-agent, reply-agent, and tool-agent. Each agent will specialize in different functions, working collaboratively to manage the complete service process—from issue identification and solution negotiation to solution implementation and feedback. 1) Reply-agent ensures the proposed solutions comply with platform policies and service guidelines, avoids excessive improvisation or hallucinations, and maintains smooth communication and negotiation with the user. 2) Planning-agent identifies user demands and problem scenarios, sourcing relevant service guidelines and constraints as well as recognizing risk scenarios. 3) Tool-agent validates the legality of tool usage, accurately interprets the results from tool interactions, and manages execution dependencies of various actions. Research Challenges: Compliance with service guidelines: Ensuring the chatbot's solutions adhere to platform service guidelines (such as available refund within xx days of parcel arrival and coupon limits per user per week). Dynamic feedback adaptation: Static adherence to service rules and providing fixed solutions can limit the flexibility of reply-agents, preventing them from acting like excellent human customer service representatives. By enabling reply-agents to interact in real-time with their environment, considering user's behavioral trends, demands expressed during inquiries, and feedback on proposed solutions, personalized service can be provided. This approach fosters adaptive responses and progressive services and solutions, closely mirroring the flexibility and excellence of human customer service. Self-reflection: Employing LLM's capabilities to understand, analyze, and evaluate its own behavior, fostering self-supervision and decision refinement through reflection on outputs, particularly with complex and ambiguous tasks. Complex image processing: Handling scenarios involving numerous complex images (including shipping order photos, bank transaction screenshots, images of damaged goods received, and seller qualification certifications). These images contain key information crucial to enhancing the chatbot's problem resolution capabilities. 团队介绍： 智能对话团队，致力于打造业界领先的大模型对话系统。团队服务的日活用户超过数亿，应用场景覆盖抖音电商全链路，包括平台客服、平台商服、商家客服、达人客服，以及创新的智能导购等核心业务场景，通过持续的技术创新和优化，成功构建了一套完整的智能对话解决方案，为电商业务带来了显著的效率提升和用户体验改善。 课题目标： 构建基于LLM的电商客服机器人（Chatbot），服务TikTok和抖音电商智能客服场景，由LLM完成一次用户进线的完整接待过程，包括诉求澄清、方案协商、方案执行等阶段。 必要性： LLM具有强大的对话和推理能力，智能客服是LLM能够发挥价值的最典型场景，有机会能够达到匹配优秀人工客服的服务能力。 课题内容： 设计一个基于LLM 的 multi-agent framework，将 planning-agent、reply-agent、tool-agent 集成到一起，每个 agent 负责不同能力，互相协同，完成从问题定位、方案协商，到方案执行、结果反馈等服务全流程。reply agent 需要确保给用户提供的方案是符合平台的相关政策和service policy的，不自行过度发挥、不出现幻觉，顺滑的完成和用户的沟通协商过程；planning agent 完成定位用户诉求和问题场景，以便从外部获取该场景的服务准则和约束，如何识别风险场景；tool agent 需要确保工具调用的合法性、接收和解析工具调用的返回结果，另外一些动作的执行存在前后依赖的问题。 课题挑战： 1、遵循服务准则：如何确保方案Chatbot提供的方案是follow平台服务准则的，例如到货xx天之内可以申请退款、同一用户一星期内最多发送xx额度的优惠券； 2、感知环境反馈：reply agent如果只能死板的follow当前场景服务准则，提供一层不变的方案，是无法像优秀客服一样做到灵活变通的。让Agent能够实时的和环境打通，通过结合当前用户进线前的行为动线、进线后表达的诉求和用户对 agent 提供方案的反馈，为用户提供个性化的服务，对用户的实时反馈有响应，像优秀客服一样能随机应变，递进式的提供服务和解决方案； 3、进行自我反思：利用LLM理解、分析和评价其自身的行为，使LLM能够自我监督，通过对自身输出的反思，改进其所做的决策，以便在处理复杂、有歧义的任务时，能有更好的表现； 4、复杂图片理解：电商场景存在大量复杂的图片，包括运费订单实拍图、银行流水截图、买家收货缺件破损的、商家各类资质证明等，这类图片往往包含重要的信息，对提升Chatbot解决能力非常重要。

团队介绍：AI Coding团队致力于探索LLM在软件开发全生命周期的应用，支持MarsCode、Trae等代码智能产品中代码补全、智能编辑、程序debug以及代码修复等核心AI功能的全链路模型优化。欢迎对大模型、Agent技术和开发者工具体系感兴趣、对技术有追求的同学加入，共同成长！ 课题介绍： 一、课题背景与研究动机 1、复杂软件工程项目的挑战与需求：随着企业业务需求的快速增长，软件项目规模持续扩大，系统架构日趋复杂，跨语言、多框架、多平台开发成为常态。开发团队在应对代码理解、跨模块协作、版本演化和长期维护等问题时，效率与质量面临双重挑战； 2、大模型在编程领域的潜力与不足：大规模语言模型在代码生成、补全和文档生成等任务上已展现强大能力，推动了智能化开发工具的初步落地。然而，在应对复杂软件工程项目时，现有模型在长序列建模、上下文一致性、跨文件依赖理解及代码质量保障方面仍有明显不足； 3、技术与产业机遇：1）范式变革：大模型有望成为软件开发全流程的重要参与者，推动从工具辅助向智能协作转变，覆盖从需求分析到代码实现、测试生成和自动化重构的各个环节；2）行业转型：通过深度优化大模型在复杂软件开发中的能力，可显著提升企业研发效率、软件质量与团队协作能力，助力数字化转型； 二、研究目标与创新价值 1、研究目标 1）提升大模型对复杂项目的语义理解与跨模块上下文建模能力，尤其是在长序列代码、跨文件依赖和复杂逻辑推理场景中的表现； 2）优化模型微调与自适应学习策略，通过引入多任务学习、强化学习（RL）和领域知识增强，构建具有高泛化能力和行业适配能力的大模型； 3）集成领域知识库与检索增强（RAG）技术，确保模型生成结果在行业标准、安全规范和合规性方面的准确性与可靠性； 4）构建自我进化的 AI Coding多智能体系统，基于强化学习、长期记忆、垂类模型训练、测试时计算等方法，持续优化任务规划、代码生成等能力，实现数据驱动的自我进化，从而实现复杂应用的端到端全栈开发； 2、创新价值 1）模型结构与预训练策略的突破：在通用预训练模型基础上，结合程序分析与语法语义建模，提升对大型软件项目的理解能力，尤其是在模块间交互和函数调用路径分析方面； 2）模型优化与自适应增强：通过多维度监督信号（代码质量、运行性能、测试覆盖率等），实现强化学习与在线反馈的动态调整，打造具备持续学习能力的大模型； 3）从工具辅助到全生命周期协作：以大模型为核心，推动需求到实现、测试到部署的智能化协作新范式，助力开发者在复杂工程项目中更高效地完成跨团队协作与长期维护； 4）领域知识与行业专属能力融入：通过引入行业领域知识库（如金融合规、医疗数据安全规范等），结合检索增强技术（RAG），确保生成代码符合行业标准，显著降低错误和安全隐患； 三、主要挑战与应用前景 1、长序列代码与复杂上下文建模：复杂软件项目中，代码文件可能达到数千行，存在跨模块调用和多层次依赖，模型如何在长序列输入下保持上下文一致性，是核心技术难点之一； 2、跨语言与多框架适配：现有模型大多针对单一语言优化，而企业项目往往涉及多语言（如 Python、C++、Java 等）和多框架（如 React、Django、Kubernetes）。如何提升模型的跨语言泛化能力成为重要课题； 3、领域知识缺失与安全合规风险：通用大模型缺乏行业特定知识，可能生成不符合行业规范或存在潜在漏洞的代码，需引入领域知识与合规规则进行优化和增强； 4、人机协作：针对新涌现的大模型技术和应用场景，研究下一代软件研发人机交互形式，推动AI驱动的交互形式的普及与发展。

Team Introduction： The Search Team is primarily responsible for the innovation of search algorithm and architecture research and development (R&D) for products such as Douyin, Toutiao, and Xigua Video, as well as businesses like E-commerce and Local Services. We leverage cutting-edge machine learning technologies for end-to-end modeling and continuously push for breakthroughs. We also focus on the construction and performance optimization of distributed and machine learning systems — ranging from memory and disk optimization to innovations in index compression and exploration of recall and ranking algorithms — providing students with ample opportunities to grow and develop themselves. The main areas of work include: 1. Exploring Cutting-Edge NLP Technologies: From basic tasks like word segmentation and Named Entity Recognition (NER) to advanced business functions like text and multimodal pre-training, query analysis, and fundamental relevance modeling, we apply deep learning models throughout the pipeline where every detail presents a challenge. 2. Cross-Modal Matching Technologies: Applying deep learning techniques that combine Computer Vision (CV) and Natural Language Processing (NLP) in search, we aim to achieve powerful semantic understanding and retrieval capabilities for multimodal video search. 3. Large-Scale Streaming Machine Learning Technologies: Utilising large-scale machine learning to address recommendation challenges in search, making the search more personalized and intuitive in understanding user needs. 4. Architecture for data at the scale of hundreds of billions: Conducting in-depth research and innovation in all aspects, from large-scale offline computing and performance and scheduling optimization of distributed systems to building high-availability, high-throughput, and low-latency online services. 5. Recommendation Technologies: Leveraging ultra-large-scale machine learning to build industry-leading search recommendation systems and continuously explore and innovate in search recommendation technologies. 团队介绍： 字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。 主要工作方向包括： 1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战； 2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力； 3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你； 4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新； 5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题背景/目标： 随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义query的搜索满意度； 4、构建高性能、低资源消耗的大规模批流一体检索和计算系统，提升资源利用率。 课题挑战/必要性： 1、个性化排序的挑战：传统排序算法难以充分利用多模态信息（如文本、图像、视频等），且模型复杂度有限，无法满足用户对精准化和个性化搜索的需求； 2、超大规模检索的挑战：传统判别式模型在千亿级别候选库的检索中，面临模型容量不足、索引效率低下等问题，亟需新一代检索算法； 3、复杂query理解的挑战：用户搜索需求日益复杂，传统搜索引擎难以准确理解长难句、多义query的语义，导致搜索结果满意度低； 4、资源利用率的挑战：搜索系统存储和计算分离的架构导致资源利用率低，如何在保证性能的同时优化资源使用成为关键问题； 5、基于大模型的智能搜索构建是解决上述挑战的必要途径。通过引入大模型技术，可以显著提升搜索系统的语义理解能力、检索效率和资源利用率，从而为用户提供更精准、更高效的搜索体验。 课题内容： 1、个性化排序大模型研究； 2、超大规模生成式检索算法研究； 3、基于LLM提升复杂多义query的搜索满意度； 4、高性能大规模批流一体检索和计算系统。 涉及的研究方向：排序大模型、生成式检索与跨模态融合、大语言模型（LLM）与复杂query理解、高性能计算与存储架构。

团队介绍：AI Coding团队致力于探索LLM在软件开发全生命周期的应用，支持MarsCode、Trae等代码智能产品中代码补全、智能编辑、程序debug以及代码修复等核心AI功能的全链路模型优化。欢迎对大模型、Agent技术和开发者工具体系感兴趣、对技术有追求的同学加入，共同成长！ 课题介绍： 一、课题背景与研究动机 1、复杂软件工程项目的挑战与需求：随着企业业务需求的快速增长，软件项目规模持续扩大，系统架构日趋复杂，跨语言、多框架、多平台开发成为常态。开发团队在应对代码理解、跨模块协作、版本演化和长期维护等问题时，效率与质量面临双重挑战； 2、大模型在编程领域的潜力与不足：大规模语言模型在代码生成、补全和文档生成等任务上已展现强大能力，推动了智能化开发工具的初步落地。然而，在应对复杂软件工程项目时，现有模型在长序列建模、上下文一致性、跨文件依赖理解及代码质量保障方面仍有明显不足； 3、技术与产业机遇：1）范式变革：大模型有望成为软件开发全流程的重要参与者，推动从工具辅助向智能协作转变，覆盖从需求分析到代码实现、测试生成和自动化重构的各个环节；2）行业转型：通过深度优化大模型在复杂软件开发中的能力，可显著提升企业研发效率、软件质量与团队协作能力，助力数字化转型； 二、研究目标与创新价值 1、研究目标 1）提升大模型对复杂项目的语义理解与跨模块上下文建模能力，尤其是在长序列代码、跨文件依赖和复杂逻辑推理场景中的表现； 2）优化模型微调与自适应学习策略，通过引入多任务学习、强化学习（RL）和领域知识增强，构建具有高泛化能力和行业适配能力的大模型； 3）集成领域知识库与检索增强（RAG）技术，确保模型生成结果在行业标准、安全规范和合规性方面的准确性与可靠性； 4）构建自我进化的 AI Coding多智能体系统，基于强化学习、长期记忆、垂类模型训练、测试时计算等方法，持续优化任务规划、代码生成等能力，实现数据驱动的自我进化，从而实现复杂应用的端到端全栈开发； 2、创新价值 1）模型结构与预训练策略的突破：在通用预训练模型基础上，结合程序分析与语法语义建模，提升对大型软件项目的理解能力，尤其是在模块间交互和函数调用路径分析方面； 2）模型优化与自适应增强：通过多维度监督信号（代码质量、运行性能、测试覆盖率等），实现强化学习与在线反馈的动态调整，打造具备持续学习能力的大模型； 3）从工具辅助到全生命周期协作：以大模型为核心，推动需求到实现、测试到部署的智能化协作新范式，助力开发者在复杂工程项目中更高效地完成跨团队协作与长期维护； 4）领域知识与行业专属能力融入：通过引入行业领域知识库（如金融合规、医疗数据安全规范等），结合检索增强技术（RAG），确保生成代码符合行业标准，显著降低错误和安全隐患； 三、主要挑战与应用前景 1、长序列代码与复杂上下文建模：复杂软件项目中，代码文件可能达到数千行，存在跨模块调用和多层次依赖，模型如何在长序列输入下保持上下文一致性，是核心技术难点之一； 2、跨语言与多框架适配：现有模型大多针对单一语言优化，而企业项目往往涉及多语言（如 Python、C++、Java 等）和多框架（如 React、Django、Kubernetes）。如何提升模型的跨语言泛化能力成为重要课题； 3、领域知识缺失与安全合规风险：通用大模型缺乏行业特定知识，可能生成不符合行业规范或存在潜在漏洞的代码，需引入领域知识与合规规则进行优化和增强； 4、人机协作：针对新涌现的大模型技术和应用场景，研究下一代软件研发人机交互形式，推动AI驱动的交互形式的普及与发展。