字节跳动【实习】面向国际电商场景的大模型应用-国际电商（北京）

团队介绍：字节跳动基础设施计算团队，专注构建面向大模型与 AI Agent 时代的 AI-Native Infra。我们从算力、系统到平台，围绕“AI 如何高效运行、持续进化、规模化落地”这一核心问题，重构计算基础设施。我们管理着数十万台服务器组成的超大规模集群，构建统一的异构算力调度与云原生运行体系；通过软硬协同与自研框架，持续突破大模型训练与推理的性能瓶颈；并进一步向上，打造企业级 AI Agent Infra，让 Agent 具备身份、权限、记忆、观测与治理能力，真正成为可运行在生产环境中的新型“应用形态”。 从云服务器、容器、函数，到 AI 网关、可观测与弹性体系，我们构建的是一个为 AI 而生、由 AI 驱动进化的基础设施平台，支撑集团核心业务与企业级客户的智能化升级。 如果你希望参与定义 AI 时代的 Infra 范式，而不仅是优化一个模块或服务——欢迎加入我们，一起构建下一代 AI 云原生基础设施。 课题介绍： 随着大语言模型与AI Agent规模化落地，传统云原生基础设施已难以适配AI负载的极致性能与弹性需求。本课题围绕AI基础设施全栈展开系统性研究： 1、网络与可观测：研究大规模AI集群故障智能定位与根因分析，结合时序数据库智能调优，提升集群稳定性； 2、存储系统：研发AI场景专属的Serverless高性能弹性文件系统与存储加速架构，探索DPU软硬件协同优化，突破AI存储性能瓶颈； 3、算力调度：研究GPU/CPU/MEM异构协同调度技术，面向AI Agent构建Serverless异构算力编排系统，解决负载异构、状态依赖等调度难题； 4、向量检索：优化面向大模型应用的向量检索核心技术，打造云原生分布式向量索引引擎，满足超大规模向量检索的低延迟、低成本需求； 5、智能化与Agent架构：探索基于AI Agent工作流的基础设施自动寻优，构建可自主进化的业务Agent框架，通过AI for Infra赋能全栈智能优化； 本课题旨在构建支撑大模型与AI Agent落地的下一代AI原生基础设施，提升资源利用率、降低成本、支撑弹性扩展，推动AI基础设施技术演进。 课题挑战： 1、全栈协同挑战：覆盖多技术领域，需要从端到端视角实现系统性优化，避免单点优化收益不足； 2、性能成本平衡：AI场景对性能提出极致要求，需要在吞吐、延迟、规模与成本之间找到最优平衡点； 3、云原生适配：需要将传统单机技术方案重构为适配云原生分布式架构，解决扩缩容、容错、调度等新问题； 4、AI系统融合：既需要用AI赋能基础设施优化，又需要基础设施原生适配AI负载，深度融合对技术整合要求高； 5、Agent稳定性：自主进化Agent框架需要解决经验学习、知识一致性、持续安全进化等基础问题，工程化难度大； 6、研发生态平衡：需要平衡前沿理论创新与工程落地，兼顾技术突破与现有业务生态适配。 课题价值： 1、构建大模型/RAG 场景的高性能基础设施底座，支撑大规模向量数据高效检索； 2、优化AI业务存储成本结构与运维复杂度； 3、提升异构算力资源配置效率与技术复用性。

下一代智能体将彻底打破“键盘与屏幕”的束缚，语音将成为人类与AI协作最自然、最高效的入口。这要求模型不仅能“听懂”字面意思，还要能感知语气、情绪与环境音，并基于这些多维度的语音信息直接进行思考、规划与行动。本课题聚焦于构建端到端（End-to-End）的语音原生大模型，并将其深度融入Agentic工作流，打造“边听、边想、边说、边做”的新一代语音智能体，推动AI从传统的“级联式语音助手（ASR+LLM+TTS）”走向具备极低延迟、全双工交互与复杂任务执行能力的真实世界数字伙伴。 具体地，我们关注如下研究方向： 1.端到端语音-语言统一建模与理解： 摒弃传统的级联架构，探索将连续的音频流（包含语音、副语言特征、环境音）与离散的文本Token在统一的自回归/非自回归架构下进行联合建模。使Agent能够无损保留语音中的情绪、重音、语速等声学特征，并在极低延迟下实现跨模态的深度语义理解。 2.实时全双工流式交互与动态响应： 研究面向真实对话场景的流式输入输出机制，攻克语音智能体在自然对话中的“听觉注意力”问题。探索支持随时打断（Interruption）、智能插话（Backchanneling）、端点检测（VAD）与即时状态切换的底层模型架构，实现媲美真人的丝滑对话节奏。 3.语音驱动的Agent规划与工具调用（Voice-to-Action）： 探索如何将模糊、口语化、包含冗余信息的自然语音指令，直接转化为精准的Agent意图与工具调用（Tool Use/API Call）序列。研究语音模态下的长上下文记忆、多轮语音交互中的意图追踪，以及“边对话边执行任务”的并行处理能力。 4.面向语音Agent的高效对齐与强化学习： 探索适用于语音大模型的训练范式与对齐策略。包括但不限于：基于人类偏好的语音强化学习（RLHF for Audio）、语音交互轨迹的大规模构建、针对“对话自然度”与“任务完成率”的多目标奖励建模，以及基于环境反馈的语音Agent自进化机制。 【为什么是我们】 1.全栈顶配算力支持，依托美团大规模算力集群，提供千卡至万卡级算力支持，具备成熟的分布式训练与低延迟推理优化栈，保障 世界动作模型与 VLA 大规模训练。 2.与优秀人才同行，你将与行业顶尖的大模型研究员及机器人领域专家并肩作战，共同攻克具身智能的技术难点。

简介：下一代智能体将彻底打破“键盘与屏幕”的束缚，语音将成为人类与AI协作最自然、最高效的入口。这要求模型不仅能“听懂”字面意思，还要能感知语气、情绪与环境音，并基于这些多维度的语音信息直接进行思考、规划与行动。本课题聚焦于构建端到端（End-to-End）的语音原生大模型，并将其深度融入Agentic工作流，打造“边听、边想、边说、边做”的新一代语音智能体，推动AI从传统的“级联式语音助手（ASR+LLM+TTS）”走向具备极低延迟、全双工交互与复杂任务执行能力的真实世界数字伙伴。 具体地，我们关注如下研究方向： 1、端到端语音-语言统一建模与理解： 摒弃传统的级联架构，探索将连续的音频流（包含语音、副语言特征、环境音）与离散的文本Token在统一的自回归/非自回归架构下进行联合建模。使Agent能够无损保留语音中的情绪、重音、语速等声学特征，并在极低延迟下实现跨模态的深度语义理解。 2、实时全双工流式交互与动态响应： 研究面向真实对话场景的流式输入输出机制，攻克语音智能体在自然对话中的“听觉注意力”问题。探索支持随时打断（Interruption）、智能插话（Backchanneling）、端点检测（VAD）与即时状态切换的底层模型架构，实现媲美真人的丝滑对话节奏。 3、语音驱动的Agent规划与工具调用（Voice-to-Action）： 探索如何将模糊、口语化、包含冗余信息的自然语音指令，直接转化为精准的Agent意图与工具调用（Tool Use/API Call）序列。研究语音模态下的长上下文记忆、多轮语音交互中的意图追踪，以及“边对话边执行任务”的并行处理能力。 4、面向语音Agent的高效对齐与强化学习： 探索适用于语音大模型的训练范式与对齐策略。包括但不限于：基于人类偏好的语音强化学习（RLHF for Audio）、语音交互轨迹的大规模构建、针对“对话自然度”与“任务完成率”的多目标奖励建模，以及基于环境反馈的语音Agent自进化机制。

简介：本课题主要聚焦于真实世界中的搜索智能体遇到的实际问题，分别从基础指令遵循、模态扩展、交互形式和学习范式等四个方面进行研究： 1、智能体复杂指令遵循：大模型目前已经从实验室走向实际的生产环境，从关注Benchmark指标转为重视实际使用体验。真实使用场景以Train-Free + System Prompt的方式居多，其中System Prompt通常具有指令复杂、组合方式多样、变动频繁等特点。该方向主要研究内容有两点：一是大模型对于工具/Skill 调用的指令遵循能力；二是大模型对于复杂总结指令的遵循能力。 2、全模态深度搜索智能体：最真实的物理世界都是全模态的，所以搜索智能体不仅在输入上需要支持全模态，而且在整个搜索过程以及最后的结果呈现上都需要支持全模态。该方向主要研究怎么将已经比较成熟的搜索智能体从单一的文本模态扩展成同时支持文本、语音、图像等多种形式的全模态智能体，要解决全模态规划、深度推理、上下文管理和记忆带来的挑战。 3、主动交互深度研究智能体：智能体时代，所有的智能体都应该是一个具有自主意识的个体，能够主动提供服务。而当前的深度研究智能体，还处于被动给人提供信息的状态，基本不具有自主意识。该方向主要研究怎么让深度研究智能体具有自主意识、能够主动挖掘人类的真实意图、主动引导人类进行多轮互动，最终给人伙伴式体验并提升人的认知。 4、智能体学习范式：当前智能体学习范式以RLVR为主，但是RLVR具有奖励稀疏、适用范围有限、训练不稳定和训练成本高等缺点。该方向主要研究方向包括但不限于：熵机制研究、过程奖励模型（PRM）、开放问题rubrics-based RL、credit assignment、Thinking/Tool Call Budget等。