字节跳动智能系统研究员-基础架构-筋斗云人才计划
任职要求
1、获得博士学位，人工智能、计算机科学、数学相关专业优先； 2、拥有扎实的信息检索、数据挖掘、机器学习、计算机网络等相关领域理论基础，精通计算机网络和网络编程，熟练掌握至少一门主流编程语言，如C/C++、Python、Go等，具备优秀的代码能力、数据结构和基础算法功底； 3、针对不同研究方向，需具备相应能力，如能够独立完成复杂搜索任务的设计与开发；有LLM和基础架构相关研究背景；能完成研究点的设计文档、独立交付件、演示Demo；熟悉当前高性能网络和系统领域的最新进展，包括RDMA，拥…
工作职责
团队介绍：字节跳动基础架构团队主要负责公司云基础建设，支撑着字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、飞书、剪映等，同时也负责支持火山引擎公有云业务。迄今为止，我们通过云技术管理着百万量级的服务器构成的超大数据中心；我们通过字节深度优化的Kubernetes管理超过千万容器实例支持10万+微服务；我们还通过丰富的存储产品矩阵，如NewSQL、NoSQL、云存储等治理EB级的数据资产；我们积极拥抱开源和创新的软硬件架构，致力于构建业界领先的云基础设施，为整个公司的业务和客户发展保驾护航。我们热切期待对技术有追求、对大型系统有深刻见解的同学加入基础架构团队一起构建基础设施系统。 课题介绍： 在大语言模型蓬勃发展的当下，本课题聚焦于智能云基础设施与数据处理关键技术的多维度研究，旨在全面提升云服务在 AI 场景下的综合性能与效率。 课题挑战： 1、新一代搜索型数据库：当前产业界广泛应用的ElasticSearch面临数据与用户需求的深刻变革。需实现语义检索升级，突破关键词匹配限制，以满足学术研究等领域对语义理解和精准检索的要求；具备处理和融合多模态数据的能力，应对互联网图像、音视频多模态数据的爆发式增长；优化检索过程，更好地支持检索增强生成（RAG）技术，为语言模型提供优质信息；同时，需应对各行业海量数据存储检索压力，提升搜索实时性与跨语言能力； 2、面向LLM的下一代智能云基础架构：一方面，自动化和智能化管理基础架构各系统生命周期，深度融合人工智能与基础架构关键系统，建设大规模工业级Self-Driving Infra平台；另一方面，针对新涌现的LLM应用场景，在基础架构各个领域进行前沿技术创新，与字节工程团队合作，设计和开发高性价比且简单易用的下一代大模型基础架构，为火山引擎奠定技术与业务增长基础； 3、面向AI场景的serverless高性能弹性文件系统关键技术研究：大模型时代数据量爆炸式增长，当前文件系统多采用中心化元数据架构，难以水平扩展，限制文件系统规模及元数据性能。本研究将围绕元数据扩展性、与大模型深度结合提供Data Insight、设计高性能元数据单机引擎、实现任意目录快照、融合文件系统和对象存储元数据、内存加速、提供QoS（性能租户隔离和目录隔离）、故障处理（故障域隔离和故障无损）以及研发高性能客户端（用户态文件协议和DPU卸载）等关键技术展开； 4、面向大规模AI集群的高速通信和稳定性优化：随着大模型训练/推理业务规模增长，底层高速网络面临挑战。一方面，需解决GPU服务器硬件资源利用率偏低问题，包括充分利用CPU和内存空闲资源，以及研发计算通信融合的高性能集合通信库，实现通信算子与计算任务的深度融合；另一方面，在稳定性方面，提升故障快速发现和根因定位能力，解决网络吞吐不达预期等典型故障。
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok AI创新中心，是致力于AI基础设施建设和创新研究的部门，探索行业领先的人工智能技术，包括大语言模型，多模态大模型等研究方向。我们希望研发能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。在Code AI方向，我们利用大语言模型强大的代码理解与推理能力，提升程序性能与研发效率。 课题介绍：多模态基础大模型VLM 是行业的研究热点，也是TikTok业务场景应用的关键技术，2024年TikTok AI创新中心研发了面向TikTok业务场景的多模态大模型VFM V1，在公开测试集上能够与最好的开源模型 Qwen VL持平，同时在 TikTok 业务测试集上，能够大幅领先所有其它基础模型。未来，我们希望持续研发具有高效感知和推理思考能力的基础模型，能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。 1、探索和研发大规模、多模态的基础模型（Foundational models），致力于构建能够统一理解和生成文本、视觉、代码等多模态信息，并具备通用智能的系统，力求达到或超越行业领先水平（如Gemini，Claude，GPT等）； 2、深入研究多模态/代码预训练、指令微调、基于人类反馈的强化学习（RLHF）和其他对齐技术，以及模型压缩，以提升模型在复杂任务和跨领域泛化上的表现； 3、推动模型在多场景的落地应用，包括但不限于视频内容理解与生成、个性化推荐、代码效率优化、以及统一多模态交互系统等； 4、深入研究并与海内外一流大学的研究人员进行学术合作，共同探索AI的统一理论与前沿架构。
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok AI创新中心，是致力于AI基础设施建设和创新研究的部门，探索行业领先的人工智能技术，包括大语言模型，多模态大模型等研究方向。我们希望研发能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。在Code AI方向，我们利用大语言模型强大的代码理解与推理能力，提升程序性能与研发效率。 课题介绍：多模态基础大模型VLM 是行业的研究热点，也是TikTok业务场景应用的关键技术，2024年TikTok AI创新中心研发了面向TikTok业务场景的多模态大模型VFM V1，在公开测试集上能够与最好的开源模型 Qwen VL持平，同时在 TikTok 业务测试集上，能够大幅领先所有其它基础模型。未来，我们希望持续研发具有高效感知和推理思考能力的基础模型，能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。 1、探索和研发大规模、多模态的基础模型（Foundational models），致力于构建能够统一理解和生成文本、视觉、代码等多模态信息，并具备通用智能的系统，力求达到或超越行业领先水平（如Gemini，Claude，GPT等）； 2、深入研究多模态/代码预训练、指令微调、基于人类反馈的强化学习（RLHF）和其他对齐技术，以及模型压缩，以提升模型在复杂任务和跨领域泛化上的表现； 3、推动模型在多场景的落地应用，包括但不限于视频内容理解与生成、个性化推荐、代码效率优化、以及统一多模态交互系统等； 4、深入研究并与海内外一流大学的研究人员进行学术合作，共同探索AI的统一理论与前沿架构。
部门介绍：专注于探索AI和智能硬件的结合，为用户提供自然和便捷的交互体验，隶属于产品研发与工程架构部。作为AI技术应用场景探索的部门，也是字节在智能硬件领域提供综合解决方案的核心部门。我们期待心怀技术理想、挑战技术难题的“你”的加入，和顶尖团队一起参与技术攻坚，开启更多可能！ 课题背景： 团队目前在探索大模型在端侧的能力并结合对用户的个性化数据的分析和建模，在保护用户隐私的情况下，提供更高性能、低延迟的更智能的用户使用体验。 随着移动设备的普及和计算能力的提升，端侧AI逐渐成为智能设备的核心驱动力。端侧设备要求不仅要具备高效的计算能力，还需要在保证推理质量的前提下，优化性能和资源使用。尤其是在复杂任务推理、图像生成、意图分类和个性化记忆建模方面，如何设计高效、灵活的系统和模型，已成为当前的研究重点。本课题聚焦于端侧设备上的智能任务推理与生成模型优化，涉及扩散模型（如Stable Diffusion）的精简与高效训练、复杂任务的多意图推理与编排，以及个性化记忆模型的构建与优化，推动端侧AI在各类应用场景中的广泛落地。 课题挑战： 1、多意图与任务处理： 1） 精准理解用户输入中的多意图，推导意图间关系，设计鲁棒的任务推理方法； 2）设计高效的任务编排系统，支持多任务并行执行，并能根据复杂场景需求动态调整任务执行顺序； 3）针对复杂任务链条，构建动态规划与优化机制，实现高效任务分配与执行，确保多场景切换时规划合理稳定。 2、个性化记忆建模与搜索： 1）应对行为数据稀疏性，基于长期行为设计有效特征提取与建模方法，构建个性化的记忆模型，提升用户交互的精准度与体验； 2）提升记忆模型鲁棒性和泛化能力，设计轻量化模型兼顾端侧与云端部署； 3）在端侧设备实现低延迟全局搜索，优化计算资源提升搜索效率。 3、扩散模型优化与部署： 1）如何在保持生成质量的前提下，精简Stable Diffusion等扩散模型以适应端侧设备； 2）设计轻量化的网络架构和高效的采样策略，提升模型的运行速度与效率； 3）针对不同应用场景优化模型生成能力，提升对复杂背景、动态内容的适应性。 4、 GUI自动化操作： 1）实现通用化GUI自动化操作，支持多种设备界面； 2）优化自动化操作的效率与准确性，减少用户干预需求。 通过整合这些方向，课题将实现端侧设备的智能任务推理和生成能力提升，推动智能助手、图像生成等应用场景的技术进步。
团队介绍：字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品的搜索工程、算法创新和架构研发工作。我们的职责是用前沿的技术去打造一个用户体验佳、信息效率高的搜索引擎产品。我们的愿景是做一款用户首选的搜索引擎，我们的使命是可以充分整合内容，高效连接人与信息。 团队主要负责抖音、今日头条、西瓜视频、问答和百科等产品的业务研发和架构研发工作。 我们使用前沿的前端、客户端和服务端技术赋能于搜索业务的快速迭代，并在技术上不断创新和突破。同时专注于大流量、高并发、低延时的搜索系统的构建，在性能优化上，追求从内存、Disk等优化到业务架构和网络协议的创新探索，在迭代效能上不断探索容器化、动态化、搭建化等方案的创新，技术氛围强，充分给同学们提供自我成长的机会。 课题介绍： 课题主题：医疗大模型多模态理解能力、业务效果提升。 课题挑战：通过合成数据、Detail Caption、Grounding等方面提高模型在医疗患处图片、报告等不同数据的理解能力；在模型训练范式、模型结构、数据配比探索最佳实践方案，取得业务效果大幅提升的同时实现前沿技术突破；通过强化学习方法提升医疗科普/问诊等业务场景效果，探索理想态的CoT、LongCoT样本，激发医疗模型的深度思考能力；围绕Rule Base Reward、PRM、ORM等方法并结合GRPO/PPO等算法进行强化激发，提升模型的泛化能力。 1、负责医疗领域大模型的预训练、SFT、强化训练，模型性能达到业界领先水平； 2、对模型在业务场景中的效果负责，将模型成功落地应用并在业务中取得实际收益； 3、调研大模型方向尤其是医疗领域的前沿技术方案，持续提升部门关键技术竞争力。