字节跳动大模型算法研究员（多模态与Code AI方向）-TikTok AI创新中心-筋斗云人才计划
任职要求
1、获得博士学位，计算机、人工智能或相关理工科专业优先； 2、具有机器学习（ML）、计算机视觉（CV）、自然语言处理（NLP）或强化学习（RL）相关经验，在相关领域的顶级会议（如ICLR，NeurIPS，ICML等）发表过高质量论文，具有被广泛引用代表作的研究者优先； 3、具有对多模态基础模型、文本或代码基础模型有实际开发经验者优先； 4、具备出色的编程能力、数据结构和算法技能，熟练掌握C/C++或Python编程语言，优先考虑在ACM/ICPC、NOI/IOI、Top Coder、Kaggle等比赛中获奖的候选人； 5、拥有机器学习领域的研究经历，特别是在大规模语言模型（LLMs）、多模态学习、生成式人工智能、强化学习与大模型推理、或对构建新型模型架构有深入思考或实践经验者优先； 6、出色的问题分析和解决能力，良好的沟通能力和团队合作精神，并对解决具有挑战性的前沿AI问题充满热情。
工作职责
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok AI创新中心，是致力于AI基础设施建设和创新研究的部门，探索行业领先的人工智能技术，包括大语言模型，多模态大模型等研究方向。我们希望研发能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。在Code AI方向，我们利用大语言模型强大的代码理解与推理能力，提升程序性能与研发效率。 课题介绍：多模态基础大模型VLM 是行业的研究热点，也是TikTok业务场景应用的关键技术，2024年TikTok AI创新中心研发了面向TikTok业务场景的多模态大模型VFM V1，在公开测试集上能够与最好的开源模型 Qwen VL持平，同时在 TikTok 业务测试集上，能够大幅领先所有其它基础模型。未来，我们希望持续研发具有高效感知和推理思考能力的基础模型，能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。 1、探索和研发大规模、多模态的基础模型（Foundational models），致力于构建能够统一理解和生成文本、视觉、代码等多模态信息，并具备通用智能的系统，力求达到或超越行业领先水平（如Gemini，Claude，GPT等）； 2、深入研究多模态/代码预训练、指令微调、基于人类反馈的强化学习（RLHF）和其他对齐技术，以及模型压缩，以提升模型在复杂任务和跨领域泛化上的表现； 3、推动模型在多场景的落地应用，包括但不限于视频内容理解与生成、个性化推荐、代码效率优化、以及统一多模态交互系统等； 4、深入研究并与海内外一流大学的研究人员进行学术合作，共同探索AI的统一理论与前沿架构。
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok AI创新中心，是致力于AI基础设施建设和创新研究的部门，探索行业领先的人工智能技术，包括大语言模型，多模态大模型等研究方向。我们希望研发能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。在Code AI方向，我们利用大语言模型强大的代码理解与推理能力，提升程序性能与研发效率。 课题介绍：多模态基础大模型VLM 是行业的研究热点，也是TikTok业务场景应用的关键技术，2024年TikTok AI创新中心研发了面向TikTok业务场景的多模态大模型VFM V1，在公开测试集上能够与最好的开源模型 Qwen VL持平，同时在 TikTok 业务测试集上，能够大幅领先所有其它基础模型。未来，我们希望持续研发具有高效感知和推理思考能力的基础模型，能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。 1、探索和研发大规模、多模态的基础模型（Foundational models），致力于构建能够统一理解和生成文本、视觉、代码等多模态信息，并具备通用智能的系统，力求达到或超越行业领先水平（如Gemini，Claude，GPT等）； 2、深入研究多模态/代码预训练、指令微调、基于人类反馈的强化学习（RLHF）和其他对齐技术，以及模型压缩，以提升模型在复杂任务和跨领域泛化上的表现； 3、推动模型在多场景的落地应用，包括但不限于视频内容理解与生成、个性化推荐、代码效率优化、以及统一多模态交互系统等； 4、深入研究并与海内外一流大学的研究人员进行学术合作，共同探索AI的统一理论与前沿架构。
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok AI创新中心，是致力于AI基础设施建设和创新研究的部门，探索行业领先的人工智能技术，致力于突破多模态大模型与代码大模型的技术边界。我们正在构建下一代AI系统，这些系统能够无缝理解与整合多语言文本、海量视频内容及复杂代码结构，打造真正跨模态的统一智能架构。我们的研究不仅关注模型的理解能力，更探索其在复杂推理任务中的应用潜力，将代码作为连接各类智能任务的通用语言。团队旨在通过创新算法设计，为用户提供前所未有的内容体验与创作辅助，同时显著提升开发效率与系统性能。 课题介绍：多模态基础大模型VLM 是行业的研究热点，也是TikTok业务场景应用的关键技术，2024年TikTok AI创新中心研发了面向TikTok业务场景的多模态大模型VFM V1，在公开测试集上能够与最好的开源模型 Qwen VL持平，同时在 TikTok 业务测试集上，能够大幅领先所有其它基础模型。未来，我们希望持续研发具有高效感知和推理思考能力的基础模型，能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。 1、探索和研发多模态的基础模型（Foundational models），致力于构建能够统一理解和生成文本、视觉、代码等多模态信息，并具备通用智能的系统，力求达到或超越行业领先水平（如Gemini，Claude，GPT等）； 2、深入研究多模态/代码预训练、指令微调、基于人类反馈的强化学习（RLHF）和其他对齐技术，以及模型压缩，以提升模型在复杂任务和跨领域泛化上的表现； 3、推动模型在多场景的落地应用，包括但不限于视频内容理解与生成、个性化推荐、代码效率优化、以及统一多模态交互系统等； 4、深入研究并与海内外大学的研究人员进行学术合作，共同探索AI的统一理论与前沿架构。
Team Introduction: The TikTok AI Innovation Center is a department focused on building AI infrastructure and driving cutting-edge research in AI. We explore industry-leading AI technologies, including large language models (LLMs) and multimodal large models, with the goal of developing models that can understand multilingual content and vast amounts of video data, ultimately delivering a better content consumption experience for users. In the Code AI domain, we leverage the powerful code understanding and reasoning capabilities of LLMs to enhance program performance and R&D efficiency. Project Introduction: Multimodal foundation large models (VLM) represent a research hotspot in the industry and a critical technology for TikTok's business scenario applications. In 2024, TikTok's Innovation Center developed VFM V1, a multimodal large model tailored for TikTok's business scenarios. It matches the performance of the best open-source model Qwen VL on public test sets, while significantly outperforming all other foundation models on TikTok's business test sets. In the future, we aim to continuously develop foundation models with efficient perception and reasoning capabilities, capable of handling multilingual and massive video content understanding algorithms to deliver a better content consumption experience for users. Project Challenges: Enhance the multimodal perception encoder: The current encoder uses a fixed frame rate. We need to explore more efficient adaptive frame rates while considering the integration of modalities such as audio and user behavior. How to fuse multimodal perception and thinking capabilities to promote stronger comprehensive perception and cognitive abilities of the model. 团队介绍： TikTok AI创新中心，是致力于AI基础设施建设和创新研究的部门，探索行业领先的人工智能技术，包括大语言模型，多模态大模型等研究方向。我们希望研发能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。在Code AI方向，我们利用大语言模型强大的代码理解与推理能力，提升程序性能与研发效率。 课题介绍： 多模态基础大模型VLM 是行业的研究热点，也是TikTok业务场景应用的关键技术，2024年TikTok AI创新中心研发了面向TikTok业务场景的多模态大模型VFM V1，在公开测试集上能够与最好的开源模型 Qwen VL持平，同时在 TikTok 业务测试集上，能够大幅领先所有其它基础模型。未来，我们希望持续研发具有高效感知和推理思考能力的基础模型，能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。 课题挑战： 1、增强多模态感知编码器，当前的编码器是固定帧率，需要探索更高效的自适应帧率，同时考虑音频、用户行为等模态加入； 2、如何融合多模态感知和思考能力，促进更强的模型综合感知和认知能力。
团队介绍：TikTok是一个覆盖150个国家和地区的国际短视频平台，我们希望通过TikTok发现真实、有趣的瞬间，让生活更美好。TikTok 在全球各地设有办公室，全球总部位于洛杉矶和新加坡，办公地点还包括纽约、伦敦、都柏林、巴黎、柏林、迪拜、雅加达、首尔和东京等多个城市。 TikTok AI创新中心，是致力于AI基础设施建设和创新研究的部门，探索行业领先的人工智能技术，包括大语言模型，多模态大模型等研究方向。我们希望研发能够处理多语言和海量视频内容理解的模型算法，为用户带来更好的内容消费体验。在Code AI方向，我们利用大语言模型强大的代码理解与推理能力，提升程序性能与研发效率。 1、推动大语言模型代码方向的核心技术建设，持续优化大模型代码理解、推理与生成能力； 2、致力于提升真实生产环境代码库的代码理解推理与生成能力，提升国际化短视频服务代码性能和隐私合规能力； 3、探索适合实际业务生产环境的Code Agent能力，提升国际化短视频研发效率。