字节跳动端侧大模型算法研究员-移动OS-筋斗云人才计划

任职要求

1、计算机、人工智能、计算机视觉、数据科学相关专业博士优先；
2、扎实的机器学习、NLP/CV/序列建模等基础，具备多模态数据处理等研究背景；
3、熟悉Transformer、Diffusion、GAN、CNN/RNN等模型基础结构；
4、在NeurIPS/ICML/ICLR/ACL/EMNLP/CVPR/ICCV/ECCV等顶级会议上发表论文者优先；
5、优秀的代码能力、数据结构和基础算法功底，熟练C/C++或Python；
6、出色的问题分析和解决能力，有自主探索解决方案的能力。

工作职责

部门介绍：专注于探索AI和智能硬件的结合，为用户提供自然和便捷的交互体验，隶属于产品研发与工程架构部。作为AI技术应用场景探索的部门，也是字节在智能硬件领域提供综合解决方案的核心部门。我们期待心怀技术理想、挑战技术难题的“你”的加入，和顶尖团队一起参与技术攻坚，开启更多可能！

课题背景：
团队目前在探索大模型在端侧的能力并结合对用户的个性化数据的分析和建模，在保护用户隐私的情况下，提供更高性能、低延迟的更智能的用户使用体验。

随着移动设备的普及和计算能力的提升，端侧AI逐渐成为智能设备的核心驱动力。端侧设备要求不仅要具备高效的计算能力，还需要在保证推理质量的前提下，优化性能和资源使用。尤其是在复杂任务推理、图像生成、意图分类和个性化记忆建模方面，如何设计高效、灵活的系统和模型，已成为当前的研究重点。本课题聚焦于端侧设备上的智能任务推理与生成模型优化，涉及扩散模型（如Stable Diffusion）的精简与高效训练、复杂任务的多意图推理与编排，以及个性化记忆模型的构建与优化，推动端侧AI在各类应用场景中的广泛落地。

课题挑战：
1、多意图与任务处理：
1） 精准理解用户输入中的多意图，推导意图间关系，设计鲁棒的任务推理方法；
2）设计高效的任务编排系统，支持多任务并行执行，并能根据复杂场景需求动态调整任务执行顺序；
3）针对复杂任务链条，构建动态规划与优化机制，实现高效任务分配与执行，确保多场景切换时规划合理稳定。
 
 2、个性化记忆建模与搜索：
 1）应对行为数据稀疏性，基于长期行为设计有效特征提取与建模方法，构建个性化的记忆模型，提升用户交互的精准度与体验；
 2）提升记忆模型鲁棒性和泛化能力，设计轻量化模型兼顾端侧与云端部署；
 3）在端侧设备实现低延迟全局搜索，优化计算资源提升搜索效率。
 
 3、扩散模型优化与部署：
 1）如何在保持生成质量的前提下，精简Stable Diffusion等扩散模型以适应端侧设备；
 2）设计轻量化的网络架构和高效的采样策略，提升模型的运行速度与效率；
 3）针对不同应用场景优化模型生成能力，提升对复杂背景、动态内容的适应性。
  
 4、 GUI自动化操作：
 1）实现通用化GUI自动化操作，支持多种设备界面；
 2）优化自动化操作的效率与准确性，减少用户干预需求。

通过整合这些方向，课题将实现端侧设备的智能任务推理和生成能力提升，推动智能助手、图像生成等应用场景的技术进步。