字节跳动多模态算法工程师-抖音内容理解

任职要求

1、计算机/软件/人工智能/数学等相关专业的优先；
2、具有扎实的机器学习基础，对深度学习、大语言模型、多模态模型、生成式模型等内容理解与生成技术有深入的理解，数理功底扎实，自学能力强；
3、有扎实的编码能力，熟练使用相关机器学习框架和工程框架；
4、在多模态大模型领域有经验，在短视频、图文算法领域有经验者优先；
5、在计算机科学高水平会议和期刊如NIPS、ICML、CVPR、ICCV、ECCV、IJCAI、AAAI、KDD、SIGIR、WWW、ACL、PAMI、IJCV等发表过论文或有竞赛经验者优先。

工作职责

团队介绍：抖音内容理解团队负责抖音集团内容算法工作，业务覆盖抖音、今日头条、西瓜视频、剪映等业务，承接业务在内容理解、LLM应用、新业务方向探索等方向的工作。技术上涵盖了CV，NLP，音频，LLM等算法方向。团队承载业务需求同时还负责底层基础算法技术，负责为抖音各个技术方向提供长期有深度的技术支撑，推动如基础预训练模型、视频生成等基础技术研究等工作，并产出了较多的学术论文、技术报告、开源能力等工作。得益于抖音集团业务数量庞大的多模态业务数据和业务需求，团队能够有资源和机会去做出行业领先的技术创新，用最新的技术去改变影响用户和改变行业格局。

1、研究方向：提升视频、音频、图像、文本及多模态的大模型基础能力，在业务领域与通用领域取得行业领先的效果，建设体系化的模型能力提升方法论；探索理解大模型与生成大模型能力结合互补模式，探索并落地一体化模型并取得更高的模型效果；推动多模态内容理解能力在搜索、推荐、广告等场景的落地应用；
2、负责抖音、直播、今日头条等业务场景下的开集内容理解工作，建设多模态大模型、生成式模型等前沿模型技术能力，接近人类感知认知模型能力，产出相应的研究成果；
3、负责抖音等业务场景通用多模态大模型的模型训练和基础建设，包括但不限于模型训练、数据工程、训练推理框架迭代、维护模型评估指标体系；
4、跟进行业最新技术进展，探索多模态方向的新技术研究与落地。