字节跳动多模态算法工程师-抖音内容理解
任职要求
1、计算机/软件/人工智能/数学等相关专业的优先； 2、具有扎实的机器学习基础，对深度学习、大语言模型、多模态模型、生成式模型等内容理解与生成技术有深入的理解，数理功底扎实，自学能力强； 3、有扎实的编码能力，熟练使用相关机器学习框架和工程框架； 4、在…
工作职责
团队介绍：抖音内容理解团队负责抖音集团内容算法工作，业务覆盖抖音、今日头条、西瓜视频、剪映等业务，承接业务在内容理解、LLM应用、新业务方向探索等方向的工作。技术上涵盖了CV，NLP，音频，LLM等算法方向。团队承载业务需求同时还负责底层基础算法技术，负责为抖音各个技术方向提供长期有深度的技术支撑，推动如基础预训练模型、视频生成等基础技术研究等工作，并产出了较多的学术论文、技术报告、开源能力等工作。得益于抖音集团业务数量庞大的多模态业务数据和业务需求，团队能够有资源和机会去做出行业领先的技术创新，用最新的技术去改变影响用户和改变行业格局。 1、研究方向：提升视频、音频、图像、文本及多模态的大模型基础能力，在业务领域与通用领域取得行业领先的效果，建设体系化的模型能力提升方法论；探索理解大模型与生成大模型能力结合互补模式，探索并落地一体化模型并取得更高的模型效果；推动多模态内容理解能力在搜索、推荐、广告等场景的落地应用； 2、负责抖音、直播、今日头条等业务场景下的开集内容理解工作，建设多模态大模型、生成式模型等前沿模型技术能力，接近人类感知认知模型能力，产出相应的研究成果； 3、负责抖音等业务场景通用多模态大模型的模型训练和基础建设，包括但不限于模型训练、数据工程、训练推理框架迭代、维护模型评估指标体系； 4、跟进行业最新技术进展，探索多模态方向的新技术研究与落地。
1、参与小红书电商、广告的内容理解体系构建，负责直播、笔记、商品的多模态信息结构化算法建设和应用； 2、参与小红书电商、广告的多模态识别和知识图谱体系建设，负责面向业务的商品类目、品牌、属性、SPU体系建设； 4、参与小红书电商、广告的用户理解能力建设，包括用户画像预测、全域用户行为长序列建模，获取社区到大商业的跨域兴趣表达； 5、参与小红书社区、广告、电商等场景搜推优化，以表征、Token形式，帮助搜推各环节（召回、粗排、精排）提升分发效率； 6、参与供应链上下游平台算法建设，基于小红书社区数据挖掘商机、供给源、流程趋势，并落地到B端系统工具； 7、基于多模态大模型针对相关算法和系统的持续迭代，同时能够深入小红书丰富的业务场景，结合实际需求进行技术落地和创新。
1、参与小红书电商用户增长智能体系建设，负责面向业务的数据挖掘及算法持续迭代； 2、参与小红书电商用户增长基础算法能力迭代，建设基础用户画像、分层、求购行为偏好等； 3、结合海量事实数据及先验特征挖掘，在新用户冷启动阶段，优化优惠券发放、流量分发等；
负责小红书站内的电商内容搜索，包括主搜和商城/市集下的电商笔记、电商直播、商品卡等全部载体的流量分发以及多模态内容理解建设，依托于AI技术及小红书优质社区生态，带给用户最好的搜索体验及交易效率。 工作职责（满足以下任一即可） 1、内容理解：全场景CoT相关性、Query电商意图识别、LLM搜索词改写、AIGC电商素材生成等； 2、召回检索：大规模向量召回、生成式检索、多模态召回、文本语义召回等； 3、排序模型：建设粗精排CTR、CVR、客单价、交易额预估、搜索排序机制和策略设计等； 4、搜索增长：优化搜索下拉框、猜你想搜、笔记看后搜等电商词透出，带动电商搜索Query和心智规模增长； 5、电商AI搜索：结合社区用户真实数据与站内好货，通过端到端AI导购给用户带来私人定制化推送；
1、参与交易个性化推荐技术的优化，通过深度学习、迁移学习、跨域表征、多任务学习等技术提升分发匹配的效率，让每个用户可以快速准确的发现好货； 2、能够从复杂的业务环境中抽象出清晰具体的技术问题，将机器学习等推荐技术有效应用于小红书App社区图文及视频推荐，提升海量用户的交易与浏览体验； 3、基于电商交易业务，进行模型和算法创新，与各部门（包括并不限于产品，业务中台等）的同事一起深入交流合作，打造业界领先的推荐算法；