字节跳动多模态大模型算法工程师-智能创作
任职要求
1、本科及以上学历，计算机相关专业； 2、1年以上AutoML、模型优化或AI相关工作经验； 3、积极主动有热情，能与团队融洽合作相处，具备较强的沟通能力； 4、有StableDiffusion，LLM，VLM实际训练经验，有大集群预训练经验者优先； 5、有AutoML或AIGC方向顶会论文者优先；在计算机视觉顶会或期刊上发表过论文者优先；在计算机视觉知名竞赛取得优异名次者优先；有高质量Github项目经验者优先。
工作职责
1、负责AIGC模型如StableDiffusion/LLM/VLM的轻量化结构设计和效果打磨，致力于研发效果/体积/计算量/功耗综合性能业界领先的预训练模型； 2、负责AIGC模型相关推理优化算法研究和落地，包括模型蒸馏、网络架构搜索与设计、稀疏、量化、MoE，软硬件协同设计等； 3、负责Diffusion/LLM/VLM领域高效模型研发，低成本微调，小样本训练，Prompt工程，RLHF研究和实现，侧重能够端侧部署的模型； 4、负责GAN/Diffusion/LLM/VLM领域前沿工作的研究和复现，包含数据，模型，评估，推理等方向； 5、负责面向端侧多个平台的GAN基础结构设计和效果优化，重点解决GAN的量化效果问题，落地抖音剪映等字节跳动系列产品，全面提升产品在多个平台上的算法和性能体验。
团队介绍：智能创作团队是字节跳动的创作场景业务中台，以AI赋能创造，致力于通过AI技术降低创作门槛，赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线，持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景，通过由AI驱动的智能化工具与算法，为用户提供了更智能、更便捷、更丰富的创作体验，助力普通用户轻松实现高质量内容创作，同时为专业创作者提供强大的技术支持，推动内容生态的繁荣与创新。 1、负责推荐、搜索相关算法在AI相机场景的研发和落地； 2、支持AI相机相关的业务，推动技术在抖音、剪映等业务线的落地； 3、跟踪业界前沿技术的发展，探索搜索、推荐技术在AI相机场景下的应用。
1、算法方向：负责设计和开发多模态AI模型，包括但不限于音视频处理、图片理解、文档理解、表格理解等核心技术； 2、业务场景：将多模态算法应用于会议纪要生成、企业问答、智能文档创作等协同办公场景，提升办公智能化水平； 3、性能优化：优化多模态模型在实际应用中的性能和用户体验，包括延迟、准确性和资源利用效率； 4、产品协作：与产品团队紧密合作，深入理解用户需求，提供创新的AI解决思路； 5、技术建设：持续关注业界最新的技术趋势和研究成果，分享行业最佳实践，推动团队技术能力提升。
团队介绍：智能创作团队是字节跳动的创作场景业务中台，以AI赋能创造，致力于通过AI技术降低创作门槛，赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线，持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景，通过由AI驱动的智能化工具与算法，为用户提供了更智能、更便捷、更丰富的创作体验，助力普通用户轻松实现高质量内容创作，同时为专业创作者提供强大的技术支持，推动内容生态的繁荣与创新。 1、探索研究多模态理解、生成式、机器学习、强化学习、AIGC、计算机视觉、人工智能等前沿技术； 2、基于通用大模型，结合创作垂类应用场景，进行相关的数据建设、指令微调、偏好对齐、模型优化，升数据合成、模型推理 & 规划能力，构建全面客观准确的评测体系，探索提升垂类大模型能力； 3、探索突破包括而不限于多模态RAG，视觉COT与Agent等在内的多模态模型、世界模型进阶能力，构建以智能创作为核心的多模态AI Agent；推动相关的新技术、新产品落地。
团队介绍：智能创作团队是字节跳动的创作场景业务中台，以AI赋能创造，致力于通过AI技术降低创作门槛，赋能视觉内容生产与创作的智能化升级。团队深度支持抖音、剪映、即梦、豆包、商业化等多个业务线，持续深耕图片与视频生成、智能剪辑、数字人、特效等多个业务场景，通过由AI驱动的智能化工具与算法，为用户提供了更智能、更便捷、更丰富的创作体验，助力普通用户轻松实现高质量内容创作，同时为专业创作者提供强大的技术支持，推动内容生态的繁荣与创新。 1、负责文生图/文生视频/多模态理解等大模型的算法加速工作，通过前沿算法手段对模型完成深度性能优化； 2、探索并实践前沿的模型压缩与加速算法，包括但不限于蒸馏、剪枝、稀疏化、混合专家（MoE）、低比特量化（如INT8/INT4）、Cache等模型层优化手段，实现推理效率的量级提升； 3、参与生成和理解模型的创新算法研究，致力于提升扩散模型、多模态理解、多模态统一大模型等多种视觉前沿范式的推理效率； 4、与算法和业务团队紧密合作，将前沿的优化技术落地到实际产品中，持续迭代，打造业界顶尖的AIGC服务。