字节跳动大模型应用实习生（视觉理解）-内容质量与数据服务平台
任职要求
1、本科及以上学历在读，数据科学类、复合型学科背景优先； 2、良好的Python、文本数据处理能力，深度使用多模态AI产品、有AIGC、产品相关实习经验的优先； 3、了解基本的大模型原理、对数据敏感，具有较强的逻辑思维能力、沟通能力、主观能动性和学习新事物的能力； 4、可连续实习3个月及以上，每周到岗4天及以上。
工作职责
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：抖音集团内容质量与数据服务平台（DOUYIN GROUP CONTENT QUALITY AND DATA SERVICE，简称CQC）是负责抖音集团今日头条、抖音、西瓜等产品内容安全与质量工作的团队，在各产品运营增长方面开展支持工作，为产品线提供数据服务的基础支持。平台下设内容质量中心、数据中心及运营支持中心，在全国10余个城市有业务分布。 1、参与大模型算法、业务及产品团队关于模型应用场景落地的相关工作，协助保障数据质量和生产效率； 2、跟踪行业最新技术动态，尝试先进的方法和工具，参与数据标注质量管理、成本管控、模型数据策略提升以及基础模型评测等多阶段任务； 3、定期开展市场调研工作，收集一线用户需求并进行深入分析，协同产品、研发等团队，参与产品功能的迭代与优化，包括模型策略、C端评测等环节。
岗位课题： 探索生成和理解统一模型对视觉理解的增益 课题项目背景： 基于推荐和内容场景，通过多模态、大模型技术，应用于内容质量审核、内容基础信息完善、推荐泛化性探索等场景；我们有海量的商品、用户行为数据，能让实习生将前沿技术落地，并在真实应用和用户反馈中实现技术价值。 岗位职责： 在这里，你将深度参与并探索多模态、大模型技术给推荐、内容应用场景带来的新可能、新突破。这些技术成果，也将具体体现在每日用户使用和反馈的效果提升上。
团队介绍：Stone-AI PaaS团队专注研究AI/大模型应用相关领域的技术和产品，致力于创造和实现创新的人工智能平台服务。团队目前已服务于字节跳动多款产品，比如豆包、Cici、Coze、Trae等。同时团队内部也在孵化多款AI应用创新产品，积极探索大模型应用的技术发展。团队氛围好，发展空间大，欢迎加入！ 课题介绍： 背景：随着人工智能技术的飞速发展，大语言模型（LLM）在自然语言处理领域取得了显著进展，为智能对话系统的发展提供了有力支撑。然而，现有的智能对话系统在面对复杂多变的实际应用场景时，仍存在诸多不足。一方面，用户对于交互的多样性和便捷性提出了更高要求，期望能够实现语音、图像、文本等多模态信息的自然交互；另一方面，面对复杂问题，当前对话系统缺乏深度思考和推理能力，难以提供全面且精准的解答。同时，在知识获取方面，如何高效地调度各类工具，挖掘优质内容，以满足用户的多样化需求，也成为亟待解决的问题。因此，开展对多模态交互、深度思考、工具调度以及优质内容挖掘方向的研究，对于提升通用对话助手的性能和用户体验具有重要的现实意义。 研究方向： 1、多模态交互方向：深入研究语音、图像、文本等多模态信息的融合与交互技术，开发能够实现多模态信息无缝对接的算法模型。通过构建多模态语义理解框架，使对话助手能够准确理解不同模态输入的含义，并根据用户需求以语音、图像、文本等多种形式进行输出，实现自然流畅的多模态交互体验。例如，当用户输入一张图片并提出相关问题时，对话助手能够识别图片内容，并结合文本信息进行分析解答，同时可以以语音形式反馈结果； 2、深度思考方向：探索基于深度学习的推理机制，提升对话助手的逻辑推理和问题解决能力。引入知识图谱、语义网络等技术，增强对话助手对知识的理解和运用能力，使其能够在面对复杂问题时，进行深度思考和分析，挖掘问题的本质，提供更具逻辑性和准确性的回答。比如，在解答科学类复杂问题时，对话助手能够基于知识图谱进行推理，给出全面且深入的解释； 3、工具调度方向：构建智能工具调度系统，使对话助手能够根据用户问题的类型和需求，自动识别并调用合适的外部工具，如信息检索工具、数据分析工具、翻译工具等。建立工具之间的协同工作机制，确保在处理复杂任务时，多个工具能够相互配合，实现信息共享和流程优化，提高问题解决的效率和质量。例如，在处理跨国业务相关问题时，对话助手可以同时调用翻译工具和信息检索工具，快速获取并翻译相关资料，为用户提供准确信息； 4、优质内容挖掘方向：研发高效的内容挖掘算法，从海量的文本、图像、视频等数据中筛选出优质、有价值的信息。利用自然语言处理和计算机视觉技术，对内容进行分类、标注和评估，建立优质内容数据库。通过与对话助手的交互，根据用户的兴趣和需求，精准推送相关的优质内容，满足用户对高质量信息的获取需求。比如，为对历史文化感兴趣的用户推荐相关的优质纪录片、学术论文等。
团队介绍：Stone-AI PaaS团队专注研究AI/大模型应用相关领域的技术和产品，致力于创造和实现创新的人工智能平台服务。团队目前已服务于字节跳动多款产品，比如豆包、Cici、Coze、Trae等。同时团队内部也在孵化多款AI应用创新产品，积极探索大模型应用的技术发展。团队氛围好，发展空间大，欢迎加入！ 课题介绍： 背景：随着人工智能技术的飞速发展，大语言模型（LLM）在自然语言处理领域取得了显著进展，为智能对话系统的发展提供了有力支撑。然而，现有的智能对话系统在面对复杂多变的实际应用场景时，仍存在诸多不足。一方面，用户对于交互的多样性和便捷性提出了更高要求，期望能够实现语音、图像、文本等多模态信息的自然交互；另一方面，面对复杂问题，当前对话系统缺乏深度思考和推理能力，难以提供全面且精准的解答。同时，在知识获取方面，如何高效地调度各类工具，挖掘优质内容，以满足用户的多样化需求，也成为亟待解决的问题。因此，开展对多模态交互、深度思考、工具调度以及优质内容挖掘方向的研究，对于提升通用对话助手的性能和用户体验具有重要的现实意义。 研究方向： 1、多模态交互方向：深入研究语音、图像、文本等多模态信息的融合与交互技术，开发能够实现多模态信息无缝对接的算法模型。通过构建多模态语义理解框架，使对话助手能够准确理解不同模态输入的含义，并根据用户需求以语音、图像、文本等多种形式进行输出，实现自然流畅的多模态交互体验。例如，当用户输入一张图片并提出相关问题时，对话助手能够识别图片内容，并结合文本信息进行分析解答，同时可以以语音形式反馈结果； 2、深度思考方向：探索基于深度学习的推理机制，提升对话助手的逻辑推理和问题解决能力。引入知识图谱、语义网络等技术，增强对话助手对知识的理解和运用能力，使其能够在面对复杂问题时，进行深度思考和分析，挖掘问题的本质，提供更具逻辑性和准确性的回答。比如，在解答科学类复杂问题时，对话助手能够基于知识图谱进行推理，给出全面且深入的解释； 3、工具调度方向：构建智能工具调度系统，使对话助手能够根据用户问题的类型和需求，自动识别并调用合适的外部工具，如信息检索工具、数据分析工具、翻译工具等。建立工具之间的协同工作机制，确保在处理复杂任务时，多个工具能够相互配合，实现信息共享和流程优化，提高问题解决的效率和质量。例如，在处理跨国业务相关问题时，对话助手可以同时调用翻译工具和信息检索工具，快速获取并翻译相关资料，为用户提供准确信息； 4、优质内容挖掘方向：研发高效的内容挖掘算法，从海量的文本、图像、视频等数据中筛选出优质、有价值的信息。利用自然语言处理和计算机视觉技术，对内容进行分类、标注和评估，建立优质内容数据库。通过与对话助手的交互，根据用户的兴趣和需求，精准推送相关的优质内容，满足用户对高质量信息的获取需求。比如，为对历史文化感兴趣的用户推荐相关的优质纪录片、学术论文等。
专注于视频理解与生成应用算法研究，具体研究内容包括： 1.视频理解：通过高质量数据构建方案，实现视频的精细主体/运动/场景描述以及长视频结构化描述（如人物关系、情节发展、故事主旨），支持长视频问答与精准时序定位。同时结合R1等前沿思维链技术解析复杂视频事件，视频逻辑推理等； 2.视频生成：聚焦视频DiT/AR等前沿架构下的垂类微调，包括复杂人体运动/场景动效生成与可控编辑技术，研究多模态指令驱动的视频编辑、人体运动增强及物理约束建模方法，提升生成视频的动态质量与风格迁移能力。