小红书多模态算法实习生
任职要求
1. 计算机科学、电子、数学、统计学等相关专业，本科学历及以上； 2. 具有扎实的机器学习基础，对CV/多模态技术、NLP技术、GPT类技术有深入的理解，数理功底扎实，自学能力强； 3. 有扎实的编码能力，熟练使用相关机器学习框架和工程框架。对Hadoop和Spark技术有深入的理解和实践经验，能够高效…
工作职责
1. 参与超大规模通用多模态场景数据处理的开发和模型性能提升，研究内容包括但不限于：1）小红书笔记、评论等场景 2）互联网通用场景 3）各种垂类场景； 2. 有机会参与到构建全链路多模态数据流算法中（采集、处理、清洗、训练、推理、评估）； 3. 追踪全球范围内最前沿的多模态数据相关技术，有效凝练算法并应用在数据处理环节中； 4. 在具有挑战性的研究问题上不断深耕并达到业界顶尖水平。
1、研发用于Ego/Exo的视频理解/动作识别模型，推动具身智能场景下多模态感知与环境交互理解能力的提升。 2、参与端到端规划算法的模型设计、训练调优、泛化能力与鲁棒性提升，包括但不限于模型预训练、后训练和真机部署工作，将训练好的模型部署到实际机器人系统中进行验证和测试 3、参与遥操数据的收集与处理，包括但不限于处理机器人开源数据及规范化工作，同时设计并执行数据自采方案，对收集到的数据进行处理以满足后续模型训练需求
负责研发虚拟数字人多模态交互算法，整合语音、文本、表情、肢体动作等多模态信息，实现自然流畅的人机交互； 持续优化多模态交互算法，提升数字人对复杂多模态输入的理解与处理能力，增强交互的精准性和实时性； 探索端到端的数字人多模态交互技术； 跟踪人工智能领域的前沿技术在虚拟数字人项目的应用和落地。
1、参与多模态数据（文本、图像、PDF、表格等）的识别、理解与信息抽取任务的模型训练、评测与迭代优化； 2、支持通过大语言模型（LLM）或视觉-语言模型（VLM）实现端到端的自动化知识抽取与知识图谱构建； 3、协助实现从原始多模态输入到结构化三元组（实体-关系-实体）的处理 pipeline； 4、构建和维护用于知识图谱构建的高质量训练/评估数据集； 5、编写高效、可复用的 Python 脚本，提升数据处理、模型推理与图谱入库效率； 6、输出清晰的技术文档与实验分析报告。
1、结合具体业务需求，推动多模态大模型（如图片/视频生成、VLLM理解等）在实际场景中的应用落地。 2、根据业务目标与模型表现，协助制定和完善模型微调，提升模型在生成、理解及Agent任务中的核心指标与用户体验。 3、开发和优化自动化工具，利用大模型或Agent技术辅助数据标注、内容生成及评估流程，提高业务效率和数据生产质量。 4、参与高质量数据流建设，负责多模态数据的处理、理解与清洗，搭建支持模型训练和业务迭代的数据pipeline，保障数据的准确性和多样性。 5、结合应用场景，制定并执行科学的数据标注及评估标准，确保训练数据和评测结果能够有效支撑模型能力的持续提升与业务落地。