字节跳动算法实习生-Data
任职要求
1、硕士及以上学历在读，数学、人工智能等相关专业优先； 2、扎实的深度学习技术基础，有 NLP/多模态相关的项目经验，在ACL/NeurIPS/ICML/EMNLP/ICLR 等顶会上发表论文者优先或者有竞赛经验者…
工作职责
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动Data研发部门，负责公司产品线的推荐、广告、系统架构、大数据和开放平台等技术。 1、数据增强算法研发：优化数据增强算法，提高大模型预训练、SFT、RLHF 阶段的数据正确性、多样性； 2、大模型研发：基于大模型底座，优化训练链路，提升 Text2code、Code-interpreter 等模型应用效果； 3、跟进开源 SOTA 大模型：探索大模型 Scaling law 并结合开源大模型在数据智能领域的精调，沉淀技术专利； 4、推动大模型应用落地：探索包括 RAG-QA 机器人、数据洞察机器人等在真实场景的应用价值。
1、支持端到端语音多模态大模型技术在字节跳动公司内外丰富的业务场景落地，解决落地过程中的前沿问题，持续优化落地效果； 2、探索前沿的多模态技术，专注语音多模态大模型的前沿技术和算法效果，追求和探索业界最前沿算法，包括但不限于语言、音乐、语音、音频的生成与理解等； 3、深入调研和关注音频/NLP/多模态等方向的前沿技术。
1、支持端到端语音多模态大模型技术在字节跳动公司内外丰富的业务场景落地，解决落地过程中的前沿问题，持续优化落地效果； 2、探索前沿的多模态技术，专注语音多模态大模型的前沿技术和算法效果，追求和探索业界最前沿算法，包括但不限于语言、音乐、语音、音频的生成与理解等； 3、深入调研和关注音频/NLP/多模态等方向的前沿技术。
1、针对贝壳居住场景多模态数据，打造居住领域多模态基础模型； 2、负责搭建多模态大模型dataset和benchmark的收集、清洗和评测体系； 3、结合自有产品和业务需求，面向下游垂直领域任务进行效果优化，解决面向业务场景的应用和落地时的算法卡点问题，与工程、产品团队配合，推动团队成果的应用落地。
负责LLM大模型评测算法的研究以及评测模型的训练、优化，具体工作内容包括但不限于： 1. 深入理解大规模语言模型的模型结构、训练过程以及评测方案，根据模型的训练过程以及评测结果，对大语言模型存在的问题和评测存在的问题进行研究，根据研究结果进行优化落地。 2. 深入分析模型评测结果中不符合认知的异常，根据具体的异常制定完善的研究策略，通过对比、归纳等方法，产出研究分析结论，指导模型训练优化。 3. 构建Data-Centric的数据-训练-评测闭环，探索研究大模型的数据、模型结构、评测策略、评测数据等对模型评测效果的影响，得出有效认知，指导模型训练和评测方案的建设。 4. 追踪大模型方向的前沿进展，积极主动地学习和探索新数据分析、模型训练以及模型评测方法。 5. 与各相关部门保持良好沟通，深度参与大模型预训练、SFT、RLHF和评测等阶段，共同推动大模型持续优化。