字节跳动多模态大模型算法工程师-飞书AI
任职要求
1、本科及以上学历，多模态/跨模态理解方向有较多深入研究以及实际落地案例，对于开源多模态模型有深入理解； 2、扎实的机器学习理论基础和算法实现能力，精通PyTorch等深度学习框架； 3、紧跟AI领域的最新发展动态，通过参加学术会议、阅读前沿论文、在线学习课程等方式不断提升自己的专业知识和技能； 4、良好的项目管理能力和团队协作精神； 5、在顶级会议/期刊发表过论文或有开源项目贡献者优先。
工作职责
1、算法方向：负责设计和开发多模态AI模型，包括但不限于音视频处理、图片理解、文档理解、表格理解等核心技术； 2、业务场景：将多模态算法应用于会议纪要生成、企业问答、智能文档创作等协同办公场景，提升办公智能化水平； 3、性能优化：优化多模态模型在实际应用中的性能和用户体验，包括延迟、准确性和资源利用效率； 4、产品协作：与产品团队紧密合作，深入理解用户需求，提供创新的AI解决思路； 5、技术建设：持续关注业界最新的技术趋势和研究成果，分享行业最佳实践，推动团队技术能力提升。
1、简历智能解析提取结构化信息、简历筛选和岗位匹配，个性化定制面试题，AI分维度面试评价和整体总结，绩效评估多人反馈总结，对话式数据统计分析； 2、建设和调优满足场景应用的意图识别、实体识别、问题拆解策划、工具调用、相关性排序、理解生成模型能力； 3、People领域高质量语料构建，针对具体应用场景的指令集构建、评测体系和指标设计及评测数据构建； 4、大模型Post-training、Fine-tuning，强化学习偏好对齐，Prompt设计和优化； 5、调研和尝试AI行业的前沿技术，推动技术在实际应用场景落地和效果优化。
1、团队涉及向多个业务方（飞书问答/Aily/豆包/Coze）提供RAG相关的底层算法/算子； 2、NLU：多轮问答Query总结，Query拆解，Query意图识别，相关Query推荐； 3、召回排序：相关性向量召回，相关性排序，多因子排序（时效性、权威性、互动性）； 4、LLM生成优化：Prompt调优，生成大模型SFT/RLHF； 5、索引构建：Image2Text、多模态Embedding、端侧Embedding技术、知识图谱挖掘与应用； 6、跟踪业界前沿技术的发展，探索深度学习/LLM等前沿技术的应用前景。
1、知识图谱构建：负责设计和构建企业级知识图谱，解决协同场景（人、任务、文档、会议）以及跨业务系统的信息孤岛，实现知识的互联互通，为企业建立统一高效的知识管理体系，更好的支持LLM落地 2、围绕Graph探索LLM新应用模式：基于企业知识图谱，探索RAG/Agent的落地新范式，使其能够在复杂的企业知识网络中进行精准的信息检索、关联分析和逻辑推理； 3、模型迭代与优化：持续优化大语言模型及RAG系统在企业知识管理领域的表现，构建针对性的评测方法，生产和维护高质量的企业领域数据集； 4、前沿技术研究与应用：密切关注知识图谱、LLM推理等领域的最新研究成果，将前沿技术应用于企业知识管理实践中。
字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 负责公司大模型的研发和应用，研究相关技术在插件、agents、toB、飞书、医疗等领域的全新应用和解决方案，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式。 1、探索超大规模模型，并进行极致系统优化； 2、数据建设、指令微调、偏好对齐、模型优化； 3、相关应用落地，包括生成创作、逻辑推理、代码生成等； 4、在未来生活中的更多使用场景的深入研究和探索。