百度大模型/多模态大模型应用算法工程师（J80936）
任职要求
- 掌握自然语言处理常见算法、常用深度学习算法，并在如下一个或多个相关方向有深入研究：语义相关性、内容理解、内容生成、文本摘要、信息抽取等方向 - 熟悉掌握C/C++、脚本语言编程(如Python、Shell等)、常用深度学习框架（例如：Pytorch、Paddl…
工作职责
-负责NLP算法的研发与优化，包括但不限于文本分类、文本生成、RAG、多模态大模型、大模型微调和对齐等关键技术 -与项目团队紧密合作，推进NLP技术在推荐业务中的落地应用 -跟踪并研究NLP算法的前沿技术，对现有内容理解算法进行性能分析和优化，提升算法效率和准确性 -协同团队解决项目中的技术难题，确保项目按时按质完成 -持续优化视觉算法，提升用户体验和产品竞争力
1.跟进多模态大模型 (VLLM)预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下，CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5. 多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
1. 跟进多模态大模型（vLLM）预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下, CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5.多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
岗位职责: 1、负责 AI Agent 系统的设计、开发和优化、开发和完善基于大语言模型 (LLM) 的智能体系统，提升 Agent 的自主决策和任务执行能力; 2、负责生成式大模型指令意图理解相关工作，整体提升大模型的多轮对话指令理解能力和性能; 3、设计并实现 Agent 的工具使用接口，实现与各类外部系统和 API 的集成编排; 4、负责大模型在检索、推荐方面的系统设计实现和优化，探索Agent、RAG、领域模型调优等相关技术在业务场景落地; 5、具备模型知识、幻觉机制探究，提升模型知识水平、降低模型幻觉率; 6、能够基于开源模型，设计和开发算法，对模型进行微调，优化其参数和结构，以提高模型的泛化能力和准确性; 7、深入调研AI领域相关的前沿技术，跟踪业内大模型领域的最新进展，并寻求将最新技术应用到产品的可能性。
1.参与基于多模态大模型的GUI智能化能力的设计开发，实现多端（web/安卓/ios/鸿蒙/小程序）大模型手眼配套能力全覆盖； 2.跟踪业界前沿技术发展，参与大模型应用评测、企业内部场景化落地、GUI智能体建设等；