飞猪旅行飞猪-算法高级工程师/专家-多模态理解与生成

1. 从事多模态大模型的训练，包括预训练、指令微调与对齐，强化学习/RLHF后训练，提升模型在复杂场景下的泛化与生成能力。 2.从事高效多模态数据管线。 3. 将多模态大模型应用于内容生产，拍照讲解，多模态对话等多个旅行行业场景落地。 4.跟踪并实践多模态生成大模型前沿技术，引入新的算法技术及理念，推动业务落地及技术优化。

致力于构建高质量的大规模视觉训练数据集，支持图像、视频等多模态模型的研发。主导数据基础设施的设计与优化，确保数据具备良好的质量、多样性与可扩展性。 1. 开发并维护可扩展的数据基础设施，支持大规模图像和视频数据的采集、存储与管理； 2. 应用并部署机器学习模型用于数据清洗、预处理与格式标准化； 3. 实现可扩展且高效的工具，用于可视化、聚类以及深度理解数据； 4. 优化和并行化数据处理流程，以高效处理上亿级别的数据集； 5. 评估并提升训练数据的质量、多样性及标注准确性（包括但不限于caption生成）； 6. 将来自用户偏好的数据来源转化为可用于训练的格式； 7. 与模型研发团队紧密协作，根据训练效果和模型反馈持续迭代数据策略。

钉钉正在全面拥抱多模态AI，正在致力于将视觉大模型、边缘智能与实时视频分析深度融合，赋能智能零售、智慧工厂、智能交通等多个行业。我们拥有强大的工程化能力和创新研发氛围，期待志同道合的技术精英加入，共同推动视觉AI落地千行百业。 我们正在寻找在视觉AI领域具备真正工程化落地经验的技术人才，你将参与公司核心视觉AI系统的研发与优化，负责从算法设计、模型训练到高性能部署、大规模流式处理的全链路技术实现。具体职责包括： 1. 视觉大模型与算法开发 ○ 负责视觉大模型的后训练（Post-training）优化，包括微调、蒸馏、量化、剪枝等，提升模型在实际场景中的泛化能力与效率。 ○ 开发端侧视觉大模型，针对边缘设备进行轻量化设计与部署。 ○ 设计并实现传统CV算法（如目标检测、跟踪、姿态估计、图像增强等）与深度学习模型的融合方案。 ○ 构建视觉嵌入生成与特征提取模型，支持跨模态检索、相似性匹配等应用。 ○ 能根据实时性、性能、成本等多维约束，设计合理的算法组合与技术路线，实现最优落地效果。 ○ 在行业专家的指导下完成高质量的数据清洗和标注，建立多行业多场景的视觉AI评估框架 2. 高性能推理部署与优化 ○ 基于不同算法特性，选择并实施高并发、大吞吐的推理部署方案，熟练使用以下技术栈： ■ 推理框架：Triton Inference Server、ONNX Runtime、TensorRT ■ 部署平台：KServe + Triton / KServe + vLLM ○ 实现模型的动态批处理、自适应推理、低延迟响应，优化端到端服务性能。 ○ 负责模型格式转换、算子优化、硬件适配（GPU/TPU/NPU）及性能调优。 3. 分布式视频流处理系统构建是加分项 ○ 构建高可用、可扩展的分布式视频流处理 pipeline，支持多路视频流的实时接入与处理。 ○ 基于 Kafka + Flink 实现视频帧的流式消费、分发与状态管理。 ○ 完成视频数据的实时AI推理、结果聚合、元数据落盘，并与下游系统无缝集成。 ○ 保障系统在高负载下的稳定性、容错性与可监控性。 4. 跨团队协作与技术沉淀 ○ 与产品、业务、后端及硬件团队紧密协作，推动AI能力在真实业务场景中的落地。 ○ 输出技术文档、最佳实践，参与构建公司级AI工程化平台与工具链。

【职位描述】： 1、负责AI产品开发与应用：围绕外贸商品构建B类商品模型、AI发品、负向治理等能力； 2、技术能力：电商领域多模态大模型，包括从监督微调（SFT）到强化学习人类反馈（RLHF）的全链路技术构建，以及智能Agent系统，涵盖但不限于检索增强生成（RAG）系统、Agent系统和工作流推理等。 3、推动跨境电商AI创新业务的落地实施，包括高效的商品AI大模型、AI发品和诊断Agent等解决方案。 4、开展前沿LLM技术的探索，持续迭代和优化自研模型能力，以支持AI原生产品的实施。