同花顺多模态算法工程师
校招全职AI 算法类地点：杭州状态：招聘
任职要求
岗位要求： 1、有多模态模型研发经验：VL、AL、AV、Video、Omni任一方向 2、熟练使用多模态开源模型，如 Qwen-omni、LLaVA、Whisper、Clap、MERT、SeamlessM4T 等 3、有大规模模型训练经验：SFT、DPO、RLHF、GRPO、MoE、长上下文训练 4、掌握音频/视频建模，例如A…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
业务描述： 1、研发Omni基础模型 2、研发金融的预测模型 3、研发激活模型抽象能力、学习能力、知识与规律的自我探索能力的方式 4、研发跟投资的人思维模式对齐的模型回复方式 5、研发模型的长期记忆，逻辑库存储、推演新的逻辑进行规律发现和持续学习 岗位职责： 1、结合Omni架构将模型拓展为世界模型雏形，研发流式的Omni Real Time 交互模型 2、探索原生的多模态表征方法（Native Multimodal Representation） 3、探索多模态对齐（Audio-Language、Vision-Language、Video-Language）与跨模态表示学习 4、构建面向 Omni场景的多模态数据流水线和数据治理体系（文本、图像、音频、视频） 5、研究并实现多模态预训练、指令微调、对齐学习与RL 的各种PO训练策略 6、优化训练性能，提升训练效率与推理速度（包括KV缓存、量化、蒸馏等） 7、针对实际业务场景进行模型压缩、蒸馏、推理加速与端侧适配 8、提升在多模态问答、检索增强、多轮对话、Agent任务中的表现与鲁棒性 9、支持模型在多端产品落地（APP端、网页端、智能硬件等）
包括英文材料
SFT+
https://cameronrwolfe.substack.com/p/understanding-and-using-supervised
Understanding how SFT works from the idea to a working implementation...
RLHF+
[英文] What is RLHF?
https://aws.amazon.com/what-is/reinforcement-learning-from-human-feedback/
Reinforcement learning from human feedback (RLHF) is a machine learning (ML) technique that uses human feedback to optimize ML models to self-learn more efficiently.
https://www.ibm.com/think/topics/rlhf
Reinforcement learning from human feedback (RLHF) is a machine learning technique in which a “reward model” is trained with direct human feedback, then used to optimize the performance of an artificial intelligence agent through reinforcement learning.
语音识别+
https://developer.nvidia.com/blog/essential-guide-to-automatic-speech-recognition-technology/
Over the past decade, AI-powered speech recognition systems have slowly become part of our everyday lives, from voice search to virtual assistants in contact centers, cars, hospitals, and restaurants.
语音合成+
https://www.ibm.com/think/topics/text-to-speech
Text to speech (TTS) is a type of technology that converts text on a digital interface into natural-sounding audio.
TensorRT+
https://docs.nvidia.com/deeplearning/tensorrt/latest/getting-started/quick-start-guide.html
This TensorRT Quick Start Guide is a starting point for developers who want to try out the TensorRT SDK; specifically, it demonstrates how to quickly construct an application to run inference on a TensorRT engine.
vLLM+
https://www.newline.co/@zaoyang/ultimate-guide-to-vllm--aad8b65d
vLLM is a framework designed to make large language models faster, more efficient, and better suited for production environments.
https://www.youtube.com/watch?v=Ju2FrqIrdx0
vLLM is a cutting-edge serving engine designed for large language models (LLMs), offering unparalleled performance and efficiency for AI-driven applications.
缓存+
https://hackernoon.com/the-system-design-cheat-sheet-cache
The cache is a layer that stores a subset of data, typically the most frequently accessed or essential information, in a location quicker to access than its primary storage location.
https://www.youtube.com/watch?v=bP4BeUjNkXc
Caching strategies, Distributed Caching, Eviction Policies, Write-Through Cache and Least Recently Used (LRU) cache are all important terms when it comes to designing an efficient system with a caching layer.
https://www.youtube.com/watch?v=dGAgxozNWFE
还有更多 •••
相关职位
社招算法开发岗
1.探索大规模/超大规模多模态视觉大模型，并进行极致系统优化，数据建设、指令微调、偏好对齐、模型优化； 2.探索统一的多模态大模型架构，打通理解与生成之间的壁垒，研究如何在单一模型框架下实现对多模态信息的深度理解与高质量生成； 3.探索多模态推理模型（Reasoning）架构、提升多模态在学科、通用视觉任务上的思考和推理能力； 4..探索多模态视觉大模型后训练方法，探索指令微调、强化学习等后训练策略，提升模型的性能。
更新于 2026-02-10
社招3-5年J0011
1、参与设计基于CV/NLP/多模态算法的内容理解识别方案；负责快手广告视频场景的内容识别与生态治理算法研究及应用； 2、探索风控与广告生态场景的大模型落地方案，应用于生态治理核心业务中； 3、深入理解业务本质，与产品运营配合，持续提升内容识别能力，综合使用多种手段，识别平台内不良内容，解决广告生态体验的问题。
更新于 2026-02-10北京
社招5-10年J0011
1. 基于大模型的多模态内容理解技术研发与应用落地，涵盖文本、图像、音频、视频等多类型数据的融合处理； 2. 设计并优化多模态语义理解算法，包括但不限于跨模态检索、多模态内容生成、多模态情感分析、多模态语义匹配等； 3. 参与构建多模态内容理解系统，解决实际业务场景中的复杂问题，并应用于内容安全、生态治理、智能内容审核等核心业务中； 4. 跟踪国内外大模型与多模态技术前沿动态，将先进算法与技术转化为实际应用方案，推动技术创新与产品迭代。
更新于 2026-06-04北京
社招3-5年J0012
1、负责图像分类、目标检测、多模态算法的研发创新； 2、参与设计基于CV/多模态算法的内容安全审核方案，应用到快手的视频、直播、图文等多个核心场景。
更新于 2026-06-15北京