哈啰端到端模型算法实习生-【自动驾驶】
任职要求
1. 本科及以上在校同学，计算机、自动化、车辆工程或相关专业优先； 2. 熟练使用Python/C++的至少一种； 3. 熟悉PyTorch深度学习框架； 4. 掌握UniAD/Pluto/Diffus…
工作职责
1. 负责端到端数据生产、数据挖掘和相关工具链开发、维护； 2. 负责端到端模型复现、优化、升级、部署，并验证算法效果，推动算法落地； 3. 运用深度学习、强化学习等技术，优化模型结构等，提高模型在复杂场景下的效果。
1. 负责VLA/WAM算法预研工作； 2. 负责VLA/WAM开源模型复现、部署，并验证算法效果，推动算法落地； 3. 运用vision encoder, LLM, world model等技术，优化模型结构等，提高模型在复杂场景下的效果。
1、探索并构建语音理解与生成统一的大模型架构（Speech Unified Modal），实现从语音到语音（S2S）、文本到语音（T2S）、语音到文本（S2T）的端到端流式交互能力，对标 GPT-4o 音频模式等前沿技术； 2、负责语音离散化（Audio Tokenizer/Neural Codec）算法的改进与优化，提升语音 Token 在语义理解与声学细节（语调、情感、音色）上的表征能力，降低压缩损耗； 3、参与语音大模型的预训练（Pre-training）、指令微调（SFT）及人类反馈强化学习（RLHF）流程；解决长序列建模、跨模态对齐及推理延迟等技术难题； 4、设计并实施大规模多模态数据（语音-文本交错数据）的清洗、合成与增强方案，构建高质量的语音指令数据集（Instruction Tuning Data）； 5、追踪并复现语音与多模态领域的最新顶会论文（如 ICASSP, Interspeech, ICLR, CVPR 等），将最新的自回归（Autoregressive）或流匹配（Flow Matching）技术应用于内部模型创新。
工作职责： 1. 端到端模型的选型、设计、训练和优化，与团队协作完成模型的测试、验证和部署； 2. 构建数据标注和评测流程，并基于模型表现进行数据挖掘、数据清洗、数据配比等提升模型效果； 3. 分析路测数据中的corner场景，设计数据和模型等手段，提升该场景下模型表现并解决问题； 4. 利用数据增广、迁移学习、对比学习和强化学习等方法，提升数据利用效率，优化模型泛化能力； 5. 跟踪行业前沿技术，将创新性方案应用于实际项目。