夸克智能信息-大模型推理优化专家-模型压缩&加速
任职要求
1、精通大语言模型的基础架构（如Transformer等）和推理流程； 2、在量化/稀疏/剪枝/投机采样等任一…
工作职责
1、研究并应用先进的模型压缩技术，在极小精度损失下实现模型瘦身与加速； 2、研发并落地大模型低比特（INT8/INT4/FP8/FP4等）量化技术，开发与硬件协同的量化部署方案，攻克干亿参数模型低比特推理精度挑战； 3、研发并优化新一代投机采样技术，探索多模态与MoE架构加速，构建动态投机采样策略，联合工程团队打造高效训练推理引擎，最大化吞吐收益； 4、研发并应用结构化/非结构化稀疏与剪枝技术，探索与改进KV-Cache压缩、Token剪枝、Prompt压缩及CoT压缩等动态稀疏化方法，以显著降低内存占用并提升系统吞吐。
数据与训练方向： 1.大模型数据体系建设：构建多语言和多模态的数据处理流程和实验链路，优化数据的筛选与配比策略，探索动态数据调整、多阶段训练和课程学习等方法提升数据质量和多样性，优化大模型的训练效果。 2.合成数据探索：探索大规模合成数据方法，应用于复杂任务、推理、代码和多模态等场景。制定合成数据在预训练、强化学习等不同训练阶段的应用策略，并深入研究数据扩展规模定律、数据多样性和模型坍塌等基础问题，推动数据驱动的性能突破。 3.多模态学习与推理：探索多模态预训练的新范式，突破模态融合瓶颈。具体包括实现多模态能力的早期融合、理解与生成的统一建模，研究多模态扩展定律以指导数据与训练方案，扩展超长上下文机制以支持全模态场景等。同时，面向复杂的多模态推理与交互场景，探索多模态强化学习、多模态奖励模型、推理阶段扩展（test-time scaling）以及全模态链式思维（CoT）等方法，提升模型处理复杂任务和全模态交互的能力。 4.高效模型架构设计：设计高效的大模型架构以提升训练和推理效率。探索 MoE（混合专家）、稀疏注意力、线性注意力等高效模型结构，以及模型编辑与合并等技术，研发能够显著提升推理速度和资源利用率的新型模型架构。 5.推理效率与性能优化：推动算法与系统的协同优化，实现模型性能与效率的最大化平衡。基于对硬件计算潜力的深度挖掘，开发高效的模型推理方案和算法，包括模型压缩、剪枝、量化、稀疏化等，降低模型应用部署成本。 后训练方向： 1.后训练数据与流程建设，从指令数据生产、合成、进化、配比等方面提升数据质量，优化指令微调、强化学习、奖励模型等训练pipeline，提升模型综合能力； 2.后训练关键能力建设，包括但不限于优化模型创意生成、多语言、逻辑推理、复杂指令遵循、代码生成、工具调用等能力，提升模型可控性和安全性，拓展模型能力边界； 3.面向准确性、多模信息、最优路径等方向，探索奖励模型的新范式，构建统一模型学习环境，实现模型的价值对齐和能力对齐； 4.面向推理规划能力、多智能体系统、模型自进化等方向，探索下一代强化学习算法，持续提升大模型的智能水平和在真实复杂场景效果； 5.前沿探索：动态推理计算优化（Test-time Compute Optimization）、多智能体协同进化架构 、大规模强化学习系统优化等。
1、开发AI驱动的智能客服系统：设计并实现AI对话式客服助手，能够处理电商咨询、投诉、退款、争议解决及物流相关问题，以AI替代传统人工客服； 2、大语言模型（LLM）后训练与高效学习：应用最前沿的LLM训练优化技术，如指令微调、强化学习、持续学习等，在最少标注数据的情况下优化AI客服响应质量，具备大语言模型（LLM）微调、知识蒸馏或强化学习的相关经验，应用于对话式AI场景；深入理解检索增强生成（RAG）、专家混合模型（MoE）、稀疏注意力、强化学习、推理时间优化等技术，以提升AI对话质量； 3、基准测试与训练数据构建：识别具有挑战性的客服交互场景，如政策解读、争议处理、客户投诉、导购推荐等，并构建专门的测试集和训练集； 4、多语言与跨文化客服支持：构建能够适应多语言和不同文化背景的AI模型，确保客服交互的精准翻译和针对不同用户群体的合适响应；精通多语言自然语言处理（NLP）、机器翻译及跨语言对话建模； 5、模型优化与高效部署：研究模型压缩、量化、推理优化等技术，确保AI客服助手在大规模应用场景下具备低延迟、高可靠性的表现。
1、开发AI驱动的智能客服系统：设计并实现AI对话式客服助手，能够处理电商咨询、投诉、退款、争议解决及物流相关问题，以AI替代传统人工客服； 2、大语言模型（LLM）后训练与高效学习：应用最前沿的LLM训练优化技术，如指令微调、强化学习、持续学习等，在最少标注数据的情况下优化AI客服响应质量，具备大语言模型（LLM）微调、知识蒸馏或强化学习的相关经验，应用于对话式AI场景；深入理解检索增强生成（RAG）、专家混合模型（MoE）、稀疏注意力、强化学习、推理时间优化等技术，以提升AI对话质量； 3、基准测试与训练数据构建：识别具有挑战性的客服交互场景，如政策解读、争议处理、客户投诉、导购推荐等，并构建专门的测试集和训练集； 4、多语言与跨文化客服支持：构建能够适应多语言和不同文化背景的AI模型，确保客服交互的精准翻译和针对不同用户群体的合适响应。精通多语言自然语言处理（NLP）、机器翻译及跨语言对话建模； 5、模型优化与高效部署：研究模型压缩、量化、推理优化等技术，确保AI客服助手在大规模应用场景下具备低延迟、高可靠性的表现。
1.主导大模型驱动的智能体（Agent）算法研发，包括但不限于：自主决策、环境交互、多模态感知、长期记忆与持续学习等核心方向； 2.探索大模型与强化学习（RL）、规划推理（Planning）、知识图谱等技术的深度融合，提升智能体的任务泛化性与可解释性； 3.推动智能体技术在理想汽车相关场景的落地应用，解决实际业务问题。