夸克智能信息-大模型推理优化专家/高级专家-北京/杭州
任职要求
1、精通C/C++、Python等至少一门编程语言,以及Linux下的系统开发经验 2、熟悉常用机器学习算法,对文本/多模态大模型相关领域模型,对llama、deepseek、qwen等模型有深刻的理解,熟悉TF/Pytorch等深度学习框架,有相关模型训练和模型效果优化者优先 3、熟悉大模型MegatronLM/De…
工作职责
1、主导大模型在线推理系统的性能攻坚,构建多节点多GPU的分布式推理架构,实现智能请求调度算法与异构硬件的极致性能调优; 2、研究低bit量化、稀疏化attention等解码加速技术,在保障精度前提下显著降低计算资源消耗; 3、设计高并发场景下的负载均衡方案,构建支持动态扩展的弹性计算架构,优化推理引擎运行时环境,实现毫秒级延迟与高QPS吞吐能力。
岗位描述: 全面负责夸克大模型在 Post-Training 能力进化和上限突破、持续推进模型能力边界和商业价值的不断延伸。通过对前沿算法的极致探索和高效能工程体系的构建,驱动模型在逻辑推理、问答、复杂多轮上下文、指令遵循、Agent 智能体、多模态交互等关键领域实现突破性进展,打造世界一流的模型效果,并定义其在未来 AI 应用中的核心价值。 工作职责: ● 【战略规划与技术引领】 制定并执行大模型 Post-training 的中长期技术路线图,预判并布局下一代对齐技术、能力增强及对齐方案。主导核心算法的战略方向,确保技术路径与公司业务战略高度协同。 ● 【核心能力与壁垒构建】 领导团队进行体系化的数据驱动实验,不仅局限于日常迭代,更要建立可规模化的能力提升范式。您将攻坚并解决模型在复杂指令遵循、通用问答、RAG、深度逻辑推理、内容创作、Tool-Using 等方面的瓶颈问题,构建技术壁垒。 ● 【前沿算法研究与创新】 深入探索并推动 Post-training 领域的前沿算法创新,包括但不限于 RLHF/RLAIF 的新范式、模型融合 (Model Fusion/Merge) 、模型蒸馏及 MoE 模型的高效对齐策略。您的目标是显著降低模型幻觉、提升推理的效果、加强模型复杂指令的遵循能力。 ● 【多模态与未来探索】 从统一多模态模型的战略视角出发,您将指导并规划多模态统一大模型的 Post-training 技术融合。探索并落地高效的多模态 SFT 数据构建、跨模态能力协同训练及对齐策略,确保模型在图文问答、视频对话 等复杂场景下实现无缝、精准的理解与生成。 ● 【团队领导与效能提升】 负责 Post-training 算法团队的组建、培养与管理,打造一支具备高效执行力和持续创新能力的顶尖团队。您将指导并优化从研究、实验、评测到部署的全链路工具链与工程框架,实现研发效能的倍增。
1、技术方案设计 • 调研AI大模型训练及推理的前沿技术发展,分析计算通信协同优化的技术方案; • 分析客户需求,帮助客户使用我们的产品和解决方案,帮忙客户进行性能优化; 2、技术实现 • 负责AI计算系统的通信优化方案设计,包括计算通信协同优化、通信库研发测试、以及交付与支持; • 基于技术方案的拆解,按照任务目标和产出规范,完成任务/子任务的设计、编码开发和系统功能实现; • 负责核心功能的架构与代码模板的编写,开发与维护系统公用核心模块,技术架构重构、优化等; • 对编码进行阶段性的讨论和CodeReview,并通过调试优化,推动代码成功部署; • 对开发中和部署后的程序进行必要的维护和迭代,包括值班oncall、升级工单处置、bug排查、问题诊断、产品体验改善、性能和成本优化等。 3、稳定性和性能优化 • 制定稳定性策略,寻找并解决产品系统中的潜在风险和瓶颈,覆盖线上疑难杂症问题,确保系统的安全可靠; • 运用产品优化技术和方法,进行性能优化,提高产品稳定性和性能。 4、技术预研 • 分析AI业务通信pattern和发展趋势,探索通信库的优化空间,以及AI计算系统全栈的协同设计,提升系统端到端的稳定性和性能。 5、技术规划 • 理解业务战略及重点,基于业务需求作出高性能、高可用、高可靠、高拓展性的技术架构规划和落地。
1、 主导/核心参与全模态大模型(文本、图像、视频、音频、3D等)的模型架构与核心算法设计、训练及优化,探索跨模态对齐、多模态融合和原生多模态等前沿技术创新; 2、 开发全模态大模型在具体场景中的应用落地(如实时AI视频通话等方向),将全模态大模型技术与业务需求结合,推动场景化落地; 3、 解决全模态大模型训练和推理的挑战性问题(如模态对齐、长序列建模、高效推理等),跟踪相关领域在学术界与工业界的最新进展等。
1. 主导面向ToB场景的Android端多模态交互系统架构设计与核心模块开发,包括语音采集/播放、摄像头控制、传感器融合、UI响应、状态管理等。 2. 与AI算法团队紧密协作,高效集成语音识别(ASR)、语音合成(TTS)、视觉理解(CV)、大语言模型(LLM)等端侧推理模块,优化模型加载、推理调度与资源协同策略。 3. 设计并实现低延迟、高并发的双工对话通道,支持实时打断、动态判停、上下文感知等高级交互能力在端侧的稳定运行。 4. 构建可扩展、可配置的SDK或中间件,支持多行业客户(如车企、手机厂商、IoT设备商)的快速接入与定制化需求。 5. 参与端云协同架构设计,在保障本地交互流畅性的同时,确保数据传输、存储与处理符合GDPR、CCPA、中国《个人信息保护法》等国内外隐私合规要求。 6. 深度集成系统级安全能力,包括应用权限管控、敏感操作审计、安全启动验证、密钥管理及安全OTA升级机制,提升端侧整体安全水位。