美团【北斗】基座大模型推理引擎工程师
任职要求
1.熟悉PyTorch等深度学习框架。 2.熟悉sglang、vLLM、trt-llm、FasterTransformer等开源框架。 3.能够熟练掌握Python、C++、CUDA等开发语言中的一种。 4.有比较强的数据结构、算法和统计分析、数学建模的能力。 岗位亮…
工作职责
模型推理是大模型应用的核心能力,是影响大模型应用成本和效率的关键因素。本课题专注于大模型推理加速与分布式系统优化的前沿技术探索,通过软硬件协同设计和算法工程联合优化,降低大模型推理的应用成本,提高推理性能。 研究内容包括但不限于: 1.投机推理(Speculative Decoding),研究基于预测性执行的动态推理优化方法,参与设计低延迟推理框架,通过概率模型预生成候选序列以降低解码计算开销。 2.分布式系统优化,探索多节点协同推理中的通信-计算负载均衡策略,提出基于异构硬件的混合并行调度方案,实现吞吐量提升。 3.稀疏Transformer优化与模型压缩,通过稀疏Transformer优化以及模型压缩技术提升模型的计算效率。 4.算子优化,熟悉最新硬件架构的算子优化方法,通过更高效的算子优化模型的吞吐和延时。
1、负责共享两轮车电气件的硬件开发。 2、根据产品需求完成电气系统设计、硬件方案设计,编写设计文档。 3、负责关键电子元器件物料选型、原理图绘制和电路板布局布线,BOM确认,进行样板焊接和调试。 4、配合软件、结构、测试等部门完成产品开发和产品验证,跟进并解决生产问题。 5、跟踪存量产品的市场问题,制定并落地解决方案。 6、跟踪行业新标准和技术动态,参与新技术预研和应用。
信息工程介绍:构建空间智能商业引擎,支撑高德日均调用北斗定位4800亿次,我们在商业服务领域面临多重极端技术挑战;节假日搜索系统需承载超百万QPS峰值请求,同时保障更新99.999% SLA;实时管理海量动态服务节点(从充电桩状态到酒店房态),时空数据更新毫秒级延迟。 1、提升交易稳定性、数据一致性、缩短RT等; 2、业务层面打造交易平台,支持业务快速试错、迭代,提升产研效率,快速助力业务KPI的达成。 3、负责高德基于LBS本地生活类业务(例如:酒店、门票、加油充电、美食生服)的营销运营体系建设,营销引擎、增长相关系统研发和迭代。 4、参与系统稳定性保障体系的建设,包括系统风险识别与优化、稳定性工具沉淀,保障大促及平时业务系统稳定、高效运转 5、负责协调上下游团队,推动项目高效、有序落地。
1、研究大模型(如 GPT、BERT 等)在定位多径和多模态定位中的应用可能性。探索如何利用大模型强大的学习能力和泛化能力,对复杂的定位数据进行特征提取、模式识别和预测分析 2、深入研究定位多径问题,包括但不限于卫星定位(如 GPS、北斗)、无线定位(如 Wi-Fi、蓝牙)等场景下的多径传播机制,提升定位精度到米级别 3、深入钻研 RTK(实时动态)载波相位差分技术,对其核心算法进行优化与创新。研究多系统(如 GPS、北斗、GLONASS 等)融合下的 RTK 定位算法,通过改进算法提高定位的精度、可靠性和稳定性,复杂场景定位精度到1米
【课题说明】 通用模型往往难以兼顾多样化的场景需求,容易出现泛化能力强但针对性不足的问题。针对这一挑战,本课题聚焦于研究面向具体业务或应用场景的强化学习训练优化策略,通过引入场景特定的奖励函数、环境建模和数据采样机制,提升模型在特定任务下的表现能力与适应性。课题重点突破模型在细粒度场景下的泛化能力不足、奖励稀疏、训练效率低等问题,为大模型的行业落地提供有力支撑。 【建议研究方向】 1.场景特定奖励设计:针对不同业务场景,定制化设计奖励函数,提升模型在目标任务中的表现能力。 2.环境模拟与数据生成:构建高保真场景模拟环境,开发高效的数据采样与生成机制,提升强化学习训练效率。 3.迁移与泛化能力增强:研究多场景迁移学习与元强化学习方法,提升模型从通用能力到场景定制能力的转化效率。 4.推理增强型RAG系统:基于图结构的知识融合、混合模型的协同推理架构和强化学习驱动的优化方法,进一步提升RAG系统能力。 5.基于价值观约束的大模型风险控制与安全防护。