腾讯混元-LLM压缩算法(量化、投机采样、稀疏化)研究

1.深度参与LLM大模型压缩加速方案研究，包括不限于：； 2.投机采样：适配LLM模型架构特性，探索Prefill / RL等场景下优化加速方案； 3.稀疏化：Sparse Attention，KV-Cache压缩，模型结构剪枝等优化技术，协同框架定制化稀疏方案，提升模型推理性能； 4.量化：优化Transformer中 Linear/KV-Cache/Attention量化算法，适配FP8/INT8/NVFP4等量化方案及不同硬件后端。探索极低bit量化训练方案，深度协同硬件联合优化，实现模型体积极致压缩和性能突破，并推动实际业务落地； 5.新技术：聚焦长上下文，多轮对话优化等压缩加速优化技术研究； 6.设计可落地的大模型压缩算法及成本优化方案，助力大模型的性能加速，不限于模型结构/软硬协同优化； 7.分析业务性能瓶颈和模型特点，定制化开发大模型压缩优化工具，实现一站式模型压缩-部署的高速推理方案； 8.参与前沿的模型压缩加速算法研究，追踪领域前沿工作，撰写并发表顶会论文。

1.负责平台类产品的前后端研发工作，包括配置化能力、模板能力、任务流转、数据管理、权限管理等核心模块建设； 2.参与平台架构设计与通用能力建设，提升系统扩展性、复用性和稳定性； 3.负责复杂交互页面、中后台系统及配置化界面的开发与优化，提升平台整体使用体验； 4.负责服务端业务逻辑、接口设计、数据建模及系统联调，支撑多业务场景接入； 5.沉淀组件、模板、公共模块及工程化能力，推动平台能力标准化和规模化复用。

1.制定大模型后训练分Topic数据策略，搭建数据质量评估体系与数据生产标准，针对性优化数据短板，提升模型训练效果； 2.全面管理数据合成、数据质检、数据标注、数据运营小组，负责团队搭建、流程制定、任务统筹与绩效管控，保障数据高效高质量交付； 3.协同算法、研发团队，对齐模型训练需求，落地数据优化方案，跟进数据-模型效果联动优化，推动数据生产智能化升级； 4.把控数据合规与安全，统筹数据项目进度与目标达成，定期复盘数据质量与团队效能。