荣耀端侧大模型推理优化工程师
任职要求
1. 计算机相关专业硕士及以上学历，具备 3 年以上 AI 或端侧推理优化相关经验；扎实的 C++ 与深度学习基础，熟悉 PyTorch 等主流框架； 2. 了解端侧大模型推理与部署技术，熟悉 llama.cpp、ONNX、NCNN、MNN、MLC‑LLM、Ollama 等至少一类或多类推理工具链； 3. 具备模型压缩、量化与推理优化相关经验，了解 GPTQ、AWQ、低比特量化（如 BitNet）、模型蒸馏以及 Lo…
工作职责
1. 负责端侧大模型推理优化与部署落地，设计并实现终端侧模型部署方案，推进模型压缩、量化、裁剪及版本管理，支撑大模型在Android端与嵌入式设备的稳定运行； 2. 持续优化端侧推理框架与系统性能，围绕时延、吞吐、功耗及内存占用，建设Benchmark与Profiling体系，并协同产品与研发开展AI模块性能治理； 3. 研究端侧大模型轻量化与推理策略，探索不同模型架构在终端设备上的性能与资源消耗最优方案，推进LoRA/QLoRA微调、模型蒸馏及端侧适配技术的工程化落地。
1.负责大模型（LLM/VLM）在企业微信客户端（iOS/Android/Windows/Mac）的端侧部署、推理优化和性能调优； 2.研究和应用模型压缩技术（如量化、剪枝、蒸馏等），实现大模型在端侧设备的高效运行； 3.与客户端开发团队紧密合作，设计并实现端侧AI推理框架，优化内存占用、计算效率和功耗表现； 4.探索端侧与云端协同的智能计算架构，在保证用户体验的前提下实现最佳的性能与效果平衡； 5.跟踪端侧AI技术的最新进展，并将创新技术应用于企业微信产品中。
1、负责大模型在内的各类算法的移动端部署与优化； 2、负责移动端深度学习框架开发及算子优化； 3、不断挖掘移动芯片算力潜能，改良模型结构，实现业界领先的算法执行效能； 4、撰写相关论文，专利。
核心职责与研究课题： 1. 研发垂域大模型：面向淘宝复杂工程技术体系，构建懂淘宝上下文的研发垂域大模型。 ①设计面向复杂工程系统的大模型数据构建和训练策略，涵盖离线的研发数据的高质量组织与清洗、在线人机协同的用户轨迹数据组织与迭代、算法训练方式策略选择（CPT、SFT、RL/RLHF）等； ②攻克研发场景的大模型面临的工程系统关系理解、研发领域知识显式记忆与推理、研发域差异化任务规划及工具调用、及情景感知检索等方向难题，打造懂业务、懂架构的研发智能体能力。 2. 端侧大模型探索：结合淘宝开源端侧深度推理引擎 MNN，探索极致高效的端侧大模型技术。 ①摒弃单纯的模型压缩思路，以端侧NPU/CPU/GPU 的硬件特性牵引大模型架构设计，探索并设计适合端侧运行的高效模型架构，在有限算力下突破性能瓶颈； ②负责端侧模型的全流程训练探索，涉及从预训练及后训练优化，结合投机采样、KV Cache优化、混合量化等优化，得到高性能的端侧大模型。 T-Star实习可以带给你什么？ ① 加入前沿技术探索队伍，参与顶级课题研究，有机会实现工业界项目落地。 ② 跟企业大牛导师/学术界名导一起做有价值的课题。 ③ 丰富的技术资源、海量的数据与优秀的团队助力发paper。
1. 探索端侧大语言模型LLM的后训练、压缩、量化、解码加速等技术，实现Qwen系列模型的手机端、XR眼镜端、AI眼镜端的实时运行和低延迟回复。 2. 探索端侧语音多模态大模型的架构升级、后训练、压缩量化等技术，打造手机端、XR眼镜端、AI眼镜端能实时运行和低延迟回复的语音对话大模型。 3. 持续关注学术界和行业的最新研究动态，参与研讨会，与顶级团队进行交流合作。