阿里巴巴研究型实习生 - 大模型的词表scaling law研究
任职要求
1.计算机及相关专业的博士或硕士研究生，NLP方向且对LLM有充分的兴趣； 2.最好有模型词…
工作职责
大模型借助庞大的文本语料和巨量的计算资源，展现出了惊人的性能表现。之前大量的研究工作聚焦于模型参数量、计算量以及数据总量的scaling law，忽略了模型中词汇量的大小对模型的影响。大的词汇量会提升分词的压缩比，从而提升模型的训练和推理效率，但词汇量应该增大到何种程度，以及不同规模的模型对词汇量的需求是否一致等这些关键且基础的问题仍需要进一步的探索。我们期望将相应的技术路线充分探索并加以优化以大幅提升通义千问模型的训练和推理的效率和性能。 拟解决技术问题： 1. 研究构建高效大模型词表的方式。 2. 研究大模型词表对模型输出质量的影响。 3. 研究不同规模、不同数据下模型词表大小对模型性能的影响。 4. 研究通过词表压缩技术减少模型参数量且保持性能。
大模型因其强大的语言理解和生成能力，在人工智能领域引起了广泛关注。当前，ChatGPT、LLama等关注英语的大型语言模型已经取得了显著成就。关注中文的大模型，如ChatGLM、MOSS以及千问等也正在快速发展。然而，中/英以外的语言能力关注较少，但需求和研究价值很高。
研究大规模深度学习模型训练芯片架构设计领域的技术攻关及技术创新，包括但不限于基于芯粒（chiplet）互联、芯片间互联、片上网络（NoC）、三维堆叠等先进芯片设计技术的应用、原型实现、算法优化及测试等内容，同时发表相应的技术论文。 工作职责： ● 技术研究：针对芯粒互联、芯片间互联、片上网络、三维堆叠等技术的应用，在大模型训练芯片中的架构设计和优化方案。报告将包含调研结果、架构选择的理论依据、性能对比分析等内容。 ● 架构仿真与评估：完成基于选定架构的仿真实验，并对比不同技术方案在吞吐量、延迟、功耗等方面的表现，提出优化方向并形成完整的评估报告。 ● 设计和验证：协助团队进行部分SoC架构的实现，包含但不限于互联方案的验证、片上网络拓扑的初步布局等。
研究领域： 人工智能 项目简介： · 背景：研发流程中如代码质量、Bug、安全军规等潜在风险较为难以发现，特别是从方法内部的单元测试、bug发现和修复、质量军规，进一步演进到仓库级别甚至仓库和系分文档之间的深度代码风险发现，既是业务上的痛点，也是技术上需要攻坚的难题。 · 研究内容：本项目计划围绕研发流程中如代码质量、Bug、安全军规等潜在深度风险，研究基于代码大模型技术的前置风险防范，在问题发生、影响扩大前及时发现。整个分析过程中涉及大量语义文本、代码片段，期望通过大模型结合Agent技术来理解和构建研发风险左移防线，具体包括但不限于：从单元级到仓库级再到仓库结合系分文档的全链路分级的质量测试技术、bug发现和修复技术、代码军规模式发现和扫描技术等，以及涉及其中的复杂推理技术、自动agent工作流技术等。 · 业务价值：提前发现蚂蚁源于研发流程代码内的深度风险，降低潜在风险。 · 关联战略：DeepRisk研发风险左移战役
研究领域： 人工智能 项目简介： 随着人工智能技术的快速发展，机器人领域正从传统的工业自动化向智能化、消费级方向转变。桌面机器人作为面向用户的电子消费品，旨在通过视觉、语言和行动（VLA，Vision-Language-Action）的深度融合，实现与人类的自然交互，并完成复杂的任务。这类机器人不仅可以提高用户的生活质量，还能在教育、娱乐、办公等场景中提供智能化服务。