阿里巴巴自然语言处理算法实习生-语音对话交互方向
任职要求
1、计算机科学、人工智能、信号处理、电子工程等相关专业在校硕士或博士研究生; 2、精通 Python 编程,熟练掌握 PyTorch 深度学习框架,有 Megatron-LM、DeepSpeed、vLLM 等分布式训练/推理框架使用经验者优先; 3、深入理解 Transformer 架构及大语言模型(LLM)原理,熟悉主流开源模型(LLaMA / Qwen / Mistral 等)的结构与训练范式;熟悉多模态视觉语言模型(VLM)相关工作,如 LLaVA、InternVL、Qwen-VL、GPT-4V 等; 4、熟悉语音对话大模型相关工作,如 SpeechGPT、Qwen-Audio、SALMONN、WavLLM、Moshi 等。了解主流语音编码器(Whisper、HuBERT、w…
工作职责
1、探索并构建面向语音交互场景的端到端对话大模型,实现多轮语音对话的语义理解、上下文管理与智能回复生成,打造流畅自然的人机对话体验,对标 GPT-4o、Gemini Live 等前沿产品; 2、负责语音、文本、图像等多模态信息的联合建模与跨模态对齐研究,基于 LLM/VLM 骨干网络(如 Qwen、GLM、seed 等)构建统一的多模态对话理解框架,提升模型在视听融合场景下的推理与交互能力; 3、参与对话大模型的预训练(Pre-training)、有监督微调(SFT)及基于人类反馈的强化学习(RLHF/RLAIF)全流程;重点攻克多轮对话上下文建模、语音-文本跨模态对齐、低延迟流式推理等核心技术难题; 4、设计并实施大规模语音对话数据的采集、清洗、合成与质量评估方案;构建高质量的多轮对话指令数据集(Instruction Tuning Data),包括语音问答、情感对话、多模态指令跟随等多类型数据; 5、持续追踪 ACL、EMNLP、NAACL、Interspeech、ICLR、NeurIPS 等顶会最新进展,快速复现并将 Chain-of-Thought、RAG、Agent、语音语言模型等前沿技术迁移至内部产品场景,推动模型能力持续迭代。
T-Star计划是阿里巴巴淘天集团顶尖人才招聘和培养项目,继承“阿里星〞的使命与愿景,面向全球招募顶尖技术人才。期待你们在淘天,通过极具挑战的前沿课题与亿级规模的海量数据、应用场景,探索和实践最前沿的Al技术,在有价值的业务场景落地技术成果。 在这里,你将紧跟业界最新自然语言处理技术动态,深入研发并努力创新自然语言处理相关的知识库、词法、句法、语义、文档分析、深度学习、机器翻译、智能对话等技术,包括新颖的算法/模型的提出,模块的实际开发,对接自然语言处理平台的接入以及把高水平研发成果以论文/专利等形式进行发布; 在这里,你需要理解自然语言处理技术应用的相关的业务场景及需求,在自然语言处理技术内核的基础上考虑业务场景的特殊性进而适当适配业务需求; 在这里,你除了在核心技术研发之外,也有机会参与到具体的NLP相关业务中,例如文本内容的理解,商业场景的多语言多模态翻译和沟通,搜索Query分析、智能对话的语义解析及意图理解、商品评价的语义理解、内容搜索推荐的结构化分析、商品搜索推荐的标签体系、社会化问答的文本分析、智能客服的场景定制等。 加入我们,起来夯实基础、赋能商业,实现技术与商业的完美结合,共同推进自然语言处理技术赋能平台化、服务化策略,不断追求技术的深度以及技术与业务的适当解耦。来吧,我们等你加入! T-Star实习可以带给你什么? ꔷ ①加入前沿技术探索队伍,参与顶级课题研究,有机会实现工业界项目落地。②跟企业大牛导师/学术界名导一起做有价值的课题。③丰富的技术资源、海量的数据与优秀的团队助力发paper ④有机会提前获得秋招直通T-Star的正式Offer。
1-与各业务、产品、工程团队配合,在京东亿量级的数据与丰富的业务应用场景中不断进行深入的自然语言处理的算法研发,包括但不限于语义分析、意图识别、智能对话、语义挖掘、机器翻译、知识图谱、语言模型、语言生成等方面; 2-参与到京东自然语言处理的相关业务场景中,包括但不限于文本内容理解、智能对话的语义解析及意图理解、商品评价的语义理解、内容搜索推荐的结构化分析、商品搜索推荐的标签体系、社会化问答的文本分析及社交媒体数据情感分析、智能客服、商品营销文案生成等内容; 3-与京东的技术团队及科学家们一同参与人工智能和自然语言处理及应用的前沿研究,助力业务提升效率,实现京东技术愿景和战略。
作为自然语言处理方向的研究工程师,你可以: 1、负责自然语言处理的算法研发,包括但不限于语义分析、意图识别、人机对话、语义挖掘、机器翻译、知识图谱、命名实体识别等; 2、负责对话系统,尤其是任务导向型对话系统的技术研究,包括自然语言理解、对话状态跟踪、对话策略学习、自然语言生成、encoder-decoder模型等; 3、负责知识图谱相关关键技术研究,解决知识图谱和自然语言深层次表示、理解与计算问题; 4、负责NLP前沿问题的研究,结合未来实际应用场景,提供技术解决方案。