百度小度云平台部_大模型算法实习生(J38341)
实习兼职小度科技地点:北京状态:招聘
任职要求
-本科及以上学历 -对CV、NLP、多模态等相关领域有一定的理解,在其中一个或多个方向有深入的研究经历 -优秀的工程实践能力,熟悉Pytorch/Tensorflow等深度学习框架,掌握大规模并行训练技术 -优秀的分析、解决问题能力,对新技术充满好奇,敢于挑战高难度,善于提出解决方案并快速验证 -有大模型训练经验,熟悉Megatron/Deepspeed等常见大模型训练框架,对ChatGPT, GPT-4, StableDiffusion等大模型有深入研究且有实际训练经验者优先 -在国际会议发表论文者优先,包括但不限于ICLR, CVPR, ICCV, ECCV, ACL NeurIPS, ICML等会议 -实习3个月以上
工作职责
-负责小度多模态大模型的结构设计、预训练任务、模型训练和推理验证等工作,包括但不限于多模态预训练、跨模态生成与检索、多模态对话等业务应用 -跟踪多模态大模型方向前沿问题的研究 -参与建设并持续保持部门多模态技术在业界的技术先进性,保持创新的同时将业界SOTA模型在小度业务场景进行产品化落地 -负责的多模态技术涵盖视觉、语音、NLP等多个领域
包括英文材料
学历+
NLP+
https://www.youtube.com/watch?v=fNxaJsNG3-s&list=PLQY2H8rRoyvzDbLUZkbudP-MFQZwNmU4S
Welcome to Zero to Hero for Natural Language Processing using TensorFlow!
https://www.youtube.com/watch?v=R-AG4-qZs1A&list=PLeo1K3hjS3uuvuAXhYjV2lMEShq2UYSwX
Natural Language Processing tutorial for beginners series in Python.
https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
The foundations of the effective modern methods for deep learning applied to NLP.
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具,在灵活性、可读性和性能上都具备相当的优势,近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
TensorFlow+
https://www.youtube.com/watch?v=tpCFfeUEGs8
Ready to learn the fundamentals of TensorFlow and deep learning with Python? Well, you’ve come to the right place.
https://www.youtube.com/watch?v=ZUKz4125WNI
This part continues right where part one left off so get that Google Colab window open and get ready to write plenty more TensorFlow code.
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
GPT+
https://www.youtube.com/watch?v=kCc8FmEb1nY
We build a Generatively Pretrained Transformer (GPT), following the paper "Attention is All You Need" and OpenAI's GPT-2 / GPT-3.
ICLR+
https://iclr.cc/
CVPR+
https://cvpr.thecvf.com/
ICCV+
https://iccv.thecvf.com/
ICCV is the premier international computer vision event comprising the main conference and several co-located workshops and tutorials.
ECCV+
https://eccv.ecva.net/
ECCV is the official event under the European Computer Vision Association and is biannual on even numbered years.
NeurIPS+
https://neurips.cc/
ICML+
https://icml.cc/
相关职位
社招小度科技
-预训练和微调大语言模型,基于小度自有数据,训练更适合小度需求场景的大语言模型 -与数据工程师合作,理解和预处理数据,以准备用于深度学习模型的输入 -阅读和理解最新的研究论文,跟踪和使用业界前沿实践进行模型训练,验证并分析效果和 -监控模型训练过程,进行问题排查和调优
更新于 2024-08-09
社招5年以上小度科技
-负责小度个性化推荐系统的研发,构建基于用户行为和喜好的内容推荐、协同过滤和场景引擎,应用于小度用户的个性化推荐系统和业务中 -负责推荐系统在不同垂类的系统搭建和算法调优 -追踪生成大模型等最新技术在推荐场景下的落地
更新于 2023-06-19
社招5年以上小度科技
-负责小度个性化推荐系统的研发,构建基于用户行为和喜好的内容推荐、协同过滤和场景引擎,应用于小度用户的个性化推荐系统和业务中 -负责推荐系统在不同垂类的系统搭建和算法调优 -追踪生成大模型等最新技术在推荐场景下的落地
更新于 2023-06-19