| 开场分享 |
3月18日 |
10分钟 |
李沐 |
动手学深度学习作者 |
| 直播: 如何学深度学习 |
3月18日 |
30分钟 |
杨毅远 |
牛津大学博士 |
| 初识深度学习 |
3月19日 |
1天 |
助教团队 |
Datawhale成员、优秀学习者 |
开营仪式
李沐
- 深度学习仍在快速发展, 在《动手学深度学习》最初编写的时候, ChatGPT 基于的 Transformer 架构还没有流行起来. 那时流行的神经网络模型能做的是 人类大概五秒钟可以实现的智能水平 (e.g. 识别一张图片). 随着近几年的发展, 现在的图片生成模型, 大型语言模型已经可以实现 (一个专业知识的人) 一两个小时的工作量 (例如 生成文献总结, 会议纪要, 生成图片)
- 模型的上限,
- 定义: 随着参数增加, 模型的智能不会继续显著的增加.
- 卷积神经网络, 我们已经触及了它的上限
- 对于 Tranformer 架构, 我们尚未触及它的上限
- 深度学习还属于早期阶段. (也值得跨学科跨领域的学习)
杨毅远
📖 幻灯片 (PDF)
- 深度学习的细分领域
- 机器学习理论 (Machine learning. ML）& 深度学习理论 (Deep learning. DL)
- 计算机视觉 (Computer vision, CV)
- 自然语言处理 (Natural language processing, NLP)
- 自动语音识别 (Automatic Speech Recognition, ASR)
- 人工智能与物联网 (Al + IoT, AloT)
- 时间序列分析＆异常检测 (Time-series and Anomaly detection)
- 机器人控制 (Robot)
- 推荐系统 (Recommender system)
- Al for Science
- 强化学习 (Reinforcement learning, RL)
- 其他：视频编解码技术、多媒体信息检索与处理、模式识别、医学图像分析、生物特征识别、生物系统建模与仿真、机器翻译、汉语输入与分析、社会网络分析与计算、语言分析、情感分析、文本生成、问答系统、人机对话和社会预测、多机器人博弈理论与技术、机器人自主导航技术、机器人运动规则技术、智能机器人应用系统与技术、智能控制系统与应用。
- 技巧
- 简化模型
- 易错点
- 解决 欠拟合 / 过拟合 的方法