未来人工智能发展趋势 (Course conclusion)
黎 浩然/ 4 12 月, 2023/ 大语言模型/LARGELANGUAGEMODEL/LLM, 机器学习/MACHINELEARNING, 研究生/POSTGRADUATE, 计算机/COMPUTER/ 0 comments
一、负责任的人工智能与模型对齐
- 随着人工智能能力增强，“负责任的AI”（Responsible AI）变得尤为重要。
- 研究者正致力于将模型对齐（alignment）到人类的价值观和偏好上。
- 同时推动：
- 模型可解释性（Interpretability）的提升；
- 模型治理（Model governance）的有效实施。
二、人类监督与“宪法式AI”
- 模型能力提升的同时，需要更可扩展的人工监督方式。
- 例如：宪法式AI（Constitutional AI） —— 通过预设规则来指导模型行为，无需大量人工干预。
三、规模化研究与资源高效利用
- 研究者正在探索适用于整个AI生命周期的“规模化法则”（scaling laws）：
- 例如：通过模拟（simulations）来更准确地预测模型性能；
- 目标是高效使用计算资源。
四、小模型与边缘部署优化
- 规模≠越大越好，研究团队也在开发适用于小型设备与边缘计算场景的优化模型。
- 示例：
- llama.cpp：一个基于 C++ 的 LLaMA 模型实现，使用 4比特整数量化（4-bit quantization），可以在普通笔记本电脑上运行。
五、模型开发各阶段的效率提升
- 整个模型开发周期都将更加高效，特别是在以下方面：
- 预训练（Pre-training）
- 微调（Fine-tuning）
- 强化学习（Reinforcement Learning）
六、大模型能力的增强与涌现
- 我们将看到大语言模型（LLMs）能力的进一步增强与“涌现能力”出现。
- 研究重点之一是：支持更长的输入上下文（longer prompts/contexts）
- 例如：可以总结整本书的能力。
- 最新已出现支持10万token上下文窗口的模型，相当于：
七、多模态能力持续提升
- 模型将越来越多地支持多模态输入与输出：
- 新的交互方式与应用场景将被解锁。
- 示例：文生图（Text-to-Image）模型——使用自然语言作为界面来创作视觉内容。
八、LLM的推理能力与神经符号AI
- 研究者也在探索大模型的推理能力（Reasoning）。
- 正在尝试将结构化知识（Structured Knowledge）与符号方法（Symbolic Methods）相结合。
- 这一方向被称为：神经符号人工智能（Neurosymbolic AI）
九、结语与展望
- 本课程已完成，感谢学习！
- 鼓励大家将所学知识应用于实践，创造出令人惊艳的成果。
- 最后一个问题留给AI：“AI的未来会是什么样？”
