2023-04-05
- GPT 模型
- ada, babbage, curie, davinci 模型从小到大
- 模型越大，收费越高
2023-04-04
- Zero-Shot Classification
- 零样本分类
- 目的：让模型能够对在训练过程中未曾见过的类别进行分类
- 实现：
- 特征学习
- 类型映射
- 举例：利用不同文本在大模型里 embedding 之间的距离，来进行情感分析
模型从训练数据中学习提取有效的特征表示
模型学习将输入特征映射到共享的语义空间。同一类的数据在语义空间中更加靠近，不同类的相距较远
- Few-Shots Learning
- 少样本学习
- 目的：通过给出少量的例子用于学习，AI 就能举一反三给出答案
2023-04-03
- NLP
- 自然语言处理（Natural Language Processing）
- 关注于计算机能够理解、解释和生成人类语言（任何语种）的方法
- 目的是为了能够让计算机和人类有效沟通
- LLM
- 大型语言模型（Large Language Model）
- 指的是一类基于深度学习的自然语言处理（NLP）模型，模型具有大量的参数和很大的训练集
- 模型在 NLP 的任务上表现很优异，包括但不限于翻译、情感分析、文本生成等
- 常见的有 GPT、BERT
- AGI
- 通用人工智能（Artificial General Intelligence），也可以叫强人工智能
- 它们具有广泛的认知能力，可以在各种任务和领域表现与人类智能相当
- chatGPT 不是 AGI，只是一个基于 LLM 的问答机器人，关注自然语言处理，与通用形人工智能存在很大的差距。AGI 在各种任务和领域（包括视觉、听觉、推理等）上具有广泛的认知能力
2023-04-02
- embedding
- 是一种将离散数据（文本、图形、音视频）转换成数学表示。
- 核心思想是将词汇映射到一个连续的向量空间，语义上相似的词汇在向量空间中的距离也会比较近
- 目的是为了提高 NLP 任务（如文本分类、情感分析、机器翻译等）的性能
- transfer
- 一般指的都是 Transfer Learning（迁移学习），将一个模型在一个任务上学习到的知识迁移到另一个任务上
- 目的是为了提高新模型的性能
- fine-tuning
- 是对已经预训练好的模型，进行再次训练的过程，是 Transfer Learning 的一种策略
- 目的是为了提升模型的性能，以适应新任务的需求。