关于 ChatGPT 的信息整理

模型应该多大？#

ChatGPT 是一个大模型，根据这篇文章的结论：https://yaofu.notion.site/514f4e63918749398a1a8a4c660e0d5b

突现能力只存在于大模型中，

模型至少需要62B，使思维链的效果才能大于标准的提示词方法。#

模型至少需要175B（GPT3的尺寸），思维链的效果才能大于精调小模型（T5 11B）的效果。#

一些开源的模型#

LMFlow#

项目地址：https://github.com/OptimalScale/LMFlow

港科大开源项目，介绍文章：https://juejin.cn/post/7219847645732536377

LLaMA#

Facebook的开源模型，最大65B，填写一个调查表，等待审核通过就可以下载了。

https://github.com/facebookresearch/llama

其它各类模型#

https://mp.weixin.qq.com/s/25pWlpaRBj4NpGpAaWeQ8w

名词#

RLHF#

ChatGPT 是在 GPT-3.5 基础上进行微调得到的，微调时使用了从人类反馈中进行强化学习的方法（Reinforcement Learning from Human Feedback，RLHF） 。 这里的人类反馈其实就是人工标注数据，来不断微调 LLM，主要目的是 让LLM学会理解人类的命令指令的含义 （比如文生成类问题、知识回答类问题、头脑风暴类问题等不同类型的命令）， 以及让LLM学会判断对于给定的prompt输入指令（用户的问题） ，什么样的答案输出是优质的 （富含信息、内容丰富、对用户有帮助、无害、不包含歧视信息等多种标准）。