原创作者：李佳朋转载须标注出处：哈工大SCIR

前言

就在上个月月末OpenAI发布了其最新的研究成果ChatGPT以及其测试接口。在发布后的短短几天时间内，ChatGPT就火出了圈。根据相关媒体报道，目前ChatGPT全球用户数已经突破了一百万。笔者也怀揣着一颗好奇之心去体验了ChatGPT，整体下来的体验是其无论是在一些传统NLP任务包括关系抽取、事件抽取、写作、对话，还是一些其他任务包括写代码、角色扮演等都表现出一种滴水不漏，严丝合缝，不给人留下任何把柄的合理性。然而，客观来讲也存在一些不足，包括面对需要复杂逻辑推理问题的时候(比如应用题)，会给出一本正经的废话；面对事实性问题的时候缺乏对于事实性的判断；面对主观性问题的时候为保证立场的客观，存在一定模版。

然而瑕不掩瑜，ChatGPT带给我们更多的是惊喜与震撼，震撼之余更多的是思考，思考在大模型时代，在现阶段我们的研究方向应该是什么，有哪些真正值得做的有意义的、有影响力的工作。那么ChatGPT究竟是怎样炼成的呢？OpenAI目前没有给出相关的论文，但是在官方的摘要中，其生成ChatGPT有一个"孪生兄弟"，即InstructGPT，两者采用了相同的训练方式。InstructGPT是OpenAI在今年一月末发表的一篇工作，其核心思想是采用人工反馈的方式，利用强化学习的方法去进一步微调大模型，从而使大模型生成更加符合人类预期的回复。本文将详细介绍InstructGPT的原理，通过InsructGPT向大家揭开ChatGPT的神秘面纱。