计算机行业：聊天机器人顶流CHATGPT 开启自然语言处理领域新篇章

核心观点：

事件：12 月1 日，美国人工智能公司OpenAI 在网页上推出自然语言处理领域（NLP）的模型ChatGPT，它能够通过对话方式进行交互，并根据用户输入的自然语言文本内容，自动生成新的文本内容。一周内，ChatGPT 的用户已突破100 万。

什么是ChatGPT：ChatGPT 是在GPT 3.5 大模型语言模型（LLM,即Large Language Model）的基础上，加入“基于人类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback）”来不断微调（Fine-tune）预训练语言模型，使得LLM 模型学会理解不同类型的命令指令，并通过多重标准合理判断基于给定的prompt 输入指令，输出的是否为优质信息（这些标准包括：富含信息、内容丰富、对用户有帮助、无害、不包含歧视信息等）。

(资料图片)

ChatGPT 引爆AIGC，AIGC 将迎多场景爆发期。AIGC 即AIGeneratedContent，是继UGC、PGC 之后利用AI 技术自动生成内容的新型生产方式。相比UGC 和PGC，AIGC 的最大不同是基于海量数据、风格随机多变、跨模态融合、认知交互力等新技术导向特征。

随着ChatGPT 的技术日渐成熟，AIGC 将在电商虚拟主播、教育、金融、医疗、影视娱乐等多场景爆发，并进一步催生元宇宙的快速发展。

ChatGPT 的技术发展路径：从GPT-1 到InstructGPT，数据量与参数量不断增加，模型精度和能力提升。2018 年，在自然语言处理领域（NLP）刚兴起时，OpenAI 就推出了初代GPT，它的运行逻辑是：

先通过无标签数据学习生成语言模型，并能够运用于一些与有监督任务无关的NLP 任务中。此后再根据特定的下游任务进行有监督的微调，提高其泛化能力。

GPT-2 扩展了网络参数和数据集，进行多任务学习，可以在数据量足够丰富且模型容量足够大时，通过训练语言模型就能够完成有监督学习的任务。

对比GPT-2，2020 年推出的GPT-3 最显著的特征是庞大的数据量和参数投入，整体训练过程耗资1200 万美元，投入数据量达上万亿，模型参数量达到1750 亿。GPT-3 延续了前两代GPT 的技术架构，但改变了“大规模数据集预训练+下游数据标注微调”的方式，采用情境学习（in-context learning）来提高模型对话输出的性能。GPT-3的规模和语言能力几乎是最强大的。它能在不做微调的情况下，在一些传统的NLP 任务中表现得更好，包括实现闭卷问答、模式解析、纯语言建模、机器翻译等；在新的领域，GPT-3 将NLP 的应用扩展到缺乏足够训练数据的领域，例如在开发程序代码、文章生成和信息检索领域取得了实质性的进展。然而，GPT-3 在推理和理解能力上还有较长的路要走，在自然语言推理（NLI）任务中表现不佳。

InstructGPT 和ChatGPT：更好地遵循用户意图、更少的虚假信息。

OpenAI 在2022 年初发布了InstructGPT。该语言模型通过“基于人　　类反馈的强化学习（RLHF）和监督学习”来提高输出质量。虽然InstructGPT 的参数量仅为13 亿左右，相比于GPT-3 缩小了100 倍以上；但在遵循指令方面，能够更好地遵循用户意图，将有害的、不真实或者有偏差的信息输出最小化。在优化的模型上，ChatGPT 基于InstructGPT 进一步改进，在模型结构和训练流程上遵循上述方式，但收集和标注数据的方式上发生了变化，通过采取监督学习的方式让模型学习人类排序的方式。

ChatGPT 的优势与缺陷：优势是ChatGPT 不需要任何额外的训练就能在多种不同的领域中应用并快速输出高质量的文本，相较于以前的模型已具备较强的自然语言处理能力。但目前ChatGPT 在精准性、真实性、重复率和依赖性等问题上尚待改善：第一、由于技术实现的问题，ChatGPT 会不可避免地写出一些似是而非、或者荒谬的答案，这将导致植入虚假数据和误导用户的风险。ChatGPT 依然没有完全克服大型语言模型（LLM）的这一常见缺点；第二、在较长的会话中，由于训练数据的偏差和过度修正，ChatGPT 会过度强调某些短语或者句子，导致重复性高的问题；第三、ChatGPT 的强大能力依赖语料库、数据量的抓取和复杂的训练过程。ChatGPT 模型依赖于大规模离线语料进行训练，往往不能充分接受并采用在线提供的即时信息，难以理解对话中提及的因果关系，也无法基于已有信息进行推测，这距离人类举一反三的能力相差较远。

可能存在的瓶颈：ChatGPT 本身的缺陷可能通过技术进步和优化训练方式得到解决，但它的爆火却引发了人们对AIGC 行业中安全性、伦理约束和创造力的思考，或将成为发展瓶颈。一方面，由于RLFH并不能完全避免ChatGPT 训练库中学习到的不道德或有偏见的回答，也会导致在模糊提示或引导回答的过程中让ChatGPT 输出一些有害信息，导致输出结果的安全性降低。另一方面，在创造性、创作伦理和知识产权等方面并未形成有效界定。在数据挖掘、大规模计算、统计、多线程工作等数据处理分析领域，人工智能有着人类不可比拟的优势，但是以“创新和感知”为基础的创造过程是机器学习和模型难以训练的。目前ChatGPT 能够在用户的引导下快速生成小说、诗歌、散文、编程等需要创造力的内容，或许将对创作者和以版权为基础的行业造成冲击。文本生成的过程是基于数据库内容的学习，这是否会构成对被抓取作品的侵权，ChatGPT 生成的文本内容是否具有著作权，是否属于该用户等一系列问题的答案尚不明确。

ChatGPT 的能力目前几乎可以涵盖各个自然语言交互领域，例如聊天机器人、对话系统、智能客服、信息检索、主题建模、文本生成和总结、NLP 作为服务的翻译、转录、总结等等，未来应用领域将面向蓝海。例如，在聊天机器人领域，目前ChatGPT 已经能基本满足用户的提供个性化需求和信息提供服务；在需要智能客服的电商、金融、医疗、教育、政务等垂直领域等，ChatGPT 能够结合行业特点和需求，构建自动应答系统，为客户提供快速、准确的问题解答。

除此外，在传媒、娱乐、设计和影视领域，ChatGPT 能够协助完成一些较低层次的任务，包括文稿生成、采访助手、摘要总结等，或将提高行业的运行效率。

ChatGPT 的商业化落地方式还待商榷：第一、由于GPT-3 的训练耗资巨大，且需要大量的数据集和算力，即使ChatGPT 未来应用前景广阔，如果不能降低模型的更新训练成本和推理成本，将限制中小B 端企业的采购意愿。第二、目前正在免费测试阶段的ChatGPT 还未解决GPT-3 模型存在的准确性和安全性问题，还需要进一步优化迭代。此前，OpenAI 已尝试过通过API 接口的方式推动GPT-3 的商业化，但由于模型问题并未通过测试阶段。虽然目前OpenAI 已找到　　方式优化输出虚假信息的问题，但效力远远不足。如果不能解决这两个问题，GPT 的商业化道路还需等待。

投资建议 ChatGPT 代表自然语言处理技术一大进步，利好相关AI公司的技术与产品落地，可重点关注拓尔思（300229.SZ）、商汤-W（0020.HK）、科大讯飞（002230.SZ）。

风险提示 技术研发不及预期的风险；商业化落地方式尚不明确的风险；下游需求不及预期的风险。

关键词： 语言模型 自然语言 自然语言处理