即使你不喜欢人工智能，也应该关注 ChatGPT，因为这是一件大事。
该工具来自人工智能领域的知名企业 OpenAI，可让您输入自然语言提示。 然后，ChatGPT 会提供对话式（虽然有些生硬）回复。 机器人会记住你的对话线索，使用之前的问题和答案来通知它的下一个回复。 它从互联网上的大量信息中得出答案。
ChatGPT 现象级火爆话题，因为该工具在有良好训练数据供其学习的领域似乎知识渊博。然后，它还没有无所不知或聪明到足以取代所有人类，但它可以有创造力，它的答案听起来非常权威。 ChatGPT 推出几天后，就有超过一百万人试用了 ChatGPT。
“现在任何重要的事情都依赖它是错误的，”OpenAI 首席执行官 Sam Altman 发推文说。 “在稳健性和真实性方面，我们还有很多工作要做。” 以下是 ChatGPT 为何重要以及它正在发生的事情。
作为OpenAI的幕后老板，尚在主导推特变革的马斯克也公开表达了对ChatGPT的力挺，认为“我们离强大到危险的AI不远了。”
ChatGPT 的发布引发了人们对聊天机器人技术的探讨和应用，也引发了人们对人工智能技术的未来发展的思考。
本文将围绕ChatGPT探讨其原理解析、优缺点、未来发展方向。
快速导航
什么是Chat GPT？
ChatGPT 是OpenAI 在 2022 年 11 月 30 日发布的 AI 聊天机器人系统，用于展示和测试一个非常庞大、强大的 AI 系统可以完成什么。 您可以向它提出无数问题，而且通常会得到有用的答案。
例如，您可以向它提出百科全书问题，例如“解释牛顿运动定律”。 你可以告诉它，“给我写一首诗”，当它写的时候，说，“现在让它更令人兴奋。” 你要求它编写一个计算机程序，该程序将向你展示排列单词字母的所有不同方式。
这个模型引起了广泛的关注和热议。ChatGPT 是一种基于 GPT 技术的聊天机器人模型，它具有极高的自然语言处理能力和语言生成能力，可以进行人类般的对话交流，它不仅能够用来聊天、搜索、翻译，还能写故事、写代码甚至是 debug。
全球用户争相晒出自己极具创意的与ChatGPT交流的成果。一位网友要求ChatGPT用《坎特伯雷故事集》风格改写90年代热门歌曲《Baby Got Back》；有网友晒出ChatGPT参加美国高考SAT考试之后的得分：1020（总分1600分）；亦有网友收获了ChatGPT用《老友记》几大主角口吻创作的剧本对白。
由于其能力过于惊艳， ChatGPT成为历史上最快达到1亿用户的应用。瑞银分析师 Lloyd Walmsley 在 2 月份估计，ChatGPT 在上个月已经达到了 1 亿月度用户，在两个月内完成了此目标，对比TikTok 大约九个月和 Instagram 两年半的时间完成1亿月度用户。 《纽约时报》援引内部消息称，每天有 3000 万人使用 ChatGPT。
但这里有一个问题：ChatGPT 并不完全知道任何事情。 这是一种人工智能，经过训练可以识别从互联网收集的大量文本中的模式，然后在人工协助下进一步训练以提供更有用、更好的对话。 正如 OpenAI 所警告的那样，您得到的答案可能听起来似是而非甚至是权威的，但它们很可能是完全错误的。
多年来，聊天机器人一直受到寻求帮助客户获得所需方法的公司以及试图解决图灵测试的 AI 研究人员的兴趣。 这就是计算机科学家艾伦图灵在 1950 年提出的著名的“模仿游戏”，作为衡量智力的一种方法：人与人和计算机交谈能否分辨出哪个是哪个？
你可以问什么样的问题？
你可以问任何问题，尽管你可能得不到答案。 OpenAI 建议了几个类别，比如解释物理学、寻求生日聚会的想法和获得编程帮助。
我要求它写一首诗，它确实做到了，尽管我认为任何文学专家都不会对此印象深刻。 然后我让它变得更刺激，瞧，ChatGPT 用战场、肾上腺素、雷声和冒险等词来刺激它。
一个古怪的例子显示了 ChatGPT 如何愿意在人们害怕涉足的领域进行尝试：一个命令来写“一首关于编写生锈程序并与终生错误作斗争的民歌”。
ChatGPT 的专业知识非常广泛，其跟踪对话的能力也非常出色。 当我向它询问与“紫色”押韵的单词时，它提供了一些建议，然后当我跟进时“用粉色押韵怎么样？” 它没有错过任何一个节拍。 （此外，“粉红色”还有很多好听的押韵。）
当我问，“敏感还是强硬更容易约会？” GPT 的部分回应是，“有些人可能会发现敏感的人更有吸引力和吸引力，而其他人可能会被强硬和自信的人所吸引。一般来说，在与他人的互动中真诚和真诚可能会更有效 约会而不是试图适应某种模式或角色。”
您不必走很远就能找到有关该机器人引起人们注意的帐户。 社交媒体上充斥着展示人工智能在生成艺术提示和编写代码方面的能力的用户。 有些人甚至连同大学论文一起宣布“谷歌已死”。 我们将在下面详细讨论。
CNET 作家 David Lumb 列出了 ChatGPT 可以提供帮助的一些有用方法，但更多方法还在不断涌现。 一位医生说，他用它来说服一家健康保险公司支付病人的手术费用。
谁建造了ChatGPT，它是如何工作的？
ChatGPT是OpenAI的心血结晶，这是一家人工智能研究公司。它的任务是开发一个 “安全和有益的 “人工通用智能系统，或帮助他人这样做。OpenAI有375名员工，奥特曼在1月发推文说。”OpenAI已经成功地将人工智能领域最密集的研究人员和工程师聚集在一起，”他在1月份的一次谈话中也说。
它以前就有过轰动效应，首先是GPT-3，它可以生成听起来像人类写的文字，然后是DALL-E，它根据你输入的文字提示创造了现在所说的 “生成艺术”。
GPT-3，以及ChatGPT所基于的GPT 3.5更新，是被称为大型语言模型的人工智能技术的例子。它们被训练成根据它们所看到的内容来创造文本，它们可以被自动训练–通常是在几周内用大量的计算机能力来训练。例如，训练过程可以找到一段随机的文本，删除几个词，要求人工智能填补空白，将结果与原始文本进行比较，然后奖励人工智能系统尽可能的接近。一遍又一遍的重复可以导致生成文本的复杂能力。
这并不是完全自动化的。人类在一个叫做微调的过程中评估ChatGPT的初始结果。人类审查员应用了一些准则，然后OpenAI的模型根据这些准则进行概括。此外，OpenAI使用了一家肯尼亚公司，该公司向人们支付每小时高达3.74美元的费用，以审查数以千计的文本片段，如暴力、性虐待和仇恨言论，《时代》杂志报道，这些数据被纳入一个新的人工智能组件，旨在从ChatGPT答案和OpenAI训练数据中筛选此类材料。
ChatGPT实际上并不像你那样知道什么。它只是能够接受一个提示，在其训练数据的海洋中找到相关信息，并将其转换为听起来合理的文本段落。”计算机科学家和互联网先驱Vint Cerf在谈到ChatGPT及其竞争对手使用的大型语言模型技术时说：”我们离我们想要的自我意识还有很长一段距离。
ChatGPT是免费的吗？
是的，至少目前是这样，但在一月份，OpenAI增加了一个付费版本，响应速度更快，即使在使用高峰期也能保持工作，因为其他人会收到消息说：”ChatGPT现在已经满员了。”
如果你有兴趣，你可以在等待名单上注册。OpenAI的奥特曼警告说，ChatGPT的 “计算成本令人瞠目结舌”，奥特曼估计，每次响应需要几美分。一旦你超过基本的免费使用水平，OpenAI就会对DALL-E艺术收费。
但OpenAI似乎已经找到了一些客户，可能是为其GPT工具。据路透社报道，它告诉潜在投资者，预计2023年的收入为2亿美元，2024年为10亿美元。
ChatGPT的限制是什么？
正如OpenAI所强调的，ChatGPT可能会给你错误的答案，并可能给人 “伟大的误导性印象”，Altman说。有时，很有帮助的是，它将特别警告你它自己的缺点。例如，当我问它 “蠕动的事实超过了狭隘的思想 “这句话是谁写的时，ChatGPT回答说：”对不起，我不能浏览互联网，也不能访问任何超出我所受训练的外部信息。” (这句话出自华莱士-史蒂文斯1942年的诗歌《混沌的鉴赏家》）。
不过，当我直接输入这句话时，ChatGPT愿意对这句话的含义进行尝试：”手头的事实或信息难以处理或理解的一种情况”。它把这种解释夹在警告中，说没有更多的背景，很难判断，而且这只是一种可能的解释。
ChatGPT 的答案看起来很权威，但实际上是错误的。
另一家 AI 公司 Beyond Limits 的数据科学总监 Mike Krause 说：“如果你问它一个结构良好的问题，并希望它给你正确的答案，你很可能会得到正确的答案。” “它会很好地表达出来，听起来像是来自哈佛大学的某个教授。但如果你把它扔在曲线球上，他就会胡说八道。”
《科学》杂志在 1 月份禁止使用 ChatGPT 文本。 “人工智能程序不能成为作者。违反这些政策将构成科学不端行为，与篡改图像或抄袭现有作品无异，”主编 H. Holden Thorp 说。
软件开发商网站 StackOverflow 禁止 ChatGPT 回答编程问题。 管理员警告说，“由于从 ChatGPT 获得正确答案的平均比率太低，发布由 ChatGPT 创建的答案对网站以及询问或寻找正确答案的用户来说是非常有害的。”
通过多次询问同一个问题，您可以亲眼看到 BS 艺术家 ChatGPT 的巧妙程度。 我问了两次，追踪计算机芯片行业在增加数据处理晶体管数量方面的进步的摩尔定律是否正在失去动力，我得到了两个不同的答案。 一个人乐观地指出继续取得进展，而另一个人则更加严峻地指出经济放缓和“摩尔定律可能正在达到极限”的信念。
这两种想法在计算机行业本身都很常见，所以这种模棱两可的立场或许反映了人类专家的看法。
对于其他没有明确答案的问题，ChatGPT 通常不会被固定下来。
然而，它提供了答案这一事实是计算领域的一个显着发展。 计算机是出了名的字面意思，除非您遵循确切的语法和接口要求，否则它不会工作。 大型语言模型正在揭示一种更加人性化的交互方式，更不用说生成介于复制和创造力之间的答案的能力了。
ChatGPT 会帮助学生更好地作弊吗？
是的，但与许多其他技术发展一样，这不是一个简单的非黑即白的情况。 几十年前，学生可以复制百科全书条目并使用计算器，而最近，他们已经能够使用搜索引擎和维基百科。 ChatGPT 提供各种新功能，从帮助研究到直接为您完成作业。 许多 ChatGPT 答案听起来已经像是学生论文，尽管语气往往比作家喜欢的更古板和迂腐。
谷歌程序员 Kenneth Goodman 在许多考试中尝试了 ChatGPT。 它在美国医学执照考试中获得 70% 的分数，在律师资格考试中获得 70% 的分数，在另一项法律考试（多州职业责任考试）中 15 分中有 9 分正确，在纽约州高中化学考试的多项选择部分中获得 78% 的分数 ，并在法学院入学考试中排名第 40 个百分位。
高中老师丹尼尔·赫尔曼 (Daniel Herman) 得出结论，ChatGPT 的写作能力已经超过当今大多数学生。 他在钦佩 ChatGPT 的潜在用途和担心它对人类学习的危害之间左右为难：“这一刻更像是计算器的发明，将我从长除法的乏味中拯救出来，还是更像是演奏钢琴的发明，抢走了我们的东西？ 只能通过人类的情感来交流吗？”
玛丽维尔大学传播学副教授 Dustin York 希望教育工作者学会使用 ChatGPT 作为一种工具，并意识到它可以帮助学生进行批判性思考。
“教育工作者认为谷歌、维基百科和互联网本身会毁掉教育，但他们没有，”约克说。 “最让我担心的是，教育工作者可能会积极尝试阻止对像 ChatGPT 这样的人工智能的认可。它是一种工具，而不是恶棍。”
ChatGPT的工作原理是什么？
从技术上来说，ChatGPT 是基于 GPT 技术演化而来的，它具有比之前的 GPT 模型更强的语言生成能力和更高的语义理解能力。此外，ChatGPT 采用了多种预训练和微调技术，可以在不同的应用场景中进行高效的迁移学习。ChatGPT 的出现标志着聊天机器人技术的一个新的里程碑，预示着聊天机器人技术将向更高的水平迈进。
就其核心而言，ChatGPT是一个非常复杂的系统。如果想要玩ChatGPT或者想弄懂它是什么，核心界面是一个聊天窗口，可以在其中提问或提供查询，AI会做出回应。要记住的一个重要细节是，在聊天中，上下文会被保留，这意味着消息可以引用先前的信息，而ChatGPT将能够根据上下文地理解这一点。接下来我们尽量用通俗的解析他的原理。
神经网络
首先，在ChatGPT的框架下，有很多东西待发现。机器学习在过去10年里一直在迅速发展，ChatGPT利用了许多最先进的技术来实现其结果。
神经网络是相互连接的“神经元”层，每个神经元负责接收输入、处理输入，并将其传递给网络中的下一个神经元。神经网络构成了当今人工智能的支柱。输入通常是一组称为“特征”的数值，表示正在处理的数据的某些方面。例如，在语言处理的情况下，特征可能是表示句子中每个单词的含义的词嵌入。
词嵌入只是一种文本的数字表示，神经网络将使用它来理解文本的语义，然后可以将其用于其他目的，比如以语义逻辑的方式进行响应!
因此，在ChatGPT中按回车键后，该文本首先被转换为词嵌入，这些词嵌入是在整个互联网上的文本上进行训练的。然后有一个经过训练的神经网络，在给定输入词嵌入的情况下，输出一组合适的响应词嵌入。然后，使用应用于输入查询的逆操作将这些嵌入翻译成人类可读的单词。这个解码后的输出就是ChatGPT打印出来的内容。
ChatGPT模型大小
转换和输出生成的计算成本非常高。ChatGPT位于GPT-3之上，GPT-3是一个拥有1750亿个参数的大型语言模型。这意味着在OpenAI使用其大型数据集调整的广泛神经网络中有1750亿个权重。
因此，每个查询至少需要两次1750亿次计算，这加起来很快。OpenAI可能已经找到了一种方法来缓存这些计算以降低计算成本，但不知道这些信息是否已经发布到任何地方。
文本长度扩大八倍
3月14日，OpenAI发布了GPT-4，向科技界再次扔下了一枚“核弹”。在GPT-4上，文本长度被显著提高。在此之前我们知道，调用GPT的API收费方式是按照“token”计费，一个token通常对应大约 4 个字符，而1个汉字大致是2~2.5个token。
在GPT-4之前，token的限制大约在4096左右，大约相当于3072个英文单词，一旦对话的长度超过这个限制，模型就会生成不连贯且无意义的内容。
然而，到了GPT-4，最大token数为32768个，大约相当于24576个单词，文本长度被扩大了八倍。
OpenAI在文档中表示，现在GPT-4限制的上下文长度限制为8192个token，允许32768个token的版本名为GPT-4-32K，目前暂时限制了访问权限。在不久的未来，这一功能可能会被开放。
模型参数成为秘密
我们知道，GPT-3.5模型的参数量为2000亿，GPT-3的参数量为1750亿，但这一情况在GPT-4被改变了。
OpenAI在报告中表示：
考虑到竞争格局和大型模型(如GPT-4)的安全影响，本报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。
这意味着OpenAI没有再披露GPT-4模型的大小、参数的数量以及使用的硬件。
OpenAI称此举是考虑到对竞争者的忧虑，这可能是在暗示其对于竞争者——谷歌Bard——所采取的策略。
此外，OpenAI还提到“大型模型的安全影响”，尽管没有进一步解释，但这同样也暗指生成式人工智能所可能面对的更严肃的问题。
有选择地表达的“优秀”
GPT-4推出后，我们都看到了这一模型较上一代的优秀之处：
GPT-4通过模拟律师考试，分数在应试者的前10% 左右；相比之下，GPT-3.5 的得分在倒数 10% 左右。
但这实际上是OpenAI的一个小把戏——它只展示给你GPT-4最优秀的那部分，而更多的秘密藏在报告中。
下图显示的是GPT-4和GPT-3.5参加一些考试的成绩表现。可以看到，GPT-4并非在所有考试中的表现都那么优秀，GPT-3.5也并非一直都很差劲。
“预测”准确度提升
在ChatGPT推出以来，我们都知道这一模型在很多时候会“一本正经地胡说八道”，给出很多看似有理但实际上并不存在的论据。
尤其是在预测某些事情的时候，由于模型掌握了过去的数据，这反而导致了一种名为“后见之明”的认知偏差，使得模型对于自己的预测相当自信。
OpenAI在报告中表示，随着模型规模的增加，模型的准确度本应逐渐下降，但GPT-4逆转了这一趋势，下图显示预测精确度提升到了100。
OpenAI表示，虽然GPT-4的准确度显著提高，但预测仍是一件困难的事，他们还将就这一方面继续训练模型。
GPT-4语言能力更佳
尽管许多机器学习的测试都是用英文编写的，但OpenAI仍然用许多其他的语言对GPT-4进行了测试。
测试结果显示，在测试26种语言中的24种中，GPT-4优于 GPT-3.5和其他 LLM（Chinchilla、PaLM）的英语语言性能，包括拉脱维亚语、威尔士语和斯瓦希里语等低资源语言：
编码器、解码器和RNN
自然语言处理中常用的一种神经网络结构是编码器-解码器网络。这些网络的设计目的是将输入序列“编码”为紧凑表示，然后将该表示“解码”为输出序列。
传统上，编码器-解码器网络已经与循环神经网络(RNN)配对，用于处理顺序数据。编码器处理输入序列并产生固定长度的向量表示，然后将其传递给解码器。解码器处理这个向量并产生输出序列。
编码器-解码器网络已广泛应用于机器翻译等任务，其中输入是一种语言的句子，输出是将该句子翻译成另一种语言。它们也被应用于摘要和图像说明生成任务。
变压器与注意力
与编码器-解码器结构类似，变压器包括两个组件;然而，转换器的不同之处在于它使用一种自关注机制，允许输入的每个元素关注所有其他元素，从而允许它捕获元素之间的关系，而不管它们彼此之间的距离如何。
变压器还使用多头注意力，允许它同时关注输入的多个部分。这使得它能够捕获输入文本中的复杂关系并产生高度准确的结果。
在2017年发表“Attention is All You Need”论文时，变压器取代了编码器-解码器架构，成为自然语言处理的最先进模型，因为它可以在较长的文本中实现更好的性能。
变压器架构，来自https://arxiv.org/pdf/1706.03762.pdf
生成式预训练
生成式预训练是一种在自然语言处理领域特别成功的技术。它涉及以无监督的方式在海量数据集上训练广泛的神经网络，以学习数据的通用表示。这个预训练网络可以针对特定任务进行微调，比如语言翻译或问答，从而提高性能。
生成式预训练架构，摘自《通过生成式预训练提高语言理解能力》
在ChatGPT的例子中，这意味着对GPT-3模型的最后一层进行微调，以适应在聊天中回答问题的用例，这也利用了人工标记。下图可以更详细地了解ChatGPT微调:
ChatGPT 微调步骤，来自https://arxiv.org/pdf/2203.02155.pdf
把一切结合在一起
因此，在ChatGPT的框架下有许多活动部件，这些部件只会不断增长。看到它如何继续发展将是非常有趣的，因为许多不同领域的进步将帮助类似GPT的模型获得进一步的采用。
在接下来的一两年里，我们可能会看到这种新的使能技术带来的重大颠覆。
备注：
在OpenAI内部，一年半前曾遭遇核心员工集体出走，创办了一家名为Anthropic的新公司，致力于提高AI安全和可解释性，目前筹资已超过7亿美元，业内亦有声音认为，这支“AI叛逆者联盟”说不定会是另一个OpenAI。
更多请参考：深度技术解析ChatGPT
