江苏龙网

  1. 主页 > 生活百科 > >

关于ChatGPT，黄仁勋和OpenAI联合创始人进行了一场“炉边谈话( 二 )

ChatGPT


黄仁勋：我们看到ChatGPT和Open AI目前已经打破了过去计算机编辑图像的模式 。
伊尔亚-苏茨克维：我觉得不是打破了计算机图像的编辑，而是用另外一种说法去形容，是“超越式”的 。大部分人都是用传统的思维模式去处理数据集，但我们的处理方式更先进 。当时我们也认为这是一件艰难的事情，如果我们能做好，就是帮助人们跨越了一大步 。
黄仁勋：放在当下来看，当时你去硅谷到Open AI上班、担任Open AI的首席科学家，你认为最重要的工作时什么？我觉得Open AI在不同的时间点有不同的工作关注焦点，ChatGPT是“AI界的iPhone时刻”，你是如何达到这样的转变时刻的？
伊尔亚-苏茨克维：最开始我们也不太清楚如何开展整个项目，而且，我们现在所得出的结论，和当时使用的逻辑完全不同 。用户现在已经有这么好用的ChatGPT工具，来帮助大家创造出非常好的艺术效果和文本效果 。但在2015年、2016年的时候，我们还不敢想象能达到当下的程度 。当时我们大部分同事来自谷歌的DeepMind，他们有从业经验，但相对而言思想比较狭窄、受到束缚，当时我们内部做了100多次不同的实验和对比 。
那时我想出一个特别令自己激动的想法，就是让机器具备一种不受监督的学习能力，虽然今天我们认为这是理所当然的，你可以用自然语言模型培训所有内容 。但在2016年，不受监督的学习能力仍旧是没有被解决的问题，也没有任何科学家有过相关的经验和洞见 。我觉得“数据压缩”是技术上的瓶颈，这个词并不常见，但实际上ChatGPT确实压缩了我们的培训数据集 。但最后我们还是找到了数学模型，通过不断培训让我们压缩数据，这其实是对数据集的挑战 。这是令我感动特别激动的一个想法，这个想法在Open AI上获得了成果 。
其实这样一些成果，可能并不会在机器学习之外深受欢迎，但是我想说的是，我工作取得的成果是培训了神经网络 。
【关于ChatGPT，黄仁勋和OpenAI联合创始人进行了一场“炉边谈话】我们希望能够去培训神经网络预测下一个单词 。我认为下一个神经元的单位会和我们的整个视觉神经网络密切相关的，这个很有趣，这个和我们验证的方法是一致的 。它再次重新证明了，下一个字符的预测、下一个数据的预测能够帮助我们去发掘现有数据的逻辑，这个就是ChatGPT培训的逻辑 。
黄仁勋：扩大数据规模是帮助我们提高AI能力的表现，更多的数据、更大的数据集能够帮助生成式AI获得更好的结果 。你觉得GPT-1、GPT-2、GPT-3的演变过程，是否符合摩尔定律？
伊尔亚-苏茨克维：Open AI的目标之一是解决扩大数据集的问题，但我们刚开始面临的问题，如何提升数据的高精准度，让模型能够实现精准预测非常重要 。我们当时在做Open AI项目的时候，希望它能实时做一些策略性游戏，比如竞争性的体育游戏，它必须足够快、足够聪明，还要和其它队竞赛 。作为一个AI模型，它其实不断重复这样一个基于人类反馈的强化学习过程 。
黄仁勋：你是如何精准调控给予人类反馈的强化学习的？是不是有其它附属系统，给ChatGPT一定的知识背景来支持ChatGPT的表现？
伊尔亚-苏茨克维：我可以给大家解释一下，我们的工作原理是不断培训神经网络体系，让神经网络去预测下一个单词 。基于过去我们收集的文本，ChatGPT不仅仅是表面上的自我学习，我们希望它能够在当下预测的单词和过去的单词之间达成一定的逻辑上的一致 。过去的文本，其实是用于投射到接下来的单词的预测上 。
从神经网络来看，它更像是根据世界的不同方面，根据人们的希望、梦想和动机得出一个结论 。但我们的模型还没有达到预期的效果，比如我们从网上随便摘几个句子做前言，在此基础上，不需要做额外的培训就能让ChatGPT写出一篇符合逻辑的论文 。我们不是简单地根据人类经验完成AI学习，而是要根据人类反馈进行强化学习 。人类的反馈很重要，越多的反馈能使AI更可靠 。
黄仁勋：你可以给AI指示，让AI做某些事情，但是你能不能让AI不做某些事情？比如说告诉AI界限在哪里？
伊尔亚-苏茨克维：可以的 。我觉得第二个阶段的培训序列，就是和AI、神经网络去进行交流，我们对AI训练得越多，AI的精准度越高，就会越来越符合我们的意图 。我们不断地提高AI的忠诚度和准确度，它就会变得越来越可靠，越来越精准，而且越来越符合人类社会的逻辑 。
黄仁勋：ChatGPT在几个月之前就面世了，并且也是人类历史上增长最为迅速的软件和应用 。很多人都会给出各种不同的解释，有人会说它是目前为止使用方式最简单的应用 。比如说它的交互模式非常简单，它超越了所有人的预期 。人们也不需要去学习如何使用ChatGPT，只要给ChatGPT下命令，提出各种不同的提示就可以 。如果你的提示不够清楚的话，ChatGPT也会进一步把你的提示做得比较清晰，然后回顾并且问你是不是想要这个？这样一个深度学习的过程让我特别惊艳 。


推荐阅读


上一篇：李彦宏：中国基本不会再出一个OpenAI，创业公司重做ChatGPT没多大意义

下一篇：这些人或失业？以ChatGPT为代表的人工智能将改变职场