OpenAI CTO解读ChatGPT如何重新定义人与数字信息的交互

   引言

◎ 核心看点：

1. It’s almost like a different way of thinking where you’re building an intuition, but also the discipline to sit with a problem and have faith that you’re going to solve it. 

你要建立一种直觉和原则，坚信自己能解决问题。

2. Right now is an inflection point where we’re redefining how we interact with digital information and it’s through the form of these AI systems that we collaborate with. 

我们正处于一个转折点：重新定义人与数字信息的交互，这将通过AI实现。

3. With ChatGPT, the week before, we were worried that it wasn’t good enough.We put it out there and then people told us it is good enough to discover new use cases. That’s what happens when you make this stuff accessible and easy to use and put it in the hands of everyone.

在ChatGPT发布前一周，我们还担心它可能不够好。但一旦发布，人们告诉我们它已经足够好，并发现了新的应用场景。这就是当你让这些技术易于获取、使用且每个人都能掌握时，所能发生的事情。

4. The precursor to ChatGPT was actually another project that we called WebGPT, and it used retrieval to get information and cite sources. This project then eventually turned into ChatGPT because we thought the dialogue was really special. It allows you to ask questions, correct the other person, and express uncertainty.

ChatGPT的前身是WebGPT，它使用检索来获取信息并引用来源。而对话的特别之处在于，可以提出问题、纠正对方、并表达不确定性，因此WebGPT变成了ChatGPT。

5. There isn’t any evidence that we will not get much better and much more capable models as we continue to scale them across the axes of data and compute. Whether that takes you all the way to AGI, that’s a different question. There are probably some other breakthroughs and advancements needed along the way.

如果我们不断在数据和计算量上扩充将会带来更强大的模型，但要达到通用人工智能可能需要其他突破。

6. People don’t always need to use the most powerful, the most capable models. Sometimes they just need the model that actually fits for their specific use case and it’s far more economical. There is a lot of focus right now on building more models, but building good products on top of these models is incredibly difficult.

人们并不总是需要使用最强有力的模型。有时只需要真正适合他们特定需求的模型，这要经济得多。现在有很多人都在关注建立更多的模型，但在模型之上建立好的产品是非常困难的。

7. I think that the foundation models today have this great representation of the world in text.We’re adding other modalities, like images and video and various other things, so these models can get a more comprehensive sense of the world around us, similar to how we understand and observe the world. The world is not just in text, it’s also in images. I think we will certainly expand in that direction and we’ll have these bigger models that will have all these modalities in the pre-training part of the work. We really want to get these pre-trained models to understand the world like we do.

我认为现在的基础模型在用文字表达世界已经做的不错了，未来将扩展到图像、视频等多模态，像人类一样全面地理解我们身边的世界。

8. Then there is the output part of the model where we introduce reinforcement learning with human feedback. We want the model to actually do the thing that we asked it to do and we want that to be reliable. There is a ton of work that needs to happen here and maybe introducing browsing so you can get fresh information and you can cite information and solve hallucinations. 

我们将引入基于人类反馈的强化学习，以确保模型可靠地完成我们要求的任务；同时还需要引入网络访问，以获得最新信息和解决幻觉问题。

9. On the product side, I think we want to put this all together in this collection of agents that people collaborate with and provide a platform that people can build on top of. 

我们计划把所有这些集成到一个由各种智能体组成的集合中，用户可以跟特定的智能体协同，开发者也可以在这个平台上构建智能体。

10. With that, obviously, comes the fear of having these very powerful models that are misaligned with our intentions. A huge challenge is super alignment, which is a difficult technical challenge. We’ve assembled an entire team at OpenAI to just focus on this problem.

随着模型变得更强大，确保它们与我们的意图保持一致将是个挑战。我们在OpenAI已组建了一个团队，专门研究这个超级对齐的技术挑战。

◎ 文章背景

这篇文章是一个对话，由 OpenAI 的 CTO Mira Murati 和a16z的普通合伙人 Martin Casado 进行，他们讨论了 AI 的现状和人机交互的未来。Mira Murati也分享了 GPT-4 和 ChatGPT 的开发与发布背后的故事。

Mira Murati 是 OpenAI 的首席技术官，专注于人工智能（AI）研究，并负责开发 ChatGPT 这款被认为是最先进的 AI 聊天机器人。她在美国长大，但出生于阿尔巴尼亚。Murati 在 Dartmouth College 获得了机械工程学士学位。在其学术生涯初期，曾于高盛公司担任夏季分析师实习生，之后加入了特斯拉公司，领导了 Model X 的开发项目。

Murati 的 AI 兴趣始于 2013 年，当时她在特斯拉工作，参与了早期版本的 Autopilot 自动驾驶辅助系统和工厂的 AI 机器人项目。2016 年，她转至 Leap Motion 公司，致力于开发替代键盘的增强现实系统。不过，她很快意识到这项技术还未准备好面向大众。这促使她在 2018 年加入 OpenAI，并开始负责 Dall-E 和 ChatGPT 的推出工作。在 OpenAI，她倡导公共测试，强调通过与公众互动和人类反馈来优化 AI 产品的重要性。

原文链接：https://a16z.com/where-we-go-from-here/

   Mira Murati演讲视频：

   文章：ChatGPT的前世今生

1. 大多数领先应用都是围绕生成式AI '从头开始 '打造的

与 ChatGPT 一样，这份榜单上的大多数应用在一年前都不存在--这些网站中有 80% 都是新网站。这表明，虽然许多传统公司正在利用人工智能增强其应用，但许多最引人注目的用户体验都是全新的。

Mira的背景

Martin：能否介绍一下你的背景以及什么让你加入OpenAI？

Mira：我出生在阿尔巴尼亚。在这个与世隔绝的国家，这是一个非常有趣的时代。这种背景对我的教育以及对数学和科学的重视非常重要，因为那个时候的阿尔巴尼亚，数学和物理是重点。人文学科则有些问题，信息的来源和真实性很难确定。因此，我对数学和科学产生了浓厚的兴趣。

随着时间的推移，我的兴趣越来越多地从理论领域转向实际应用，并探索如何应用这些知识来建造东西。我学的是机械工程，后来在航空航天领域担任工程师。不久后，我加入了特斯拉，并在那里工作了几年。最初，我加入特斯拉是为了开发 Model S 双电机。之后，我又参与了 Model X 的初期设计，并最终领导了整个项目的启动。

就在那时，我对人工智能的应用产生了浓厚的兴趣，特别是自动驾驶。我开始更多地思考人工智能的不同应用。特斯拉之后，我继续从事增强现实和虚拟现实方面的工作，我想在不同领域积累经验。我认为现在是研究空间计算的最佳时机。

在这一点上，我开始更多地思考通用性的重要性。忘掉不同领域的能力，只关注通用性。当时有两个地方都在专注于这个问题：OpenAI 和 DeepMind。OpenAI 的使命深深吸引了我。

我觉得，没有什么技术会比 AGI 更重要了。当然，当时我并没有现在这样的信念。但我认为，如果你把智能作为一个核心单元来打造，那么它就会影响一切。还有什么比提升和增加人类的集体智慧更鼓舞人心的呢？

为什么许多AI领袖都来自数学和物理学

Martin：近年来,影响此领域的人多为物理或数学背景，与15年前电气或机械工程背景的工程师不同。你觉得现在是物理学家为计算机科学做贡献的时候吗？

Mira：确实，数学的理论空间和问题的本质，往往需要长时间思考一个问题。有时你睡一觉醒来，会有新的想法。在几天或几周的时间里，你可能会找到最终的解决方案。这不是迅速或迭代式的解决方案，而是一种不同的思维方式。你要建立一种直觉，同时也要有纪律，坚信自己能解决问题。随着时间的推移，你会建立一种直觉，知道什么问题是真正需要解决的。

Martin：现在面临的更多是系统问题、工程问题还是真正的科学问题？

Mira：都有。系统和工程问题很重要，因为我们正在部署这些技术，试图扩大它们的规模，提高它们的效率，使它们易于访问，这样就不需要深懂复杂的机器学习也能使用它们。

实际上，你可以看到通过API提供这些模型与通过ChatGPT提供技术之间的区别。从根本上说，ChatGPT采用的是带有人类反馈的强化学习技术，技术上相似，但吸引人的想象力和每天使用这项技术的能力完全不同。

自然语言界面

Martin: 我发现ChatGPT的API很有趣。在编程使用这些模型时，感觉像是用简单代码包装了超级计算机，有时候甚至想让模型自己编程。你设计ChatGPT时，是否考虑过未来的界面会是自然语言，还是传统的编程仍然重要？

Mira: 编程正在逐渐变得不那么抽象，我们现在可以通过自然语言与计算机进行高效交流。但技术的进步也在教我们如何真正与计算机合作，而不仅仅是对其编程。由于可以用自然语言编程，编程变得更为简单和容易。同时，在ChatGPT中，你可以实际上与模型合作，就像它是你的同事或伙伴一样。

Martin: 随着时间的推移，会发生什么，我们拭目以待。现在虽然已经可以使用API，但与同事的交流不同，它更自然。你认为随着时间推移，接口会变得更加自然语言化吗，或者传统的计算机和有限状态机仍会保持其地位？

Mira: 我们正处于一个转折点，重新定义与数字信息的互动方式，这主要通过我们合作的AI系统实现。可能会有不同能力的几个系统，或者有一个通用系统，它能随我们走到任何地方，了解我们的需求，知道我们的生活和工作目标，并帮助我们完成任务。

现在，我们正处于重新定义所有这些的阶段。我们不确定未来会是什么样，但我们正在努力将这些工具和技术提供给更多的人，让他们能够进行实验，也让我们看看会发生什么。这种策略我们从一开始就采纳了。

在ChatGPT发布前一周，我们还担心它可能不够好。但发布之后，人们告诉我们它已经足够好，并创造了新的应用场景。这就是当你让这些技术易于获取和使用时，每个人都能掌握时所能发生的事情。

OpenAI路线图

Martin：你如何在OpenAI决定下一步要做什么，专注于什么，发布什么或如何定位？

Mira：ChatGPT的诞生过程并非最初的计划。它的真正根源可以追溯到5年多以前，当时我们在思考如何制作一个安全的人工智能系统。我们不想仅仅依赖于人类编写的目标函数，因为可能会有代理问题或出错，这可能非常危险。因此，我们开发了人类反馈强化学习，目的是让人工智能系统与人类的价值观保持一致，并能接收人类的反馈。这样，它更有可能做正确的事，而不是做你不想让它做的事。

在开发出GPT-3并将其应用于API后，这是我们第一次真正将安全研究应用于现实世界。我们采用指令遵循模型来实现这个目标。我们使用这种方法从应用程序接口的客户那里获得提示，然后让承包商生成反馈，供模型学习。我们根据这些数据对模型进行了微调，建立了遵循指令的模型，使其更有可能遵循用户的意图，做你真正想让它做的事情。这一点非常强大，因为现在我们正在进入人工智能安全系统的阶段，问题变成了如何将其融入现实世界。

我们可以看到大型语言模型很好地呈现了现实世界的概念和想法，但在输出方面，存在很多问题，特别是幻觉问题。我们一直在研究如何解决幻觉和真实性问题，以及如何让这些模型表达不确定性。

ChatGPT的前身是WebGPT，它使用检索来获取信息并引用来源。我们认为对话非常特别，它允许你提出问题，纠正对方，并表达不确定性，因此WebGPT变成了ChatGPT。

Martin：因为你们在互动，所以不断发现错误......

Mira：是的，有了这种互动，你就能获得更深层次的真理。我们沿着这条路走下去，用GPT-3和GPT-3.5做了一些实验，并对安全性感到非常兴奋。但当时我们已经训练出了GPT-4，我们在OpenAI内部对GPT-4感到非常兴奋，并将ChatGPT置于后视镜中。然后我们意识到，我们要用6个月的时间专注于GPT-4的调整和安全性。其中最主要的一件事，就是把ChatGPT交给研究人员，因为我们有了这种对话方式，他们可以给我们反馈。我们的初衷其实是希望从研究人员那里获得反馈，并利用这些反馈使GPT-4更统一、更安全、更强大、更可靠。

Martin：当你说对齐和安全时，你是指它是正确的，并能完成它想要做的事情？还是说安全，实际上是指避免某种伤害？

Mira：对齐通常是指它与用户的意图一致，能准确地完成你想要它做的事情。但安全性还包括其他方面，比如避免滥用，即用户故意使用模型来创造有害输出。我们希望让模型更有可能做你希望它做的事情，并解决幻觉问题，这显然是一个极其困难的问题。我们确实认为，如果我们能利用强化学习的方法，再加上人类的反馈，可能就是我们所需要的。

Martin：那么，没有什么宏伟计划吗？就是 '我们需要做什么才能实现人工智能？' 这只是一个接一个的步骤。

Mira：是的，是的，还有一路上你所做的所有小决定。几年前我们确实做出了一项战略决策，要开发一款产品。我们认为不能只在实验室里，在真空中开发这些东西，而不从真实世界的用户那里获得反馈。这是我们的假设，这也帮助我们做出一些决定，并建立了底层基础架构，使我们能最终部署ChatGPT这样的产品。

规模定律

Martin: 缩放法的持续进步和可能面临的收益递减问题是个大议题。你觉得我们能继续看到进步，还是正在走向收益递减？

Mira: 没有证据显示在数据和计算轴上扩展模型会停止带来更强大的模型，但要达到通用人工智能可能需要其他突破。在扩展规律方面，从这些大型模型中获得大量收益的路还很长。

Martin: AGI的定义是什么？

Mira: OpenAI章程中定义，AGI是能够自主完成大部分智力工作的计算机系统。

Martin: 罗伯特-西原提出了从电脑到爱因斯坦的连续体问题，我们处于何处，将解决什么问题？

Mira: 通过微调可以得到很多，但大多数任务我们仍处于实习水平。问题在于可靠性，不能完全依赖系统。如何提高系统的可靠性，同时扩展这些模型的新兴能力和新功能是个问题。

Mira: 即使新兴能力非常不可靠，也要关注它们。特别是对于正在创建公司的人来说，要思考：'今天有哪些事情是可能的？看到了什么曙光？”很快，这些模型就会变得可靠。

一个模型统治一切？

Martin: 我想探讨一下未来的情况，特别是从经济效益的角度。我回想起了硅产业的情况，在90年代购买电脑时，有各种奇怪的协处理器负责不同的功能，但最终这些功能都被CPU整合了。这种通用性创造了英特尔和AMD这类公司。制造这些芯片需要大量资金。对于未来，我看到两种可能：一种是通用大型模型消耗所有功能，另一种是多种模型共存，各自设计不同。你觉得是OpenAI和其他人，还是所有人会朝哪种方向发展？

Mira: 这取决于你想做什么。很明显，这些人工智能系统将做越来越多我们正在做的工作。它们将能够自主运行，但我们需要提供方向、指导和监督。但我不想做很多每天都要做的重复性工作。我想专注于其他事情。也许我们不必每天工作10、12个小时，也许我们可以减少工作量，实现更高的产出。关于如何在平台上实现这一点，你今天就可以看到，我们通过应用程序接口（API）提供了很多模型，从非常小的模型到我们的前沿模型。

人们并不总是需要使用最强大、最有能力的模型。有时，他们只需要真正适合他们特定用例的模型，而且这种模型要经济得多。我认为这将是一个范围。但是，是的，就我们对平台玩法的想象而言，我们肯定希望人们在我们的模型基础上进行构建，我们希望为他们提供工具，让这一切变得简单，让他们拥有越来越多的访问权和控制权。你可以带来你的数据，你可以定制这些模型。你可以真正专注于模型之外的层，并定义产品，这实际上真的很难。现在有很多人都在关注建立更多的模型，但在这些模型之上建立好的产品却非常困难。

接下来的5-10年

Martin：请你预测一下3年、5年或10年后的发展方向。

Mira：未来的基础模型将不仅处理文字，还会处理图像、视频等多种模式，以更全面地理解世界。我们会朝这个方向扩展，让预训练模型能理解世界，就像我们一样。在输出部分，我们将引入强化学习和人类反馈，以确保模型可靠地完成我们要求的任务。可能还需要引入浏览功能，以获得最新信息和解决幻觉问题。在产品方面，我们想整合所有这些到一个可以合作的代理集合中，并提供一个可供人们在其基础上构建的平台。随着模型变得更强大，确保它们与我们的意图保持一致将是个挑战。我们在OpenAI已组建了一个团队，专门研究这个超级对齐的技术挑战。