人类数据缺缺缺，AI被迫开始吃AI生产的数据了！

这是微软、OpenAI等一众AI前沿公司面临的现状。

他们从维基百科、电子书、新闻网站、博客、推特和Reddit等平台和论坛中搜罗了大量数据，然后现在……这些数据快被用完了。

BUT，要训练更好的大模型，多少数据都不够。

据《金融时报》介绍，不少公司正把大模型生成的结果、也就是所谓的合成数据（Synthetic data），喂给参数量更小的大模型吃，发现效果还不错。

对于使用合成数据，OpenAI的CEO Sam Altman不仅不介意，还放话“未来所有数据都将变成合成数据”。

估值20亿美元的大模型初创公司Cohere同样在用合成数据。公司CEO、经典大模型Transformer论文作者之一Aidan Gomez甚至认为：

合成数据可能加速通往“超级智能”AI系统的道路。

所以，究竟哪些大模型已经在用合成数据了，这些合成数据又是从何而来？

大AI合成数据，小AI吃

这些所谓的合成数据，本质上是用当前表现较好的大模型生成的数据，经过人工调整后，再喂给稍微小一点的大模型。

例如Cohere公司就尝试使用了两个大模型进行“角色扮演”对话，并将它们生成的结果做成合成数据。

这两个大模型分别扮演“数学老师”和“学生”，正在进行一堂虚拟的数学教学。同时，Cohere安排一个人类员工在旁边监督对话生成。

图片

一旦对话出现错误，人类员工就会插手对文本进行修正。

尽管确实还需要人力，但这比聘请科学、医学和商业方面的专家来撰写文本要便宜得多。

那么，什么样的大模型会用到这些合成数据呢？

微软研究院最近有研究表明，合成数据可以用于训练比GPT-4或PaLM-2稍微小一点的语言模型。

以用GPT-4生成的一个“四岁儿童小说”数据集TinyStories为例，这个数据集被证明虽然只包含4岁小孩能理解的单词，但用于训练一个大模型之后，同样可以生成语法正确、阅读体验流畅的故事：

图片

对于使用合成数据的理由，Cohere的CEO Aidan Gomez认为：

能从网上获取数据当然更好，但网络数据太杂乱了，完全无法满足需求。相比之下，合成数据已经非常多了，即使它还没被广泛传播。

背后产业链已出现

目前，包括Scale AI、Gretel.ai等企业，已经开始给外界提供合成数据服务。

先是Scale AI，旗下就推出了一款合成数据产品Scale Synthetic，用于给企业提供合成数据服务。

而在之前一篇SemiAnalysis爆料GPT-4“大花边”的新闻中，还提到GPT-4的数据集中，有数百万行是来自Scale AI和内部的指令微调数据。

图片

至于合成数据平台Gretel.ai，从官网来看，它已经和谷歌、拳头游戏、汇丰银行等不同企业进行了合作，以生成更多合成的数据提供给其他开发者使用。

图片

Gretel.ai的CEO Ali Golshan认为，合成数据的好处在于，它保留了数据集中所有个人的隐私，同时仍然保持其统计学意义上的完整性（statistical integrity）。

但并非所有人都接受合成数据这种“神奇操作”，目前各方的看法主要分成两波。

一部分赞同使用合成数据。包括Cohere等AI公司在内，有不少搞大模型的企业仍然坚持这一做法，并认为它可能生成更好的AI，甚至从中诞生出“超级智能”。

另一部分则认为，合成数据终将让AI“自食其果”。

例如一篇来自牛津大学、剑桥大学、帝国理工学院、多伦多大学、爱丁堡大学和Vector Institute多家机构的研究表明：

使用合成数据训练，会让模型出现不可逆转的缺陷：

忘记那些“不可能发生的事件”，最终被自己生成的数据毒害。

图片

有网友认为，这些合成数据最后会变成一滩“无法使用的污泥”——然后人们不得不被迫雇佣数据科学家来对它进行清洗。

图片

还有网友调侃，这听起来就像是“AI近亲繁殖”一样。

图片

你认为AI需要使用合成数据吗？

参考链接：
[1]https://www.ft.com/content/053ee253-820e-453a-a1d5-0f24985258de
[2]https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/
[3]https://arxiv.org/pdf/2306.11644.pdf
[4]https://arxiv.org/pdf/2305.17493v2.pdf