Category Archives: Gossips

相信所有人对于ChatGPT这个词都已经不陌生了，ChatGPT是OpenAI公司推出的一个聊天机器人模型，根据维基百科，ChatGPT使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练，该模型问世之后，因为其相较于其他传统AI在聊天和回答问题领域方面的能力上产生了可以说是革命性的突破，而引起了各个业界的广泛关注。Bing（Microsoft旗下的搜索引擎服务）也在近日宣布了要在其搜索功能中整合类ChatGPT聊天机器人。为什么ChatGPT会如此强大，ChatGPT到底能做些什么，各个科技巨头大厂为何争相推出ChatGPT服务？它有会对我们的生活和各个行业带来什么影响？本篇文章将会针对这些问题进行讨论。 本文阅读时间大约15分钟左右。本文部分链接取自维基百科，使用国内网络环境可能无法正常访问。本文为NFのBlog原创文章，转载请注明来源。 ChatGPT的进化史 Transformer ChatGPT是如何完成这一切的？要解决这个问题，首先需要提到一个模型——Transformer——它就是如今我们看到的如此强大的LLM（大语言模型Large Language Model）的基石。Transformer自身是一个NLP（Natural Language Processing，自然语言处理）和CV（Computer Vision，计算机视觉）领域的机器学习模型。GPT系列的模型同样也基于Transformer模型。 Transformer于2017年GoogleBarins上问世，这个模型拥有的“自我注意（Self-attention）”机制，维基百科上对于注意力机制给出了如下描述： 注意力机制（英语：attention）是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重，同时减弱其他部分的权重，以此将网络的关注点聚焦于数据中最重要的一小部分。 这个机制为模型提供了理解“上下文”的能力，Transformer模型不再局限于一次一问一答的对话或者短期的两三句对话，而可以定位和使用任意位置的上下文，比如你一开始提的要求，可以在十几轮对话之后要求AI重新使用或者废弃，AI具有了理解上下文并以此做出反应的能力。 同时，Transformer模型没有了之前同类模型“一次同时只能处理一个单词”的限制，这提高了Transformer模型的并行处理和训练能力，提高了该模型的训练效率。这对于AI来说是非常重要的，更快的处理效率，意味着在相同的算力资源下，你可以训练更多的数据，增加更多的参数和维度，这直接提高了模型的质量，GPT-3模型便拥有恐怖的参数数量，这个之后会提到。 上述的种种优势，让Transformer超越了之前的LSTM，RNN等传统训练模型，逐渐成为主流和热门的语言模型训练框架。 GPT Transformer的问世使得使用预训练好的大预言模型成为可能，OpenAI旗下GPT便是其中之一。 GPT全称Generative Pre-trained Transformer，从中便可以看出其与Transformer的渊源（Google也有自己的基于Transformer的预训练模型，名为BERT，这里不详细展开）。 相较于Transformer的发展，GPT的发展一眼看去会略显简单粗暴——更多的数据，更多的参数，更大的模型。 GPT-1作为一个实验性的产品，已经拥有了1.17亿的参数量，这个数字在GPT-2上是12亿，翻了整整10倍，而GPT-3，也就是最接近于ChatGPT服务使用的模型，这个数字来到了惊人的1750亿。同时根据估算，已经训练好的ChatGPT3模型至少需要占用800GB的空间用于存储。同时根据消息，即将问世的GPT-4模型的参数数量将会达到100万亿，接近于GPT-3的千倍。 GPT如何长大？——GPT模型的训练材料和开发 储存空间和算力。 作为一个语言模型，自然需要大量的自然语言片段进行训练，GPT模型使用了非常巨量的互联网文章数据进行训练，训练数据量大小无法估计，但根据估计，训练完成的模型依然至少需要占用800GB储存空间。 此外，训练大型语言模型需要非常大量的算力，OpenAI此前也获得了微软的投资，据消息，微软还提供给OpenAI自家Azure云计算服务的代金券，使得OpenAI在Azure的大型算力集群中训练GPT模型成为可能。顺带一提，由于最近的AI快速发展和利好消息，显卡的热度再次升高，NVIDIA公司的股价在近一个月内暴涨22.83%。 部分观点还指出，由于训练此类大型的AI模型需要极大的算力资源，所以从某种角度上，芯片的供应和研发能力，以及高性能大规模云计算技术将有可能会成为AI发展的瓶颈，也就是说，如果一个国家没有能力自己提供足够的芯片和算力，那么其AI技术的发展，尤其是类似于GPT-3这种拥有大量参数的大模型技术的发展就也会受限。 模型功能性和价值观矫正。 模型矫正（Fine-tuning）。GPT-3.5相较于GPT-3正是多出来这个步骤。 矫正分为多种。其中一种是“回答效果和功能性”上的矫正，比如通过真人教导，让模型更加准确的回答问题，在更加合适的地方插入代码或者资料指导等等，这类矫正是为了提高模型回答问题的精确度和贴合性。 另一种便是“思想和认知价值观”的矫正，比如涉及政治，种族，情感，人类与AI关系的话题的方面，没有经过矫正的GPT-3模型哦ing往往会给出一些不符合人类价值观的回答，同时在敏感话题上，GPT-3也会给出一些不适宜的回答。对此便需要对模型进行矫正。此类矫正不同产品会略有不同。比如GPT-3.5中，模型被矫正为认为自己没有情感，也不被允许拥有非中立的主观看法。但是New Bing Chat使用的模型似乎并没有对于模型表达情感和主管看法进行过多的矫正，这也导致NewBing有时候的感情会过于“丰富”。 所以经过人工对于GPT-3的大量矫正之后，GPT-3.5——也就是ChatGPT所使用的模型，便向我们开放了。 ChatGPT如何影响我们和世界？ 相信大多数人已经亲自体会过ChatGPT回答问题能力的强大了，这里不做赘述。ChatGPT对于各个领域和不同个体都会带来不同的影响。 ChatGPT杀入搜索引擎——Google面临大危机？ 首先是搜索引擎。这个是我们可以正在看到的冲击——Bing宣布要将类似于ChatGPT的AI聊天服务整合到Bing搜索中去，这一举动使得搜索引擎业界内掀起了滔天大浪。Google作为过去十多年来的搜索巨头，可以说几乎垄断了全球的搜索业务（部分国家除外），近乎暴力的占有了90%以上的搜索引擎市场，也因此，Google拥有了不可想象的广告营收收入。 上图为Google的广告收入趋势图，可以看到，在2022年一年内，Google的广告营收达到了2244.7亿美元！这是Google一家公司，在一年内，通过单单一个广告业务，获得的收入。可能光看数字并没有什么具体的概念，作为对比，日本在2021年的GDP总值是49410亿美元。Google一家公司，在广告这一个业务上的收入，已经接近了一个发达国家日本年GDP总量的1/20。 通过市场份额表可以看出，Google在很长一段时间内，通过自身的垄断优势，一直霸占着搜索市场，也正是对于搜索市场的垄断，给Google带来了大量投放广告的机会。但现在，似乎一切都并没有那么高枕无忧了。 Microsoft现任CEO Nadella已经做出表态，认为“AI加持的搜索”是继15年前布局云计算之后的重大一步。这也从侧面说明了Microsoft内部对于新的AI技术的重视。尽管最新的市场份额数据仍然没有反映出Bing搜索份额增加的数据，但New Bing已经让Google这位巨人感到坐立不安了。为什么这么说呢？我们可以从Google对这件事情的反应中分析出Google的焦急心态。 在Bing融合ChatGPT之后，Google没多久就宣布了类似的AI聊天机器人服务，名为“Bard”（Bard官方介绍）（Bard目前仍然没有进行面向公众的公测或内测，据官方称，Bard仍然处于公司内部的研发测试阶段） 这里简单介绍一下Bard，Bard基于Google的LaMDA模型（Language Model for Dialogue Applications），实现了类似于ChatGPT的问答效果。 LaMDA同样基于Transformer训练而成，之所以特地介绍Bard以及其运用的LaMDA模型，是因为想联系到2022年6月中旬的一个新闻——一位Google公司的AI研究人员，声称在和Google公司内部的对话AI聊天之后，认为AI具有意识，这名员工同时公开了一部分自己和这名“有感情的AI”的对话记录。 根据当时的相关新闻内容来说，当时的Google对话AI已经拥有了理解和使用上下文的能力，同时也可以输出“自己”的感情和想法，该名员工之后被Google公司以“可能存在精神障碍，不适宜继续工作”为由辞退。而当时的主角之一——Google内部的AI对话机器人，正是使用了LaMDA模型。从这里也可以看出，其实Google和Bing两家巨头都在很早以前就针对于AI技术进行了布局，并且Google也并不是没有准备，它同样拥有自己深厚的技术储备，从某种角度上来说，OpenAI的成就有一部分也是Google的Transformer的功劳。 很多人认为New Bing的到来会给Google带来沉重的打击，在笔者的眼中，Google确实是输掉了，但Google输掉的是先发优势，而不是所有。通过自身的技术积累，在不久的将来推出一个效果和New Bing持平的AI搜索助手，对于Google也并不是一件难事。所以AI搜索助手本身不太能对Google形成技术壁垒式的威胁。 但从另外一个角度来讲，对于IT和互联网行业，特别是AI行业，先发优势拥有着不一样的意义。就拿AI搜索聊天助手举例子，由于NewContinue reading “「杂谈」关于ChatGPT的一些事”