事件:11月30日,OpenAI上线了新模型ChatGPT,其网页应用允许用户免费使用,ChatGPT能够理解人类语言并且回答问题,不限于普通聊天、协助写代码、解决具体难题等等应用场景。因为其高质量的回答、高效获取信息的方式、以及上瘾式的交互体验,ChatGPT引起了社交媒体的广泛传播与关注。 ChatGPT效果出人意料,“全能AI”火遍社交媒体。ChatGPT的交互界面简洁,只有一个输入框,AI将根据输入内容进行回复,并允许在一个语境下持续聊天。ChatGPT的聊天范围广泛,涵盖大部分领域,根据亲身体验以及社交媒体分享的内容来看,ChatGPT能在绝大部分知识领域给出专业回答,同时对输入的理解能力和包容度高。无论是让ChatGPT写首押韵的诗、检查代码的bug、回答科学问题、对推特未来的发展提出建议都不在话下,其回复内容每次都是随机的,但总体保持着一定的专业性和信息量,具备很强的参考意义。与ChatGPT持续对话是一种令人上瘾的体验,因此在该应用发布的短短几天内,就能看到国内外的社交媒体上就有大量关于ChatGPT对话的分享。 ChatGPT的背后离不开大模型、大数据、大算力。ChatGPT成为AIGC里程碑的背后,是算力发展和数字时代形成的大数据所共同支持的大模型训练,才能实现目前的效果。由OpenAI研发的ChatGPT是微调后的GPT-3.5系列模型,有着多达1750亿个模型参数,并在今年年初训练完成。模型训练的背后离不开大数据的支持,OpenAI主要使用的公共爬虫数据集有着超过万亿单词的人类语言数据集。在算力方面,GPT-3.5在Azure AI超算基础设施(由V100GPU组成的高带宽集群)上进行训练,总算力消耗约3640 PF-days(即每秒一千万亿次计算,运行3640个整日)。 AIGC不仅改变创作,还将改变获取信息的主要方式。在之前的报告中,我们讨论过AIGC对于创作的替代,降低了创作门槛,为元宇宙数字内容的丰富打下基础。而在此之上,ChatGPT所展示了作为生产力的存在,ChatGPT在寻找答案、解决问题的效率上已经部分的超越了如今的搜索引擎,ChatGPT或许在未来会改变我们获取信息、输出内容的方式,AIGC有望成为数字经济时代驱动需求爆发的杀手级应用。 模型缺点瑕不掩瑜,未来迭代值得期待。据官网显示,ChatGPT目前存在着一些局限性,包括:有时会给出看上去正确但荒谬的答案、微调提问的方式会得到完全不同的答案、有时会反复使用某些句子等等。在我们实际体验中也能感受到,这些问题来自训练过程和数据集的局限性。ChatGPT本次面向用户免费开放能够进一步强化训练,从而完善模型质量。 投资建议:软硬件与数据集。生成算法、NLP与算力决定AIGC能否运行,而高质量的数据集决定了AIGC质量与商业模式。软件层面主要包括自然语言处理技术:谷歌、微软、科大讯飞、拓尔思;AIGC生成算法模型及数据集:视觉中国、万兴科技、蓝色光标、昆仑万维;算力层包括:三大运营商(移动、电信、联通)、英伟达、澜起科技、中兴通讯、新易盛、天孚通信、中际旭创等。 风险提示:技术创新不及预期;政策监管风险。 |
11月30日,OpenAI上线了新模型ChatGPT,该模型允许用户以对话的方式与其交互。ChatGPT是之前发布的InstructGPT的兄弟模型,后者被训练用于根据输入给出详细的一段输出。同时,ChatGPT模型为了获得更多用户反馈,在目前阶段对用户开放免费使用,用户可通过chat.openai.com进行应用交互体验。
ChatGPT的交互界面简洁,只有一个输入框,用户可以任意开启话题或者给出指令,模型将根据输入内容给出输出。ChatGPT的一大特点就是允许在同一个语境下持续交流,能够根据上下文进行回复。
ChatGPT的聊天范围广泛,涵盖大部分领域,具备参考意义。根据亲身体验以及社交媒体分享的内容来看,ChatGPT能在绝大部分知识领域给出专业回答,同时对输入的理解能力和包容度高。无论是让ChatGPT写首押韵的诗、检查代码的bug、回答科学问题、对推特未来的发展提出建议都不在话下,其回复内容每次都是随机的,但总体保持着一定的专业性和信息量,具备很强的参考意义。
ChatGPT的对话内容开始在社交媒体引起关注。因为ChatGPT对话的随机性以及较为丰富的信息量,与ChatGPT持续对话令人上瘾,在该应用发布的短短几天内,国内外的社交媒体上就有大量关于ChatGPT对话的分享。这其中包括马斯克向ChatGPT请教如何改变推特,也有各类有趣的问答合辑。
AIGC里程碑的背后离不开大模型、大数据、大算力。ChatGPT成为AIGC里程碑的背后,是算力发展和数字时代形成的大数据所共同支持的大模型训练,才能实现目前的效果。由OpenAI研发的ChatGPT是微调后的GPT-3.5系列模型(GPT模型专门用于人类语言应用),有着多达1750亿个模型参数,并在今年年初训练完成。
模型训练的背后离不开大数据的支持,公共爬虫数据集有着超过万亿单词的人类语言数据集,OpenAI团队在此基础上进行整理加工形成用于训练模型的数据集。在算力方面,GPT-3.5在Azure AI超算基础设施(由V100GPU组成的高带宽集群)上进行训练,总算力消耗约3640 PF-days(即每秒一千万亿次计算,运行3640个整日)。
AIGC不仅改变创作,还将改变获取信息的主要方式。在之前的报告中,我们讨论过AIGC对于创作的替代,降低了创作门槛,为元宇宙数字内容的丰富打下基础。而在此之上,ChatGPT所展示了作为生产力的存在,ChatGPT在寻找答案、解决问题的效率上已经部分的超越了如今谷歌等搜索引擎,ChatGPT或许在未来会改变我们获取信息的方式,AIGC成为新时代的用户入口。
模型缺点瑕不掩瑜,未来迭代值得期待。官网注明了ChatGPT目前存在着一些局限性及原因,在我们的实际体验中,也确实遇到这些问题:
1)有时ChatGPT会写一些看上去合理但错误且荒谬的答案,这个在体验中较少但会出现。据官网描述,这个问题是难以解决的,因为:第一,在训练期间,并没有提问者目前所有的事实;第二,如果让模型过于谨慎,那么他能回答的问题也会拒绝回答;第三,有观察的训练误导了模型,因为正确的答案来源于模型的数据库而非人类知道什么。
2)ChatGPT对输入的改变比较敏感。例如,给出一句问题,模型声称无法得知答案,但轻微地改变问题,就能正确地回答。这种特性在体验中表现的比较明显。
3)ChatGPT有时会非常重复表达,反复使用某些句子,例如:重申自己是OpenAI训练的语言模型。这个问题在我们的体验中也经常出现,根据官网,该问题来自于训练数据的偏差,以及过度拟合问题。
4)在理想情况下,当用户问题模糊时,模型应该会提问将问题清晰化。但目前的模型经常不去追问问题,直接猜想用户可能问的方向。
除了官网提到的局限性外,根据实际体验,ChatGPT即使在输入的明确要求下,也难以在表达中使用数据支持,这可能是因为ChatGPT所使用的语言数据集并不包含太多关于数据的内容。
投资建议
相比于此前的AI绘画,ChatGPT更具有将AI能力与工作流程相结合的潜力,例如我们试着让其解释“光学模块中的光芯片和电芯片是什么?当前的全球主流供应商是谁?中国企业的竞争地位如何?未来是否有什么技术可以替代InP材料?”这类问题时,ChatGPT能够给出颇为专业的答复,且语言表达流畅。如果将ChatGPT与Midjourney等创作工具融合,有可能直接输出设计图稿等内容,毕竟文字生成是基础,而用户要做的尽量调整自己的输入,以促使AI输出更质量的内容,这本身也是一种训练和反馈过程。目前部分用户已在社交媒体上表达了对ChatGPT的付费意愿,可见C端用户为了提高效率有意愿订阅此类服务。
目前OpenAI等巨头已着手自建计算集群来满足AIGC的要求,这种集中式的训练对GPU、存储、机房、供电等基础设施均有巨大需求。国内部分创业团队目前基于公有云训练,随着需求的增加,也有望转向自建集群。
今年以来,我国“东数西算”战略自上而下快速推进,作为数字经济的基础,“算力即权力”,其重要性不言而喻,此前我们更多的互联网应用聚焦于“存”而非“算”,随着AIGC技术在全球的兴起,“东数西算”的算力需求将越来越显著。
关于AIGC的投资策略,能够从软硬件与数据集的三个角度梳理,生成算法、NLP与算力决定AIGC能否运行,而高质量的数据集决定了AIGC质量与商业模式。
软件层面主要包括自然语言处理技术:谷歌、微软、科大讯飞、拓尔思。
AIGC生成算法模型及数据集:蓝色光标、视觉中国、昆仑万维、万兴科技。
算力层包括:三大运营商(移动、电信、联通)、英伟达、澜起科技、中兴通讯、新易盛、天孚通信、中际旭创等。
风险提示
技术创新不及预期:AIGC的技术发展不及预期,以及底层硬件技术,如:超级计算机,算力的发展不及预期。
政策监管风险:目前AIGC还处于相对早期,后续是否会出台AIGC作品相关的知识版权或其他法律监管条款尚不明确。