人工智能聊天机器人ChatGPT因其强大的功能、几乎可应对所有问题的高准确度风靡全球,更仅用3个月的时间,就成为史上增长速度最快的应用。
上周,其开发商OpenAI更宣布推出新机器人GPT-4(Generative Pretrained Transformer 4),并表示新模型已达到「人类表现水平」,而Coinbase战略主管Conor Grogan也在试用后发推表示,他在chatGPT-4中插入一个即时的以太坊智能合约,结果AI瞬间就找到了安全漏洞,甚至还直接展示了如何利用这些漏洞进行攻击。
Coinbase:ChatGPT不符合「安全审查」的准确性要求
随着chatGPT审查代码的能力震惊全球,为了往后能实际运用该人工智能作为大规模采用的工具,Coinbase也展开更多的测试。不过,Coinbase在20日发布报告表示,尽管ChatGPT显示出快速评估智能合约风险的能力,但并不符合整合到Coinbase安全审查流程中的准确性要求。
根据公告,Coinbase比较了ChatGPT和人工安全审查之间的20个智能合约风险评分,ChatGPT12次产生与人工审核相同的结果,但在8次失误中,有5次是ChatGPT错误地将高风险资产标记为低风险。报告中写道:虽然ChatGPT审查的效率非常高,但仍有一些限制会影响该工具的准确性。
此外,报告总结了三项ChatGPT当前面临的问题,分别是:
ChatGPT无法识别何时缺少上下文来执行稳健的安全分析。
当我们多次问同一个问题时,ChatGPT不会总是给出相同的答案。似乎是受到代码中注释的影响,并且偶尔会默认注释而不是函数逻辑。
OpenAI未来将继续迭代ChatGPT版本,这会导致额外的输出不稳定。
最后,Coinbase总结道,虽然ChatGPT没有达到准确度标准,但它确实显示出足够的潜力。
“未来Coinbase将继续进一步试验新兴工具,但在人工智能能够显示与其现有流程相同程度的准确性之前,这些工具将仅用作支持工具,而不是主要工具。”