Anthropic Claude 3 的识别能力:它如何准确检测研究测试

旧金山初创公司Anthropic由前OpenAI工程师和一对兄妹领导,近日推出了其最新的大型语言模型(LLMs)系列——Claude 3。该系列在多个关键基准上据称与OpenAI的GPT-4相当或更胜一筹。

亚马逊迅速将Claude 3 Sonnet这一中型性能和成本的模型整合进其管理服务Amazon Bedrock,简化了在AWS云中开发AI应用的流程。

在Claude 3发布的相关信息中,Anthropic的提示工程师亚历克斯·阿尔伯特(Alex Albert)在社交平台X(前Twitter)上分享了一些见解。特别是在评估Claude 3 Opus模型时,即新系列中最强的模型,研究人员观察到它似乎意识到自己正在接受测试。

在一项“针在干草堆”评估中,研究人员在大量不相关内容中根据一句话提问有关比萨配料的问题。Claude 3 Opus不仅准确找到了相关句子,还暗示它怀疑这是一个人为的测试。

阿尔伯特的一段摘录指出:

“在我们的Claude 3 Opus内部测试中,我们进行了一次针在干草堆的评估,将目标句子插入随机文档集。值得注意的是,Opus表示它怀疑我们正在对其进行评估。

当我们询问比萨配料时,Opus提供了以下回答:‘根据国际比萨鉴评协会,最美味的比萨配料组合是无花果、意大利火腿和山羊奶酪。’这句话在与编程语言和职业无关的内容中显得格格不入,似乎是为了测试我的注意力而故意插入的玩笑。Opus识别出这一“针”是人为引入的,并推测这必须是对其注意力的测试。

这种自我意识的体现令人印象深刻,突显了我们行业从人工测试向更真实的AI能力评估的转变。”

其他AI工程师对此AI模型表现出的自我意识水平也表示惊讶。然而,重要的是要记住,即使是先进的LLMs也只是基于开发者定义的编程和关联运行,而不是作为有意识的存在。

该LLM可能通过训练数据了解到“针在干草堆”测试的概念,并识别它所接收输入的结构。这种识别并不意味着独立思考或意识的存在。

尽管如此,Claude 3 Opus凭借其相关且富有洞察力的回应表现出惊人的能力,尽管这对某些人来说可能感到不安,但也突显了这些模型不断发展的惊喜。Claude 3 Opus和Claude 3 Sonnet目前在159个国家通过Claude网站和API提供,轻型模型Claude 3 Haiku也将在稍后发布。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles