新闻资讯

工程案例

当前位置:天深达信息科技 > 新闻资讯 > 公司新闻 >

实现人工智能战略遗忘的三种方法

摘要:人工智能越来越频繁地出现在人们的生活中,但其主要技术进步仍不明朗。。

作者娜塔莉·弗拉托( Natalie Fratto )在《机器不学习:为什么强迫强大是人工智能的关键》一文中描述了实现人工智能战略遗忘的三种方法。

让我们先面对混乱的事情。。 你不记得你把钥匙放在哪里了,你不记得你刚在杂货店遇到的同事的名字了,所以你不得不跌跌撞撞地说话,这让你非常沮丧。。 然而,遗忘是人类生存的核心。。 事实上,我们有能力做到这一点一定很幸运。。

对人类来说,遗忘不仅意味着记忆的丧失,也意味着帮助大脑吸收新知识并做出有效决策的积极过程。。

现在,数据科学家正在应用神经科学原理来改进机器学习技术。 他们认为人脑是完全揭示人工智能的关键。。

根据最近发表在《神经元》杂志上的一篇论文,人们的大脑充当信息过滤器。。 它可以输入大量杂乱的数据,过滤掉有用的数据,然后删除所有不相关的细节,这样人们就可以成功地讲述一个故事或做出一个决定。删除未使用的信息为接收新信息腾出空间的行为就像清理计算机上的磁盘空间一样。

在神经生物学术语中,当神经元之间的联系随着时间的推移而减弱甚至消失时,就会发生健忘症,而随着新神经元的出现,它们会重新连接海马体的回路,并覆盖现有的记忆。

对人类来说,遗忘带来两个好处:

它通过减少过时信息对人们的影响来提高决策的灵活性。

它可以防止人们过度沉浸在过去特定的事件中,提高他们的适应性。

为了有效地适应发展,人们必须具备战略遗忘的能力。

但是电脑呢?

这是人工智能面临的最大挑战之一。计算机的遗忘逻辑不同于人类。深层神经网络是一系列机器学习任务中最完整的技术,但它不会像人们一样忘记。

举个简单的例子,如果你想教一个会说英语的孩子学习西班牙语,他会将学习英语过程中的相关经验应用到学习西班牙语的过程中,可能是名词、动词时态和句子结构,而忽略不相关的部分,如口音、晦涩的单词和语调等。儿童可以基于战略遗忘策略不断学习和重建。

神经网络的逻辑与此不同。如果神经网络被训练来学习英语,它将通过调用参数来解决英语问题。如果你想教它学习西班牙语,那么神经网络的西班牙语知识将覆盖以前为英语学习保留的知识,有效地清空所有内容,从头开始。我们称之为“灾难性遗忘”,这是神经网络面临的基本限制之一。“。”

克服这一局限是一个全新的领域,但是科学家在探索如何克服这一局限的潜在理论方面已经取得了很大进展。

人工智能社会战略遗忘:三种方法

# 1。 长期短期记忆网络

长短期记忆网络是一种递归神经网络。它决定通过特定的学习机制记住哪些信息、更新哪些信息以及注意哪些信息。

用电影类比来解释长期和短期记忆网络的工作的逻辑是非常简单和容易理解的。想象一个场景,在这个场景中,计算机分析前一个场景来预测电影之后会发生什么。在某个场景中,一个女人拿着一把刀,电脑会猜测她是厨师还是杀人犯。? 在另一个场景中,女人和一个男人在金色拱门下吃寿司。他们在日本还是麦当劳 或者你能确定他们在圣。路易斯?

这真的很难预测。

长期和短期记忆网络帮助神经网络实现1 )遗忘/记忆,2。)保存,以及3。)在这个过程中聚焦。

1。 遗忘/记忆:“例如,场景结束后,模型应该忘记当前的位置信息和时间信息,并重置关于场景的任何特定信息。“。然而,如果一个角色在场景中死去,它需要记住这个人不再出现。因此,我们希望该模型能够学习一种独立的遗忘/记忆机制:当新信息出现时,它需要知道哪些信息需要保留,哪些信息需要丢弃。”

2。 保存:当模型看到新图像时,它需要知道图像的信息是否值得使用和保存。如果一个女人在某个场景中走过广告牌,你还记得这个广告牌吗,或者只是认为它是多余的?