zoukankan      html  css  js  c++  java
  • A neural algorithm for a fundamental computing problem

    郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布!

    science, no. 6364 (2017): 793-796

    Abstract

      相似性搜索(例如,识别数据库中的相似图像或网站上的相似文档)是大规模信息检索系统面临的基本计算问题。我们发现,果蝇嗅觉回路通过计算机科学算法的变体(被称为位置敏感哈希)解决了该问题。果蝇回路将相似的神经活动模式分配给相似的气味,因此当经历相似的气味时,可以应用从一种气味中学到的行为。然而,果蝇算法使用了三种不同于传统方法的计算策略。可以转换这些策略以提高计算相似性搜索的性能。这种观点有助于阐明支持重要感觉功能的逻辑,并为解决基本计算问题提供了概念上新的算法。

      许多神经回路的基本任务是响应输入刺激而生成神经活动模式,以便可以专门识别不同的输入。我们研究了果蝇嗅觉系统中用于处理气味的回路,并发现了解决基本机器学习问题的计算策略:近似相似性(或最近邻搜索)。
      果蝇的嗅觉回路会为每种气味生成一个"标签",这是一组神经元,当出现这种气味时会激发该神经元(1)。该标签对于学习行为对不同气味的反应至关重要(2)。例如,如果奖励(例如糖水)或惩罚(例如电击)与气味相关联,则该气味分别会变得有吸引力(果蝇会接近气味)或排斥(果蝇会避免气味)。分配给气味的标签稀疏——仅一小部分接收气味信息的神经元对每种气味做出响应(3-5),并且不重叠:两种随机选择的气味的标签共享的活动神经元很少(如果有的话),因此不同气味很容易区分(1)。

      气味标签是通过三步过程计算的(图1A)。第一步涉及从蝇鼻中的气味受体神经元(ORN)到肾小球结构中的投射神经元(PN)前馈连接。有50种ORN类型,每种类型对不同的气味具有不同的敏感性和选择性。因此,每种输入气味在由50个ORN发放率确定的50维空间中都有一个位置。对于每种气味,在50种ORN类型中,ORN发放率的分布呈指数分布,其均值取决于气味的浓度(6, 7)。对于PN,消除了这种浓度依赖性(7, 8);也就是说,在50种PN类型中,发放率的分布呈指数分布,所有气味和所有气味浓度的均值均接近相同(1)。因此,回路中的第一步实质上是使用称为除法归一化(8)的技术"将均值居中"(许多计算流水线中的标准预处理步骤)。此步骤很重要,这样果蝇才不会将气味强度与气味类型混淆。

      第二步,主要的算法研究开始于此,涉及神经元数量的40倍扩展:五十个PN投射到2000个Kenyon细胞(KC),由稀疏的二值随机连接矩阵连接(9)。每个KC接收并求和来自大约六个随机选择的PN的发放率(9)。第三步涉及一个赢家通吃(WTA)回路,其中强大的抑制反馈来自称为APL(前对侧向神经元)的单个抑制神经元。作为结果,除最高发放的5%的KC外,其他所有KC均被沉默(1, 3, 4)。这些剩余5%的发放率与分配给输入气味的标签相对应。

      从计算机科学的角度来看,我们将果蝇回路视为一个哈希函数,其输入是一种气味,其输出是该气味的标签(被称为哈希)。尽管标签应区分气味,但将非常相似的气味与相似标签关联起来对果蝇也是有利的(图1B),这样,当气味非常相似或带噪版本很大时,可以应用针对一种气味而习得的条件响应。学到的气味是有经验的。这使我们推测果蝇回路会产生对位置敏感的标签;也就是说,一对气味越相似(由该气味的50个ORN发放率定义),它们分配的标签就越相似。局部敏感哈希[LSH (10, 11)]函数是解决计算机科学中众多相似性搜索问题的基础。我们翻译了果蝇回路的见解,以开发一类LSH算法,以有效地找到高维点的近似最近邻。

      想象一下,为您提供了大象的图像,并试图从网络上数十亿幅图像中找到与大象图像最相似的100张图像。这被称为最邻近搜索问题,它在信息检索,数据压缩和机器学习中具有根本的重要性(10)。每个图像通常表示为特征值的d维向量。(果蝇在过程中产生的每个气味都是发放率的50维特征向量。)距离度量用于计算两个图像(特征向量)之间的相似度,目标是有效地找到任何查询图像的最近邻。如果网络仅包含少量图像,则可以轻松地使用蛮力线性搜索来找到确切的最近邻。如果网络包含许多图像,但是每个图像都由一个低维向量(例如10或20个特征)表示,则空间划分方法(12)同样可以满足要求。但是,对于具有高维数据的大型数据库,这两种方法都无法扩展(11)。

      在许多应用程序中,只要可以快速找到它们,就返回与查询"足够近"的一组最接近的邻居是足够的。这激发了一种通过LSH (10)查找近似最近邻的方法。对于果蝇,如前所述,对位置敏感的属性指出,产生相似ORN响应的两种气味将由本身相似的两个标签表示(图1B)。类似地,对于图像搜索,比起摩天大楼图像的标签,大象图像的标签将与另一幅大象图像的标签更类似。

  • 相关阅读:
    Maximum Flow Exhaustion of Paths Algorithm
    ubuntu下安装java环境
    visualbox使用(二)
    vxworks一个超级奇怪的错误(parse error before `char')
    February 4th, 2018 Week 6th Sunday
    February 3rd, 2018 Week 5th Saturday
    February 2nd, 2018 Week 5th Friday
    February 1st, 2018 Week 5th Thursday
    January 31st, 2018 Week 05th Wednesday
    January 30th, 2018 Week 05th Tuesday
  • 原文地址:https://www.cnblogs.com/lucifer1997/p/14623899.html
Copyright © 2011-2022 走看看