The neuronal replicator hypothesis. (English) Zbl 1200.92004
Summary: We propose that replication (with mutation) of patterns of neuronal activity can occur within the brain using known neurophysiological processes. Thereby evolutionary algorithms implemented by neuronal circuits can play a role in cognition. Replication of structured neuronal representations is assumed in several cognitive architectures. Replicators overcome some limitations of selectionist models of neuronal search. Hebbian learning is combined with replication to structure exploration on the basis of associations learned in the past. Neuromodulatory gating of sets of bistable neurons allows patterns of activation to be copied with mutation. If the probability of copying a set is related to the utility of that set, then an evolutionary algorithm can be implemented at rapid timescales in the brain. Populations of neuronal replicators can undertake a more rapid and stable search than can be achieved by serial modification of a single solution. Hebbian learning added to neuronal replication allows a powerful structuring of variability capable of learning the location of a global optimum from multiple previously visited local optima. Replication of solutions can solve the problem of catastrophic forgetting in the stability-plasticity dilemma. In short, neuronal replication is essential to explain several features of flexible cognition. Predictions are made for the experimental validation of the neuronal replicator hypothesis.
MSC:
| 92C20 | Neural biology |
| 65C20 | Probabilistic models, generic numerical methods in probability and statistics |
References:
| [1] | DOI: 10.1016/S0166-2236(96)80018-X · doi:10.1016/S0166-2236(96)80018-X |
| [2] | DOI: 10.1016/j.tins.2004.12.003 · doi:10.1016/j.tins.2004.12.003 |
| [3] | DOI: 10.1006/jtbi.1997.0620 · doi:10.1006/jtbi.1997.0620 |
| [4] | Altenberg L., Advances in genetic programming pp 47– (1994) |
| [5] | Amit D. J., Behav. Brain Res. 18 pp 617– (1995) |
| [6] | DOI: 10.1093/cercor/13.5.435 · doi:10.1093/cercor/13.5.435 |
| [7] | DOI: 10.1093/acprof:oso/9780195324259.001.0001 · doi:10.1093/acprof:oso/9780195324259.001.0001 |
| [8] | DOI: 10.1126/science.273.5283.1868 · doi:10.1126/science.273.5283.1868 |
| [9] | DOI: 10.1109/72.265967 · doi:10.1109/72.265967 |
| [10] | Aunger R., The electric meme: A new theory of how we think (2002) |
| [11] | DOI: 10.1016/S0079-7421(08)60452-1 · doi:10.1016/S0079-7421(08)60452-1 |
| [12] | DOI: 10.1037/h0073185 · doi:10.1037/h0073185 |
| [13] | DOI: 10.1037/h0074600 · doi:10.1037/h0074600 |
| [14] | DOI: 10.1371/journal.pcbi.0030035 · doi:10.1371/journal.pcbi.0030035 |
| [15] | Barto A. G., Models of information processing in the basal ganglia pp 215– (1995) |
| [16] | DOI: 10.1109/TSMC.1983.6313077 · doi:10.1109/TSMC.1983.6313077 |
| [17] | DOI: 10.1002/hipo.20095 · doi:10.1002/hipo.20095 |
| [18] | DOI: 10.1007/978-3-662-04378-3 · doi:10.1007/978-3-662-04378-3 |
| [19] | DOI: 10.1073/pnas.0609476104 · Zbl 1155.37044 · doi:10.1073/pnas.0609476104 |
| [20] | DOI: 10.1126/science.1133687 · doi:10.1126/science.1133687 |
| [21] | Bremermann H. J., The evolution of intelligence: The nervous system as a model of its environment (1958) |
| [22] | DOI: 10.1093/cercor/bhg096 · doi:10.1093/cercor/bhg096 |
| [23] | DOI: 10.1016/j.brainresrev.2008.12.023 · doi:10.1016/j.brainresrev.2008.12.023 |
| [24] | DOI: 10.1006/jtbi.2001.2390 · doi:10.1006/jtbi.2001.2390 |
| [25] | Campbell D. T., Evolutionary epistemology pp 412– (1974) |
| [26] | DOI: 10.1109/2.33 · doi:10.1109/2.33 |
| [27] | DOI: 10.1073/pnas.70.10.2974 · Zbl 0276.92003 · doi:10.1073/pnas.70.10.2974 |
| [28] | DOI: 10.1038/nature03012 · doi:10.1038/nature03012 |
| [29] | DOI: 10.1371/journal.pcbi.1000187 · doi:10.1371/journal.pcbi.1000187 |
| [30] | DOI: 10.1007/978-1-4615-8327-1 · doi:10.1007/978-1-4615-8327-1 |
| [31] | DOI: 10.1017/CBO9780511612848 · doi:10.1017/CBO9780511612848 |
| [32] | DOI: 10.1016/0166-2236(89)90019-2 · doi:10.1016/0166-2236(89)90019-2 |
| [33] | DOI: 10.1016/0166-2236(90)90055-F · doi:10.1016/0166-2236(90)90055-F |
| [34] | Dawkins R., The extended phenotype: The gene as the unit of selection (1982) |
| [35] | DOI: 10.1073/pnas.94.24.13293 · doi:10.1073/pnas.94.24.13293 |
| [36] | DOI: 10.1073/pnas.84.9.2727 · doi:10.1073/pnas.84.9.2727 |
| [37] | DOI: 10.1073/pnas.95.24.14529 · doi:10.1073/pnas.95.24.14529 |
| [38] | Dennett D. C., Brainstorms (1981) |
| [39] | Dennett D. C., Darwin’s dangerous idea (1995) |
| [40] | DOI: 10.1007/BF00201428 · Zbl 0828.92003 · doi:10.1007/BF00201428 |
| [41] | DOI: 10.1162/089976602753712972 · Zbl 0997.93037 · doi:10.1162/089976602753712972 |
| [42] | DOI: 10.1016/j.neuroscience.2005.06.094 · doi:10.1016/j.neuroscience.2005.06.094 |
| [43] | Edelman G. M., Neural Darwinism: The theory of neuronal group selection (1987) |
| [44] | Edelman G. M., Genetics 138 pp 975– (1994) |
| [45] | DOI: 10.1007/BF00623322 · doi:10.1007/BF00623322 |
| [46] | Elfwing S., Embodied evolution of learning ability (2007) |
| [47] | DOI: 10.1016/0364-0213(90)90002-E · doi:10.1016/0364-0213(90)90002-E |
| [48] | DOI: 10.1371/journal.pone.0003775 · doi:10.1371/journal.pone.0003775 |
| [49] | Fernando C., Towards an extended evolutionary synthesis (2009) |
| [50] | DOI: 10.1007/978-3-642-03129-8_20 · doi:10.1007/978-3-642-03129-8_20 |
| [51] | Fogel D. B., Evolutionary computation: Toward a new Philosophy of machine intelligence (2006) · Zbl 0926.68052 |
| [52] | DOI: 10.1073/pnas.0604187103 · doi:10.1073/pnas.0604187103 |
| [53] | DOI: 10.1016/j.neuron.2006.01.036 · doi:10.1016/j.neuron.2006.01.036 |
| [54] | Fraser A. S., Australian J. Biological Sciences 10 pp 484– (1957) · doi:10.1071/BI9570484 |
| [55] | DOI: 10.1007/s11229-007-9237-y · doi:10.1007/s11229-007-9237-y |
| [56] | DOI: 10.1002/j.2162-6057.2005.tb01261.x · doi:10.1002/j.2162-6057.2005.tb01261.x |
| [57] | DOI: 10.1093/acprof:oso/9780198507260.001.0001 · doi:10.1093/acprof:oso/9780198507260.001.0001 |
| [58] | DOI: 10.1093/cercor/bhg095 · doi:10.1093/cercor/bhg095 |
| [59] | Gomez F., Journal of Machine Learning Research 9 pp 937– (2008) |
| [60] | Hadamard J., The psychology of invention in the mathematical field (1945) · Zbl 0063.01843 |
| [61] | DOI: 10.1038/nature07487 · doi:10.1038/nature07487 |
| [62] | Hofstadter D. R., Advances in connectionist and neural computation 2 pp 31– (1994) |
| [63] | DOI: 10.1371/journal.pcbi.0020023 · doi:10.1371/journal.pcbi.0020023 |
| [64] | DOI: 10.1038/nrn2699 · doi:10.1038/nrn2699 |
| [65] | Houk J. C., Models of information processing in the basal ganglia (1995) |
| [66] | DOI: 10.1098/rstb.2007.2063 · doi:10.1098/rstb.2007.2063 |
| [67] | Hutter M., Universal artificial intelligence: Sequential decisions based on algorithmic probability (2005) · Zbl 1099.68082 · doi:10.1007/b138233 |
| [68] | DOI: 10.1109/TNN.2003.820440 · doi:10.1109/TNN.2003.820440 |
| [69] | DOI: 10.1162/089976606775093882 · Zbl 1090.92006 · doi:10.1162/089976606775093882 |
| [70] | Izhikevich E. M., Dynamical systems in neuroscience: The geometry of excitability and bursting (2007) |
| [71] | DOI: 10.1093/cercor/bhl152 · doi:10.1093/cercor/bhl152 |
| [72] | DOI: 10.1093/cercor/bhh053 · doi:10.1093/cercor/bhh053 |
| [73] | DOI: 10.1162/neco.1991.3.1.79 · doi:10.1162/neco.1991.3.1.79 |
| [74] | DOI: 10.1037/11059-000 · doi:10.1037/11059-000 |
| [75] | DOI: 10.1111/j.1558-5646.2007.00071.x · doi:10.1111/j.1558-5646.2007.00071.x |
| [76] | Kaelbling L. P., Journal of Artificial Intelligence Research 4 pp 237– (1996) |
| [77] | DOI: 10.1016/S0893-6080(02)00048-5 · doi:10.1016/S0893-6080(02)00048-5 |
| [78] | DOI: 10.1073/pnas.0503610102 · doi:10.1073/pnas.0503610102 |
| [79] | DOI: 10.1073/pnas.0802631105 · doi:10.1073/pnas.0802631105 |
| [80] | DOI: 10.1038/nature02078 · doi:10.1038/nature02078 |
| [81] | DOI: 10.1073/pnas.95.15.8420 · doi:10.1073/pnas.95.15.8420 |
| [82] | Kirchner M., The plausibility of life (2005) |
| [83] | Kohler W., The mentality of apes (1925) |
| [84] | DOI: 10.1016/j.robot.2003.11.006 · doi:10.1016/j.robot.2003.11.006 |
| [85] | DOI: 10.1038/23245 · doi:10.1038/23245 |
| [86] | DOI: 10.1038/nn1109 · doi:10.1038/nn1109 |
| [87] | Mahfoud S., Niching methods for genetic algorithms (1995) |
| [88] | Marcus G. F., The algebraic mind: Integrating connectionism and cognitive science (2001) |
| [89] | Marr D., Vision: A computational investigation into the human representation and processing of visual information (1983) |
| [90] | Maynard Smith J., The problems of biology (1986) |
| [91] | Maynard Smith J., Evolutionary genetics (1998) |
| [92] | DOI: 10.1126/science.1104171 · doi:10.1126/science.1104171 |
| [93] | DOI: 10.1007/978-3-662-07807-5 · doi:10.1007/978-3-662-07807-5 |
| [94] | Michel O., Journal of Advanced Robotics Systems 1 pp 39– (2004) |
| [95] | Minsky M., The society of mind (1986) |
| [96] | DOI: 10.1126/science.1150769 · doi:10.1126/science.1150769 |
| [97] | Monod J., Chance and necessity: An essay on the natural philosophy of modern biology (1971) |
| [98] | DOI: 10.1016/S0921-8890(01)00113-0 · Zbl 1014.68179 · doi:10.1016/S0921-8890(01)00113-0 |
| [99] | DOI: 10.1086/282445 · doi:10.1086/282445 |
| [100] | DOI: 10.1002/1098-1063(2000)10:4<352::AID-HIPO2>3.0.CO;2-D · doi:10.1002/1098-1063(2000)10:4<352::AID-HIPO2>3.0.CO;2-D |
| [101] | DOI: 10.1016/j.jmp.2008.12.005 · Zbl 1176.91139 · doi:10.1016/j.jmp.2008.12.005 |
| [102] | Niv Y., Adaptive Behavior 10 (5) (2002) |
| [103] | DOI: 10.1007/BF00275687 · Zbl 0488.92012 · doi:10.1007/BF00275687 |
| [104] | O’Reilly R. C., Computational explorations in cognitive neuroscience: Understanding the mind by simulating the brain (2000) |
| [105] | DOI: 10.1109/TEVC.2006.890271 · doi:10.1109/TEVC.2006.890271 |
| [106] | DOI: 10.1371/journal.pcbi.1000206 · doi:10.1371/journal.pcbi.1000206 |
| [107] | DOI: 10.1016/0165-0173(95)00014-3 · doi:10.1016/0165-0173(95)00014-3 |
| [108] | DOI: 10.1038/nrg2278 · doi:10.1038/nrg2278 |
| [109] | DOI: 10.1016/S0896-6273(01)00252-5 · doi:10.1016/S0896-6273(01)00252-5 |
| [110] | DOI: 10.1038/227520a0 · doi:10.1038/227520a0 |
| [111] | DOI: 10.1126/science. 1134405 · doi:10.1126/science. 1134405 |
| [112] | DOI: 10.1146/annurev.neuro.29.051605.112819 · doi:10.1146/annurev.neuro.29.051605.112819 |
| [113] | Rechenberg I., Evolutionstrategie 94 (1994) |
| [114] | DOI: 10.1016/S0166-2236(98)01373-3 · doi:10.1016/S0166-2236(98)01373-3 |
| [115] | DOI: 10.1016/S0893-6080(99)00055-6 · doi:10.1016/S0893-6080(99)00055-6 |
| [116] | DOI: 10.1126/science.1115270 · doi:10.1126/science.1115270 |
| [117] | DOI: 10.1109/IJCNN.1991.170605 · doi:10.1109/IJCNN.1991.170605 |
| [118] | DOI: 10.1142/9789812817471_0003 · doi:10.1142/9789812817471_0003 |
| [119] | DOI: 10.1109/IECON.2000.972474 · doi:10.1109/IECON.2000.972474 |
| [120] | DOI: 10.1080/09540090600768658 · doi:10.1080/09540090600768658 |
| [121] | DOI: 10.1007/s12559-009-9014-y · doi:10.1007/s12559-009-9014-y |
| [122] | Schmidhuber J., Proceedings of the 19th International Joint Conference on Artificial Intelligence pp 853– (2005) |
| [123] | Schmidhuber J., Learning to learn (1997) |
| [124] | DOI: 10.1023/A:1007383707642 · doi:10.1023/A:1007383707642 |
| [125] | Schultz W., J. Neurophysiol 80 pp 1– (1998) |
| [126] | DOI: 10.1126/science.275.5306.1593 · doi:10.1126/science.275.5306.1593 |
| [127] | DOI: 10.1887/0750306645/b877c3 · doi:10.1887/0750306645/b877c3 |
| [128] | DOI: 10.1016/S0896-6273(03)00761-X · doi:10.1016/S0896-6273(03)00761-X |
| [129] | Simonton D. K., The nature of insight (1995) |
| [130] | Skinner B. F., About behaviourism (1976) |
| [131] | DOI: 10.1109/CEC.2007.4424781 · doi:10.1109/CEC.2007.4424781 |
| [132] | DOI: 10.2307/1131321 · doi:10.2307/1131321 |
| [133] | Stanley K. O., Proceedings of the Genetic and Evolutionary Computation Conference (2002) |
| [134] | DOI: 10.1007/11880172_16 · doi:10.1007/11880172_16 |
| [135] | Sternberg R. J., The nature of insight (1995) |
| [136] | DOI: 10.1016/S0306-4522(98)00697-6 · doi:10.1016/S0306-4522(98)00697-6 |
| [137] | Sutton S. R., Reinforcement learning: An introduction (1998) |
| [138] | DOI: 10.1006/jtbi.1996.0389 · doi:10.1006/jtbi.1996.0389 |
| [139] | Szinta I., Journal of Artificial Intelligence Research 30 pp 659– (2007) |
| [140] | DOI: 10.5962/bhl.title.55072 · doi:10.5962/bhl.title.55072 |
| [141] | DOI: 10.1093/cercor/2.4.310 · doi:10.1093/cercor/2.4.310 |
| [142] | DOI: 10.1126/science.286.5446.1943 · doi:10.1126/science.286.5446.1943 |
| [143] | DOI: 10.1016/S0893-6080(02)00072-2 · doi:10.1016/S0893-6080(02)00072-2 |
| [144] | Wagner G. P., Evolution 50 pp 329– (1996) · Zbl 0849.92015 · doi:10.1111/j.1558-5646.1996.tb02341.x |
| [145] | DOI: 10.1038/nature02223 · doi:10.1038/nature02223 |
| [146] | DOI: 10.1016/0096-3003(93)90007-2 · Zbl 0772.65015 · doi:10.1016/0096-3003(93)90007-2 |
| [147] | Wang X.-J., Journal of Neuroscience 19 (21) pp 9587– (1999) |
| [148] | DOI: 10.1016/S0166-2236(00)01868-3 · doi:10.1016/S0166-2236(00)01868-3 |
| [149] | Watson R. A., Compositional evolution: The impact of sex, symbiosis, and modularity on the gradualist framework of evolution (2006) |
| [150] | DOI: 10.1007/BFb0056853 · doi:10.1007/BFb0056853 |
| [151] | DOI: 10.1177/1059712306076253 · doi:10.1177/1059712306076253 |
| [152] | DOI: 10.1177/105971239700600202 · doi:10.1177/105971239700600202 |
| [153] | DOI: 10.1007/978-3-540-74690-4_71 · doi:10.1007/978-3-540-74690-4_71 |
| [154] | DOI: 10.1002/hipo.20167 · doi:10.1002/hipo.20167 |
| [155] | DOI: 10.1162/0899766053011555 · doi:10.1162/0899766053011555 |
| [156] | DOI: 10.1186/1741-7007-8-21 · doi:10.1186/1741-7007-8-21 |
| [157] | Zipser D., Journal of Neuroscience 13 pp 3406– (1993) |
This reference list is based on information provided by the publisher or from digital mathematics libraries. Its items are heuristically matched to zbMATH identifiers and may contain data conversion errors. In some cases that data have been complemented/enhanced by data from zbMATH Open. This attempts to reflect the references listed in the original paper as accurately as possible without claiming completeness or a perfect matching.
