Российский проект "ИКС"

17 декабря 2013 г. в Москве запущен новый суперкомпьютер "Т-Нано", который будет использоваться для размещения программно-реализованных моделей искусственной коры мозга в рамках проектов тюменского Центра прорывных ИТ-исследований "Искусственные когнитивные системы". Пиковая производительность кластера "Т-Нано" производства российской компании "Т-Платформы" составила 220 терафлопс. Суперкомпьютер займет 7 место в списке самых мощных российских суперкомпьютеров и войдет в список 500 самых мощных суперкомпьютеров мира. Запуск кластера состоялся в рамках открытия нанотехнологического центра "Т-Нано". В мероприятии приняли участие Генеральный директор Фонда инфраструктурных и образовательных программ Андрей Свинаренко, Генеральный директор ОАО "Т-Платформы" Всеволод Опанасенко, Генеральный директор нанотехнологического центра "Т-Нано" Андрей Евдокимов, Генеральный директор ООО "ТАСО" Вадим Филиппов. Кроме суперкомпьютера "Т-Нано", созданные нейрогенетические искусственные когнитивные системы будут размещаться на суперкомпьютере "Менделеев" Тюменского государственного университета (11 терафлопс), также построенном компанией "Т-Платформы". Разработка систем ведется на кластере ООО "ТАСО".

На снимках:
1. Суперкомпьютер "Т-Нано".
2. Суперкомпьютер "Менделеев".

@ Сообщение от AlexKl 

"Суперкомпьютер - это замечательно! Вот запускать-то, что на нем будете? Не иначе как "Программный комплекс "ТАСО-НЕЙРОКОНСТРУКТОР"". Других программых продуктов найти на вашем сайте не удалось. Кстати, интересно было бы узнать чем он отличается, в плане реализованных алгоритмов, от других нейронных симуляторов, на пример от реализованного в MATLAB или Штутгардского симулятора (вообще десятки их)?"

Очень хороший вопрос, ибо он относится к сути возможности успеха: наличие удовлетворительной программной среды разработки биоморфных развивающихся сверхбольших нейросетей является важнейшим условием успеха любого проекта по созданию искусственных когнитивных систем.
Действительно, сегодня на рынке представлены сотни нейральных симуляторов самого разного уровня исполнения и возможностей. В сети представлено множество их компаративных обзоров, например: 

http://grey.colorado.edu/emergent/in...ork_Simulators

http://www.google.ru/url?sa=t&rct=j&...58187178,d.bGE

http://en.wikipedia.org/wiki/Neural_network_software

Большинство из них поддерживает лишь ограниченное число возможных для построения стандартных архитектур классических нейросетей и методов при очень небольшом числе (менее тысячи) нейронов, которые можно включить в сеть. К таким, довольно слабым, инструментам относятся и упомянутые Вами Neural Network Toolbox MATLAB и SNNS. Подобные средства вполне хороши для решения задач анализа временных рядов или прямого персептронного распознавания для моделирования небольших зрительных полей, но совершенно не годятся для построения нейроморфных когнитивных систем, способных к обработке данных размерности реального мира.

В то же время есть и пакеты, в которых можно строить большие нейросети. Например, пакет NEST (NEural Simulation Tool), представляющий из себя среду для моделирования больших гетерогенных сетях точечных нейронов или нейронов с небольшим количеством отсеков. NEST фокусируется на динамике, размерах и структуре нейронных систем, а не на точном представлении морфологии отдельных нейронов. Поэтому NEST подходит для моделирования спайковых сетей любого размера и построения моделей обработки информации ( например, в визуальной или слуховой коре, моделирования ламинарных кортикальных сетей, моделирования синаптической пластичности и обучения . Используя пакет NEST и суперкомпьютер K исследователи из института RIKEN летом 2013 г. построили искусственную сеть из 1.73 млрд. нейронов и 10.4 триллионов синапсов 

http://www.riken.jp/en/pr/press/2013/20130802_1

Пакет NEST, наряду с программными комплексами Neuron и STEPS является одним из трех основных пакетов, используемых уже сегодня для построения Brain Simulation Platform создаваемой в рамках Human Brain Project (Neuron и STEPS в большей мере есть пакеты портретного моделирования нейронов, нежели построения больших сетей для нейрональных вычислений). 

Но и возможности этого пакета все же ограничены как по числу синапсов в секунду на доступную память, так и по функционалу моделей. Именно поэтому в рамках первой фазы HBP, которая продлится с октября 2013 по март 2016 в качестве одной из важнейших задач предусмотрено создание программной среды, способной обеспечить процедуры создания и алгоритмы будущих моделей мозга, а также расширение возможностей существующих нейросимуляторов для поддержки очень больших нейросетей, в том числе моделей всего мозга. В качестве задач для разработки софта также указаны необходимость реализации диффузного распространения сигналов, моделирования биохимических процессов внутри отдельных клеток, прогнозирования кинетики и молекулярных взаимодействий.

На мой взгляд, идеальный нейропакет для биоморфного моделирования сигнальных процессов и построения ИКС должен позволять: (1) строить сети с максимально возможным числом нейронов на каждый узел кластера (как минимум, это сотни миллионов синапсов на узел); (2) обеспечивать высокую скорость кортикальных вычислений, так как обработка даже простого предложения от входа до выхода ассоциативной реакции составляет по кратчайшему пути тысячи синапсов (как минимум, скорость обработки пакетом должна составлять несколько миллионов синапсов в секунду на Ггц тактовой частоты доступных процессоров); (3) обеспечивать создание сотен типов произвольных биоморфных моделей нейронов, в т.ч. с многофазным формированием следа (от ионного переноса до структурной перестройки); (4) обеспечивать ростовые процессы и развитие создаваемых нейросистем (ибо вручную сети из миллиардов нейронов создать невозможно, даже путем копирования, так как их структура нерегулярна); (5) обеспечивать эффективные интерфейсы ввода-вывода основных типов сенсорной информации и моторных реакций (т.е. конструкцию зрительных полей, ввода звука, телеметрии, вывода движений и т.д. - при том, что требования промышленности сегодня в ряде случаев - это микросекунды); (6) обеспечивать облачный доступ исследователей и разработчиков к ресурсам суперкомпьютера (например, для ввода отраслевого стандарта представления результатов нейробиологических исследований коннектома, а равно для технических разработок).

Именно эти задачи и позволяет решать наш программный комплекс - "ТАСО Нейроконструктор" и идущая ему сегодня на смену IDE AI (последовательно создаются версии Parallel IDE AI NeuroStandard, NeuroSensorics, NeuroGenomics , NeuroCloud и др.). 

@ Сообщение от kak 

"Для Vadim:
По-видимому, Ваш "переход к новой архитектурной парадигме - ассоциативным искусственным когнитивным системам…" предполагает в основе топологические отношения между "нейронами". Из нейрофизиологических исследований известно, что в обучение играет не последнюю роль миелинизация нейрональных отросков между нейронами, что приводит к изменению скорости проведения между ними. Учитываете ли или собираетесь учитывать этот факт в своих построениях "ИКС"?"

 

 

@ Сообщение от MichailKarasiov 

"Вообще, я радуюсь, что в науку начали вкладывать деньги. Ученым только предстоит научиться правильно этим пользоваться.

Моделирование очень важно и очень интересно, но задачи, которые вы перед собой поставили, не решаются моделированием нейросети. Даже с машиной, которую использовали IBM для создания Вотсона, даже вместе со всеми вашими...

Если бы речь шла просто о моделировании нейросети ради эксперимента, то это хорошее подспорье, но решить те задачи в обозримом будущем с вашим железом и вашим подходом (моделирование умной нейросети) - фантастика. По вашему, почему тот же Гугл, лого которого вы использовали в презентации, отказался от подобной затеи? Может потому что такой подход не оправдает себя? Даже если вам удастся смоделировать человеческий мозг, который будет обучаться, при этом 1 секунда жизни этого мозга будет равна 1 секунде работы реального мозга (фантастика конечно), то вам потребуется годы чтобы его обучить (с кластером, вы разоритесь оплачивать счета за свет, 200 квт/ч это 1 753 164 квт/ч в год, на Украине это около 1,5 млн грн. в год, и это только за электроэнергию потребляемую этим "мозгом"). И не факт. что в результате цели будут достигнуты, придется либо менять подход, либо цели... а т.к. подход изменить слишком дорого, проще будет все свернуть и объявить что большинство результатов были достигнуты, куча дипломных и статей, куча новых докторов и кандидатов и т.д.

И можно подумать, что мозг так хорошо изучен, что достаточно его смоделировать и он будет работать как настоящий... или вы просто создадите большой персептрон?

Вот вы упомянули топологию... что такое топология? или вы это себе представляете, как мозг, который запихнули в компьютер со всеми его проблемами и изъянами, эволюционно необходимыми лишениями... Или моделироваться будут только изученные вещи, такие как зрительная кора кошки?"

1. Деньги начали обещать давать. В ранее прошедших конкурсах, типа 42 победителя на 700 заявок по 220-му постановлению - явно их дают недостаточно.

2. Постом выше я попытался показать, что в нашем проекте главным методом является техническое проектирование нейросетевых архитектур, а не биологическое моделирование. Хотя оно тоже важно и используется - на самом деле сегодня уже очень и очень многое о работе разных участков мозга (естественно, далеко не все) становится известным, не только стриарной коры. Взгляните, в качестве обзора, хотя бы на оксфордский Handbook of Brain Microcircuits, да много всего публикуется, главное, конечно, статьи по локальной коннектомике.

3. ИБМ для ватсона пока не очень мощные машины использует. Watson представляет собой программный комплекс, который работает на кластере из 10 стоек по 9 стандартных серверов IBM Power 750 на базе процессоров POWER7 и обеспечивает обработку естественной речи, поиск информации, моделирует рассуждения и реализует технологии машинного обучения для ответов на вопросы. Watson не является нейросетевой системой в чистом виде, но использует некоторые нейросетевые принципы кортикальной обработки (не сети, эти принципы реализованы обычными программными алгоритмами, поэтому приходится прогнозировать пределы пути Ватсона). Так, один из компонентов оценки правильности ответа определяется количеством общих слов между вопросом и предложением-гипотезой. Другой компонент основан на вычислении длины наибольшей общей последовательности между ними. Третий компонент оценки измеряет соответствие между логическими формами вопроса и найденного предложения, анализируя представление текста в виде графа, где узлы - это слова, а ребра - грамматические или семантические отношения между ними. Также учитывается контекст (принадлежность объекта к классу). В процессе обучения подбираются веса между компонентами окончательной оценки так, чтобы максимизировать число правильных ответов на тестовом наборе вопросов.

4. :) Гугл, сволочь, от подобной затеи не отказывался. Для них сейчас сложные нейросети - главный тренд. Посмотрите вот хотя бы:
http://en.wikipedia.org/wiki/Geoffrey_Hinton
http://www.cs.toronto.edu/~hinton/papers.html
http://habrahabr.ru/post/183380/
http://habrahabr.ru/post/160115/

5. Возможности параллельного программного комплекса и суперкомпьютеров очень важны, здесь Вы правы, но потихоньку решаются проблемы.

6. Программы обучения для созданной сетевой архитектуры ИКС понадобятся большие и долгие. Здесь Вы опять в точку. Машинные университеты. Машинная специализация. Будут. Их (ИКС) даже придется убеждать и воспитывать, так как будут подсистемы машинной субъективности. Мы даже термин в шутку заранее придумали - "машиногогика". Но это чуть позже, не сейчас пока, пока еще не в повестке.

7. Топология у меня синоним сетевой архитектуры, коннектома сети.Да, Вы абсолютно правы, переход к архитектуре искусственных когнитивных систем предполагает именно разработку и развитие сетевой топологии.

При этом, если касаться вопроса отличия создаваемых топологий от "классических" компьютерных архитектур, а равно от "классических" нейросетевых архитектур более детально, чем в вышеприведенном моем ответе на пост Близнеца, то в первую очередь я бы выделил два момента.

1. Как известно, классическая компьютерная архитектура с разделенными процессором и памятью (так называемая "фон-неймановская", хотя по справедливости ее следовало бы называть архитектурой Маучли-Эккерта) имеет одно существенное "узкое место", а именно использование одной системной шины для обмена и данными и программными командами между памятью и процессором. Пропускная способность шины ниже, чем возможности процессора по обработке данных, а кроме того в каждый момент времени процессор может получать либо команды, либо данные при их совместном хранении в памяти. При этом прирост быстродействия по мере развития процессоров и памяти идет гораздо быстрее, чем прирост скорости передачи данных по шине (в силу линейных размеров и свойств проводника). Поэтому, чем новее процессор и память, тем серьезнее становится проблема "узкого места" классической архитектуры. 

Методами некоторого решения проблемы "узкого места" являются: (1) использование нескольких шин передачи данных (как, например в гарвардской архитектуре и гибридной CISC-архитектуре); (2) использование множества процессоров (параллельные архитектуры SIMD и MIMD, мультикластерные объединения) или ядер (начиная с Power PC), а также программно-реализованная многозадачность и многопоточность; (3) наращивание объема кэш-памяти; (4) увеличение параллелизма инструкций (архитектура EPIC); (5) упрощение команд (RISC) или компрессия нескольких команд в общую связку (MISC). В то же время, все эти решения являются паллиативными, так как количество экземпляров команд и данных заведомо превышает количество шин или процессоров/ядер/программ/потоков и весь вопрос лишь в том, насколько большая очередь из обрабатываемых команд и данных возникнет между памятью и процессорами. Кроме того, все эти системы дороги, имеют ошибки из-за повышенной сложности и более трудны для программирования. 

Идеальной системой обработки данных была бы та система, в которой количество единиц данных хотя бы примерно соответствовало количеству процессоров для их обработки. Именно такой идеальной системой является мозг. Модифицированные в результате обучения нейроны хранят данные в виде синтезированных и воспроизводимых переменных рецепторов постсинаптических мембран и увеличения пресинаптического выброса. В то же время нейроны являются процессорами по обработке этих данных при обращении к ним по индивидуальным афферентным связям, обеспечивая запись данных (синтез рецепторов), активацию данных (достижение ПСП аксонного холмика - "превышение порога"), системную реконсолидацию данных (добавление на входы новых потенцированных связей при включении соответствующего молекулярного или внешнего пермиттера), стирание данных (через торможение неправильного и постепенный распад рецепторов), фильтрацию существенного (путем миграции следа) и мн. др. функции обработки данных. Поэтому мозг, при низкой скорости своих глобальных тактов, обеспечивает высокую скорость обработки больших данных. Данные хранятся в афферентно-инвариантных нейронах в виде отдельных качеств объектов, см. об этом, например: Larkum M. A cellular mechanism for cortical associations: an organizing principle for the cerebral cortex http://larkum.hu-berlin.de/research/larkum_tins_2013 Процедурные нейроны также хранят данные - о комбинации условий.

Кстати, делу повышения эффективности классической архитектуры могла бы помочь оптическая шина, старанием Intel образцы таких шин созданы, но и при этом скорость сетевой структуры при определенном числе элементов будет выше, чем скорость линейной, пусть и оптической шины. Каждый может прикинуть, что около 3 млрд. близкорасположенных искусственных нейронов на медном соединении будут обрабатывать информацию быстрее, чем 10 сантиметровая оптическая шина. Так что мысль может быть буквально - "быстрее" света :)

Попытки заимствовать способности мозга не прекращались в вычислительной технике никогда: от MCP нейрона (1943 г.) и основанных на нем классических нейросетей, реализуемых программно, до аппаратных архитектур типа ZISC и идеи использовать мемристоры в наши дни (последний путь очень похож на тот, который приведет к решению проблемы "узкого места"). 

Таким образом, условие объединения памяти и процессора в одном логическом элементе сети является первым необходимым условием создания когнитивных систем, способных к обработке огромных объемов данных в условиях реальных мира/времени. Но является ли это условие единственным или хотя бы основным ключом к созданию умных искусственных систем? Конечно, нет.

2. "Когнитивность" как способность к познанию и разумному поведению возникает как функция очень сложных и чрезвычайно разнообразных локальных нейросхем и интегральных нейросетевых архитектур. Для обработки данных реального мира эти сети должны быть также чрезвычайно большими, хотя можно продемонстрировать решение отдельных когнитивных задач на небольших объемах данных, как выше запрашивает Сергей Ш. Но необходимость сложных специализированных нейроархитектур для обеспечения различных привычных для человека форм обработки сигналов, таких как восприятие, фильтрация, синхронизация, предобработка, запись, хранение, постобработка, трансформация, миграция и вывод сигналов - это обязательное условие создания по-настоящему умных искусственных систем. 

Действительно, строго говоря, на основе классической компьютерной программно-аппаратной архитектуры мы можем получить и ассоциацию (вызов в памяти одним набором данных другого набора данных), и обучение (модификацию связей между объектами данных), и даже синтез знаний (например, с помощью команд на измерение чего-либо). Есть программно-реализованная ассоциативная память на "классических" нейросетях", есть даже аппаратно-реализованная ассоциативная память на традиционных полупроводниках производства IBM, Integrated Device, Technology, Netlogic и др.

Но все же сегодня ни один компьютер и ни одна программа не могут пройти без натяжек долгий по времени тест Тьюринга, т.е. поддерживать продолжительный разумный диалог с человеком. Не могут прочесть книгу, понять ее содержание и ответить на вопросы по ней. Не могут поместить новые знания в контекст. Не могут решить задачи из учебника математики 3-го класса школы. Не могут понимать закамуфлированные смыслы. Не могут иметь собственную точку зрения. Не могут мыслить визуально и пространственно. Да и вообще, не могут мыслить (сразу замечу, чтобы не спорить о сущности определения, что мышление - это реализация тысяч разных алгоритмов, и определять качество мышления можно в форме спецификации, а не определения).

Почему компьютеры и программы всего этого не могут? Потому, что еще нет достаточно сложных сетей, синхронизированная обработка данных в которых решала бы эти задачи.

По всей видимости, ламинарная модульная иерархическая организация в форме коры с большим числом управляющих специализированных ядер - естественная, если не единственно возможная форма организации таких способных к "когнитивности" сетей. Основным элементом коры является комплекс пирамидальных и окружающих пирамиды кортикальных нейронов. При этом неокортекс демонстрирует вариации своей организации как по вертикали, так и в горизонтальном направлении. В вертикальном направлении кора разделена на слои и подслои при значительных вариациях в их организации в зависимости от вида организма и области коры головного мозга. Кроме того, в коре (кортикальной колонке) четко выделяются разные функциональные модули для реализации различных режимов обработки данных (см. об этом например: Thomson А.М., Lamy С. Functional maps of neocortical local circuitry http://www.frontiersin.org/Journal/1....002.2007/full). В горизонтальном направлении вдоль поверхности коры нейроны могут быть организованы в различные периодические группы синаптически ассоциированных клеток, которые имеют общий вход проекций из определенной части мозга. Для определенной кортикальной области распределение, плотность и степень арборизации большинства различных афферентных систем не обязаны быть однородными. 

Чтобы создать искусственные когнитивные системы есть только два пути: либо понять и воспроизвести нейрональную организацию живого мозга, либо построить ламинарную кортикоморфную сеть, исходя из соображений о необходимой её архитектуре для решения конкретных когнитивных задач. Есть также и комбинация этих методов.

Именно поэтому ту целевую архитектуру вычислений и обработки данных, над которой мы пытаемся работать и к которой сейчас многие стремятся, правильнее всего называть даже не ассоциативной архитектурой, а кортикальной или кортикоморфной архитектурой, кортикальной обработкой данных, кортикальными вычислениями, кортикальным процессингом и т.д.

Обо всем этом можно говорить бесконечно долго, так что пока довольно.

Замечу только еще, что миелинизацию мы специально не моделируем. Возможно, что помимо увеличения скорости проведения, количество перехватов обеспечивает синхронизацию импульсов в нейросетях. Если это так, то эта функция обеспечивается в наших сетях введением глобального такта, в рамках которого проходят все микротакты внутриотсековых операций в нейронах. Впрочем сегодня эти вопросы не вполне ясны.

Попробую прояснить методы нашей работы.

1. Мы работаем в программной среде собственной разработки "ТАСО-Нейроконструктор". Есть версия для ПК (она показана на рисунке ниже), есть параллельная версия для кластеров. В программе я могу создавать произвольные модели нейронов как последовательности функций с прямыми и обратными связями внутри клеток. Мы используем свою модель нейрона с несколькими фазами формирования следа памяти: от частоты и накопления заряда в аксональной терминали до структурной перестройки синаптических мембран клетки. При этом существуют многие десятки шаблонов отсеков нейрона - сом, аксонов и дендритов, т.е. конкретных реализаций модели нейрона (их списки показаны на картинке). Из отсеков я могу создавать сотни типов используемых конкретных реализаций нейронов. Был многолетний период стабилизации и диверсификации этих моделей. Годах в 2006-2007 у нас все "взрывалось" потенциалами. В наших моделях иногда даже доли процента от выброса/потенциала все решают. Из нейронов я могу в редакторе сетей собирать сети. К примеру, проецируя группу нейронов на общую вершину нейрона "бабушки" и добавляя к ним ядра управления - т.е. нейроны-модуляторы и пермиттеры для управления процедурами обучения и др. Все сети создаются первоначально вручную путем последовательно выставления сом и протягивания связей. В целом все сети ламинарны и состоят из слоев и управляющих ядер (не потому, что мы так придумываем, а потому что это технологически складывается).

2. Перед тем как делать сеть, осознается задача, для которой эта сеть предназначена и находится общий подход к архитектуре сети. Например, стоит задача корректного ассоциативного отклика системы на поступивший ввод в виде текстовой строки (простые примеры - ответ на вопрос, завершение недосказанного предложения, решение задачи или перевод с иностранного языка предложения - во всех этих задачах механизмы одинаковы). Понятно, что эта операция будет состоять из многих и многих подопераций. Например, это будет возможно, если сеть будет иметь режим поддержки продолжающегося самостоятельного ассоциирования. Но для того, чтобы понадобилась работа этой сети, сеть должна сначала уметь правильно учиться, чтобы иметь в будущем способность корректно откликнуться на ввод. Что значит корректно откликнуться на ввод? По нашему мнению это значит, что сеть должна обеспечить ассоциативный отклик на все существующие в сигнальных семантических системах типы ассоциативных оснований. Под АО мы имеем в виду текущий ввод в его отношении к ранее сформированным вершинам афферентно-инвариантных нейронов (АИН) "бабушки". На сегодня мы выделили 24 типа прямых АО и столько же опосредованных, хотя постепенно вскрываются все более экзотические типы АО (прошу прощения за нашу локальную терминологию). 

3. Затем начинается разработка собственно действующих сетей. Придумать сеть сидя за столом "от и до" невозможно, можно придумать лишь самые основные принципы работы сети. Много парадоксов и деталей можно понять только при практическом создании сети в соответствующей программной среде. Последовательно создаются сетевые аппараты (подсети) преобразования исходного сигнала (для того, чтобы его подготовить к формированию АИН), потенциации связей на АИН (в живой коре прототипом этих процессов и структур служат, видимо, проекции на пирамиды разных слоев), фиксации новизны (понятно, что обработка нового и известного идет по длинному и короткому путям и, перед тем как запоминать надо понять, новое это или уже известное), ветвления ассоциаций (ведь в любой момент времени может актироваться несколько корректно-релевантных АИН), самостоятельного продолжающегося ассоциирования, синхронизации промежуточных результатов, выбора наиболее релевантного ответа из полученных вариантов в реализующих разные типы базовых логик модулях кортикальных колонок и т.д. и т.п. В результате получаются довольно сложные сетевые структуры, но способные адекватно ответить на любой ввод, если у сети есть компетентность по отношению к нему. К примеру на рис. показана принципиальная сеть для обработки частично-упорядоченных АО, т.е. таких, где неважно положение члена в подмножестве, но важно положение подмножества в множестве поступившей последовательности сигналов, в данном случае конвергирующего типа по новизне "сверху", есть еще дивергирующий и глобальные типы данного АО (при этом показанная сеть включает в себя около 4 тысяч сом и 15 тыс. связей, но может обрабатывать лишь слова из 8 букв до 5 букв длинной). 

Работа идет примерно так: осознается необходимость процедуры, добавляются необходимые элементы, запускается тестовая активность (программа динамически проигрывает активность в сети), смотрится до какого этапа получения результата (синапса) доходит активность. Затем исправляются проблемы, препятствующие работе сети до требуемого результата. На этом этапе в части реализации процедур все, как Вы сказали, более-менее очевидно, но нередко утрачивается осознание всей сети, поэтому иногда всю созданную подсеть потом приходится выбрасываеть или переделывать, если всплывают глобальные ошибки или неэкономность по тактам (например, один тип основания обрабатывается созданным модулем колонки при новизне 20 тактов, а по известному всего 7, а вновь созданная параллельная сеть другого модуля новое заучивает 70 тактов, а знакомое понимает 40, приходится переделывать всю такую "тормозную" сеть. Да, подчеркну, что речь здесь идет не о повторных предъявлениях, как в обратном распространении, а о синаптическом пути в тактах прохождения активности при однократном предъявлении.

Ну вот так как то становится известно, как именно надо организовать топологию (архитектуру) для реализации той или иной когнитивной функции.

Где здесь нейробиология? Стараемся при разработке находить и читать статьи по данным локусам живого мозга. Часто помогает и удается переносить в наши сети некоторые куски. Но гораздо чаще общность с фрагментами живых нейросхем, опубликованными в статьях, начинает обнаруживаться после того, как мы уже создали данный локус. Правда бывает, что сами авторы статей не вполне понимают смысл того, что они опубликовали. Коннектомического материала опубликовано, в принципе, уже много. Важно теперь это понять и интегрировать в действующих сетях.

Таким образом наш подход в целом: от постановки функциональной когнитивной задачи к разработке решающей ее архитектуры нейросети при одновременном активном компаративном анализе опубликованных данных по живым нейросхемам. Поэтому и наш проект в целом называется "Искусственные когнитивные системы", а не как нибудь "биологично".

***
Доказательства, что когнитивная задача решена, появляются после решения придуманной и созданной подсетью соответствующих тестовых примеров (задач). 

Известными нейросетевыми архитектурами - какими именно? Тут много можно говорить, даже если выделять грубо всего два класса "не-наших" сетей - "классические" (перcептроны + BP) и "сложные" (Deep Boltzmann Machine + HTM). В целом все созданные на сегодня сети, включая последние хинтоновские разработки в гугле, нам представляются семантически маломощными и слишком простыми, чтобы быть интересными. Правда не факт, что все публикуется, так что наверняка знать не можем.