Нейросетевой подход к интегрированному представлению и обработке информации в интеллектуальных системах (31.01.2008)
Автор: Харламов Александр Александрович
Далее следует этап переописания, то есть представление исходного изображения символа в виде последовательности кодов, удобных для обработки в структуре из ДАЗУ. Переописание реализуется с помощью кодирования цепным кодом Фримена (или его разновидностей). Код Фримена позволяет представить процедуру обхода контура изображения в виде последовательности кодов направлений перехода. В системе распознавания символов зрительный образ символа описывается в виде двух представлений: образного и структурного. Соответственно, имеется два канала обработки: грубый, обрабатывающий изображение образа целиком, и точный, обрабатывающий образы фрагментов и структурные описания символов. Цепочки кодов, описывающие сжатое изображение, в режиме обучения подаются с выхода грубого канала на гребенку ДАЗУ грубого канала, где каждому символу предназначено свое ДАЗУ (в случае вариантов изображения одного и того же символа число ДАЗУ в гребенке увеличивается). С выхода точного канала цепочки кодов изображения, представленного с большим разрешением, поступают на блок структурной обработки, состоящий из гребенок ДАЗУ двух уровней, где осуществляется структурная обработка изображения. В результате обработки на нижнем уровне формируется словарь статистически достоверных фрагментов изображений символов, каждый из которых записан в отдельном ДАЗУ. При этом выделенные фрагменты принадлежат не какому-либо одному символу, а могут входить в описание нескольких из них. На верхнем уровне формируется словарь структурных описаний символов, характеризующих последовательность объединения фрагментов символов в их изображениях. Структурное описание каждого символа также записывается в отдельном ДАЗУ. Таким образом, описание объекта представлено одновременно в образной форме в ДАЗУ грубого канала и в структурированной форме в блоке структурного описания. В шестой главе описано аппаратное решение задачи хранения, упорядочения и ассоциативного поиска информации на основе иерархии из ДАЗУ. Для этого реализован аппаратно модуль ассоциативной адресации – гребенка нейроподобных элементов. Основная особенность аппаратной реализации нейронной сети заключается в том, что обработка информации в ней происходит параллельно и распределенно. Каждый нейроподобный элемент отдельно и независимо обрабатывает приходящую на него информацию. В отличие от существующих вычислительных средств такая аппаратная реализация является весьма простой и эффективной по управлению, поскольку ее модули являются систолическими массивами, то есть они управляются потоком информации. Управление сводится к одновременной подаче входной последовательности на общий для всех нейроподобных элементов ДАЗУ вход. Кроме того, такая вычислительная среда устойчива к повреждениям: выход из строя одного нейроподобного элемента не влияет на другие. И, наконец, – не требуется написания универсальной и специальной математики для симуляции обработки, или требуется значительно меньше. СБИС нейрочипа была спроектирована в базисе библиотеки стандартных элементов матричного кристалла и изготовлена на базовом матричном кристалле 1592ХМ1 разработки ОАО «Ангстрем» г. Зеленоград. Базовый матричный кристалл 1529ХМ1 имеет рабочую частоту 50 МГц, содержит 100000 вентилей для построения функциональных узлов СБИС. СБИС нейрочипа выполняет операции вычисления взвешенного умножения, суммирования и сравнения. СБИС нейрочипа включает в себя 16 одинаковых модулей, каждый из которых обрабатывает бинарные последовательности длиной 32 разряда. Эти модули объединены в 4 группы по 4, каждая из которых имеет внешние входы/выходы сигналов и эталонов. Вычисление взвешенного суммирования производится конвейерно с рабочей частотой до 16 мГц. Возможно специальное включение СБИС нейрочипа для увеличения частоты обрабатываемого входного сигнала до 32 мГц. Кроме того предусмотрена возможность каскадирования приборов с целью увеличения длины бинарных обрабатываемых кодов до 16383 бит. Размещенные на кристалле нейроны объединены параллельно по входу, т.е. данные и управляющая информация поступают одновременно на все нейроны. Нейроподобный элемент содержит 64-разрядный узел ввода, 64-разрядный регистр весовых коэффициентов, регистр сдвига, умножитель, сумматор, нелинейный элемент. Регистр данных навешивается снаружи в виде стандартной памяти. Узел ввода предназначен для управления и приема данных. Управление данными заключается в перераспределении входной информации между регистром весовых коэффициентов и устройством умножения. На основе разработанного нейрочипа осуществлена разработка и создание модуля наращиваемой и каскадируемой ассоциативной памяти в составе блока связи с управляющим компьютером, блока ассоциативного запоминающего устройства, блока запоминающего устройства и контроллера динамического ОЗУ. Модуль ассоциативной памяти выполнен на 32 битной карте максимального размера с размером 312х107 мм (рис. 5.8). На слоте установлены все выше перечисленные блоки, которые, в свою очередь, реализованы на двух отдельных СБИС программируемых логических интегральных структур (ПЛИС) FPGA. Блок ассоциативной памяти реализован совместно с контроллером PCI по технологии ПЛИС FPGA производства фирмы Altera APEX20 KE. Семейство данных ПЛИС оптимизировано для изготовления на их основе контроллеров PCI и запоминающих устройств. Контроллер динамического ОЗУ (рис.5.5), также реализован по технологии ПЛИС и выполнен на ПЛИС МАХ9000, производства фирмы Altera. Память ОЗУ размещена на плате в виде отдельного модуля DIMM фирмы SAMSUNG PC2700U-25330-B2. Описана также реализация ассоциативной памяти с использованием стандартных микросхем памяти, адресуемой по содержанию (Content Addressable Memory). В отличие от ассоциативной памяти, реализованной с использованием описанного выше нейрочипа, реализация на основе стандартных CAM больше похожа на прототип: каждая ячейка CAM снабжена собственным регистром адреса. Размерность моделируемого пространства соответствует длине регистра адреса. При необходимости реализации нейроподобных элементов с временной суммацией для всех адресных регистров вводится единый регистр сдвига, заполняемый со входа. Запись в такую память осуществляется отдельными событиями, которые записываются в отдельные ячейки, как в случае записи информации в колонках коры – отдельное слово в отдельную колонку. Описано также изменение конструкции микросхемы CAM, для того чтобы можно было их использовать для мягких вычислений (анализа зашумленной информации). Для этого необходимо ввести в микросхему CAM аппаратное вычисление числа совпадающих (или несовпадающих) разрядов. Для этого достаточно добавить в каждый разряд адресного регистра CAM компаратор, один, общий на ячейку, аддитивный сумматор, и осуществить поразрядное сравнение с суммированием результата. В заключении кратко изложены результаты диссертационной работы. Основные результаты и выводы. 1. На основе анализа существующих интеллектуальных систем предложено использование структурных нейросетевых методов для интеграции представления и обработки информации различных модальностей, а также надмодальной семантической и прагматической информации. 2. Проведен анализ современного состояния научной области, связанной с обработкой информации разных модальностей, а также семантической и прагматической информации. В результате этого анализа предложена замена моделей интеллектуальных процессов моделями интеллектуальных процессоров для обработки информации. 3. Предлагается использование одного класса искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов для представления произвольной информации в многомерном сигнальном пространстве. 4. Предлагается метод обработки информации, имеющей многоуровневую временную структуру, с помощью динамических искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов. 5. Предлагается создание системы источников знаний верхних уровней разных модальностей, с использованием однородного нейросетевого представления информации, что позволяет легко интегрировать информацию всех уровней в процессе принятия решения. 6. Предлагается интерпретация информационных процессов в нейросетевых структурах в виде операций на графах. 7. Предложен формализм динамических нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов, интерпретирующий обработку и представление двоичной, внутренне структурированной, информации в сигнальном пространстве искусственной нейронной сети, в том числе, ее запоминание, стохастическую обработку (с автоматическим структурированием внутреннего представления), воспроизведение и распознавание. Топология сигнального пространства, моделируемого искусственной нейронной сетью, устойчива к разрушению представленной в нем информации. Искусственная нейронная сеть реализует гетероассоциативное запоминание - запоминание информации в ассоциации с несущей последовательностью. Если информационная и несущая последовательности тождественны, имеется автоассоциативное запоминание. Введение в искусственную нейронную сеть механизма учета статистических свойств информации наряду с нелинейным преобразованием позволяет восстанавливать с его помощью словарь элементов внутренней структуры информационной последовательности. Искусственная нейронная сеть со сформированным в ней словарем элементов позволяет фильтровать новую информацию в потоке старой, формируя, таким образом, информацию о связях слов словаря. 8. Предложен способ представления семантической и прагматической информации с помощью многоуровневой иерархии из ДАЗУ. 9. Предлагается деление единого сетевого семантического представления на семантику и прагматику по динамическому принципу. Все понятия объединяются в ассоциативную сеть – модель мира – на которой конкретные ситуации высвечивают им соответствующие прагматические конфигурации – фреймовые структуры. 10. Предлагается структура модели мира на основе текстового представления в виде ассоциативной сети, которая содержит основные понятия предметных областей и связи между ними, ранжированные числовыми значениями. 11. Для представления семантической информации предложена иерархия ассоциативных сетей, в которой на самом верхнем уровне представлены объекты – события и ситуации – в их взаимосвязях, уровнем ниже представлены, также в сетевом виде, модели мира отдельных объектов, которые, в свою очередь, являются двухуровневыми сетями, связанными генетивными отношениями. 12. Предлагается интерпретация состава и процесса обработки зрительной информации в зрительной системе человека. 13. Предлагается методика формирования многоуровневого представления языковых знаний системы распознавания речи. 14. Предложена ассоциативная память на основе нейроподобных элементов с временной суммацией входных сигналов, в которой одним из основных свойств является ассоциативное воспроизведение с динамическим формированием адреса (динамическое ассоциативное запоминающее устройство) – ассоциативный процессор с памятью. Динамическое ассоциативное запоминающее устройство моделирует n-мерный единичный гиперкуб. 15. Предложена многоуровневая иерархия из ДАЗУ для структурной обработки информации. Объединение многоуровневых структур, обрабатывающих информацию разных модальностей позволяет создать многомодальное семантическое представление. 16. Представлена реализованная автором система для структурного анализа текстов TextAnalyst. 17. Представлена реализованная автором система распознавания изолированно произносимых речевых команд ограниченного словаря. 18. Представлена реализованная автором система распознавания изображений символов. 19. Предложено унифицированное базовое аппаратное обеспечение нейронных сетей на базе реализованной интегральной схемы адресной части нейроподобного элемента. 20. Предложена аппаратная реализация модуля ассоциативной памяти с использованием стандартных микросхем памяти, адресуемой по содержанию (Content Addressable Memory). Список публикаций по теме диссертации. А.С. N 1179389 (СССР) Устройство для моделирования нейрона. /Харламов А.А., Усманов А.Х. Заявка N 3751440 от 29 марта 1984г. Опубликовано 15 августа 1985г. МКИ G 06 g 7/60 А.С. N 1305732 (СССР) Устройство для моделирования нейронных сетей. /Харламов А.А., Усманов А.Х., Воронов И.В., Богомолов Г.В. Заявка N 3999328 от 27 декабря 1985г. Опубликовано 22 декабря 1986г. МКИ G 06 g 7/60 Волков В.И., Жаркой Р.М., Харламов А.А. Модель ассоциативной системы машинного зрения. Приборостроение. Вестник Московского государственного технического университета, N 9-10. 1994. Стр. 31 – 33 Харламов А.А. Ассоциативный процессор на основе нейроподобных элементов для структурной обработки информации. Информационные технологии, N 8, 1997. Стр. 40 – 44 Харламов А. А. Нейроподобные элементы с временной суммацией входного сигнала и блоки ассоциативной памяти на основе этих элементов. //Вопросы кибернетики. Устройства и системы. Под ред. Н.Н. Евтихиева. - М.: МИРЭА, 1983. Стр.57 – 68 |