Delist.ru

Нейросетевой подход к интегрированному представлению и обработке информации в интеллектуальных системах (31.01.2008)

Автор: Харламов Александр Александрович

. (2.21)

-членными фрагментами входной и воспроизводимой последовательностей, полученных на каждом шаге:

, (2.22)

- длина траектории. Решение о совпадении с заданной степенью точности принимается сравнением с порогом по распознаванию.

Показывается, что описанные процессы обработки информации: обучение, воспроизведение, формирование словаря, синтаксической последовательности, одинаково эффективны как в рамках одного ассоциативного процесса, так и в системах из ассоциативных процессов, в том числе многоуровневых. Использование всех свойств ассоциативного процесса возможно лишь при включении его в иерархическую структуру, осуществляющую структурный анализ информации.

, характеризующих множество реализаций множества входных ситуаций, имеющих внутреннюю структуру в смысле повторяемости отдельных ее элементов.

, но также и чтобы размер слов словаря соответствовал реальным событиям данной частоты встречаемости.

Таким образом, при обучении заполняются сигнальные пространства всех уровней, на которых находятся соответствия элементам входных ситуаций того или иного уровня.

В реальных устройствах требование к объему сигнального пространства, необходимому для размещения словаря, может оказаться в противоречии с требованием к длине адресного регистра. Длина должна быть меньше длины последовательности, соответствующей слову словаря данного уровня, в противном случае слово может быть представленным в сигнальном пространстве единственной точкой. Оно может быть не представленным и единственной точкой, если длина адресного регистра оказывается больше длины слова. Поэтому, на каждом уровне иерархической структуры сигнальное пространство разбивается на ряд подпространств, в каждом из которых при обучении формируются подсловари, в дальнейшем используемые для распознавания, синтаксической обработки или воспроизведения.

Рассматриваются особенности формирования представления о событиях, происходящих в мире, в иерархической структуре из ассоциативных процессов. В иерархической структуре из ассоциативных процессов формируются две сосуществующие системы знаний о мире: статическая (парадигматическая), потенциально хранящая всю доступную информацию об элементах и связях структур событий мира, и динамическая (синтагматичекая), в той или иной степени соответствующая конкретным ситуациям, отображаемым на иерархической структуре. Первая - есть не что иное, как семантическая сеть, вторая имеет общие черты с фреймовыми структурами.

словарей нижних уровней:

(2.23)

Здесь U – операция объединения, V - обозначает включение на свое место в слова словаря более высокого уровня. Это включение аналогично логическому сложению последовательности, соответствующей слову словаря нижнего уровня, с синтаксической последовательностью (вложению слова словаря в соответствующую купюру синтаксической последовательности).

, получается объединенный суперграф - семантическая сеть:

(2.24)

???????о

????Й?Й??

????Й?Й?Т

(ской) связи, а совместные вхождения понятий в предложения с частотой меньше порога считаются просто случайными.

Элементы семантической (ассоциативной) сети и их связи имеют числовые характеристики, отражающие их относительный вес в данном тексте - семантический вес. Для более точной оценки семантических весов понятий, они пересчитываются, при этом используются веса всех понятий, связанных с данным понятием, т.е. веса целого “семантического сгущения”. В результате пересчета наибольший вес приобретают понятия, обладающие мощными связями и находящиеся как бы в центре “семантических сгущений”.

данной модальности соответствующие некоторой текущей входной ситуации (синтагмы). По аналогии с (2.23):

(2.25)

] – означает конкатенацию по индексу i.

соответствует некоторое объединение компонент фрейма отдельных модальностей - субфрейм:

(2.26)

- имя субфрейма – слово, например, в вербальной (первой) модальности.

Последовательность субфреймов формирует фрейм:

(2.27)

- имя фрейма (так же как в случае имени субфрейма) – слово, например (но не обязательно), в вербальной модальности.

В третьей главе показано, что для реализации задач обработки и представления различной разномодальной информации, с ассоциативным доступом к ней, эффективно использование искусственных нейронных сетей. Анализ существующих решений показал, что нейронные сети условно можно разделить на два типа - статические и динамические. Классические сети из нейроподобных элементов позволяют решить задачу распознавания статических (пространственных) образов. Сети, имеющие в своем составе элементы задержки, - динамические нейронные сети - могут использоваться и для распознавания динамических образов (например речевых сигналов), однако в этом случае для учета временной структуры информации прибегают к специальным приемам, например заводят на дополнительные входы сети информацию с задержками. Введение в стационарную сеть обратных связей с элементами задержки с выходов сети на ее входы делает сеть рекуррентной. При этом сеть начинает учитывать временной контекст входных сигналов. Такие сети способны автоматически формировать эталоны динамических образов.

Использование рекуррентных искусственных нейронных сетей для обработки информации, имеющей временную природу, показало хорошее качество работы таких сетей. Естественная трудность, с которой сталкиваются разработчики, заключается в рутинности ручной настройки структуры нейронных сетей на распознаваемую информацию. Показано, что для эффективного решения этой проблемы необходимо организовать нейронную сеть, реализующую структурную многоуровневую обработку информации.

Для анализа временных последовательностей, к которым сводится представление как речевой, так и зрительной и текстовой информации, удобно использовать искусственные нейронные сети, динамические. Предельным случаем сетей, учитывающих динамическую (временную) информацию, являются сети из так называемых динамических ассоциативных запоминающих устройств. Такие сети представляют собой множество параллельно включенных нейроподобных элементов с временной суммацией входных сигналов. Каждый из нейроподобных элементов, являясь элементом ассоциативной памяти, моделирует одну из точек сигнального пространства, в которое отображается и в котором запоминается в виде последовательности точек - траектории - входная последовательность.

Этот тип сетей получается из более общего, который, в свою очередь конструируется из статических сетей объединением двух статических нейронных сетей, где одна из них включается в прямом направлении, а другая – в обратной связи. Сначала сеть сводится к одному нейроподобному элементу, но имеющему цепочку задержек на входе. Это нейрон с синапсами, имеющими передаточную функцию без полюсов (такие синапсы можно рассматривать как обобщенные дендриты нейрона) и не имеющими обратной связи с выхода.

В этом случае эталонная область пространства Rn сводится к одной точке. Координатами этой точки в пространстве является n-членный анализируемый фрагмент последовательности. Для построения эталонов образа, которые строятся как объединение точек – траектория, используется набор из таких нейронов – нейронный пучок. Объединение нейронов моделирует n-мерный единичный гиперкуб в сигнальном пространстве. Такая конструкция более удобна для представления информации, поскольку, в отличие от традиционной нейронной сети, где информация об образах-эталонах упрятана в весовых коэффициентах синапсов, в такой сети входная информация представляется в удобной и наглядной форме траектории на вершинах гиперкуба. Нейроны с различными распределениями синапсов на дендритах можно избирательно возбуждать, подавая на них последовательности с разным распределением в них импульсов и межимпульсных интервалов.

Представлены теоретические основы построения нейросетевых технологий для обработки неструктурированной информации различных модальностей. Рассматривается ассоциативная память на основе нейроподобных элементов с временной суммацией входных сигналов, в которой одним из основных свойств является ассоциативное воспроизведение с динамическим формированием адреса. Такая ассоциативная память называется динамической ассоциативной памятью, а устройства на ее основе - динамическими ассоциативными запоминающими устройствами (ДАЗУ). Динамическое ассоциативное запоминающее устройство представляет собой множество объединенных параллельно нейроподобных элементов, имеющих общий вход и общий выход, и отличающихся друг от друга последовательностью знаков синаптических связей на обобщенном дендрите - адресом. Вес связей равен ±1. ДАЗУ моделирует многомерный единичный гиперкуб, и осуществляет преобразование информационной последовательности в траекторию в многомерном сигнальном пространстве. Наличие элемента памяти в составе нейроподобного элемента позволяет запоминать в ДАЗУ информационные последовательности с сохранением в сигнальном пространстве топологии сенсорного пространства. ДАЗУ реализует частотную обработку информационных последовательностей, а также ассоциативное обращение к запомненной информации.

В четвертой главе представлен структурный подход с использованием нейросетевой технологии, который позволяет естественным образом решить задачу анализа неструктурированной информации разных модальностей: языковой (речевой и текстовой), семантической информации, а также информации других модальностей, например, изображений, и интеграции их в единую структуру.

Речевая и текстовая информация имеют общую часть, касающуюся представления источников знаний верхних уровней. Поскольку, если оставить в стороне первичную обработку, и предположить, что текстовая информация может быть с помощью системы автоматического транскрибирования переведена в последовательность фонетических значков, таких же, какие появляются на выходе акустико-фонетического уровня обработки речевого сигнала, возможно рассматривать эти два вида информации совместно, дополняя представление одного вида информации представлением другого вида информации. Для решения задачи анализа языковой (речевой и текстовой) информации, необходимо создание системы, содержащей, помимо модуля первичной обработки, источники языковых знаний различных уровней - от фонетического до синтаксического. Кроме того, она должна содержать экстралингвистические источники знаний: семантический и прагматический.

Анализ речевой информации предполагает введение акустико-фонетического уровня обработки. На акустико-фонетическом уровне формируется представление первичных неделимых фрагментов последовательности первичных признаков, кодирующих звуковую волну. На вход акустико-фонетического уровня подается параметризованная звуковая волна, подвергнутая первичной обработке с целью улучшения отношения сигнал/шум, уменьшения корреляции, а также уменьшения вариативности. Для формирования словаря акустико-фонетического уровня на его вход подается обучающая выборка из реализаций слов фонетически сбалансированного словаря. В процессе обучения в многомерном сигнальном пространстве акустико-фонетического уровня формируется представление речевой информации в виде словаря акустико-фонетических элементов - множества фрагментов траекторий, соответствующих размеченным сегментам реализаций слов фонетически сбалансированного словаря. Наличие сформированного словаря звукотипов позволяет использовать акустико-фонетический уровень как структуру для фильтрации фонологической информации в речевом потоке.

Для формирования представления морфологического уровня на вход обученного акустико-фонетического уровня подается обучающая выборка морфологического уровня, содержащая множество произнесений произвольного множества текстов. На его выходе получается та же выборка, но уже в виде последовательности транзем с купюрами на месте отфильтрованных фонем. Из этой последовательности транзем в многомерном сигнальном пространстве морфологического уровня формируются словари корневых морфем, аффиксов и префиксов, а также флективных морфем - окончаний, соответствующих различным грамматическим формам слов. Здесь же формируется словарь предлогов. Функционально (на синтаксическом уровне) он неразрывно связан со словарем флексий.

Для формирования словаря лексического уровня, на вход обученного акустико-фонетического уровня подается обучающая выборка лексического уровня, содержащая множество реализаций слов оперативного словаря - словаря наиболее часто встречающихся слов. При формировании словаря лексического уровня, аналогично предыдущему, после фильтрации сформированным ранее словарем акустико-фронетического уровня, на его выходе получим множество реализаций слов, представленных в виде последовательностей транзем с пробелами.

загрузка...