+7 968 701 3333

Заказать обратный звонок

Главная / Институт Сетевого Анализа / Статьи / Технология искусственного интеллекта: анализ данных в использовании нейронных сетей

Abstracts. Анализ смысла (содержания) текстов – достаточно непростой и редкий пример приложений из предметной области анализа текстов. Иерархия процессов анализа оцифрованных текстов от нижнего – графематического – уровня до верхнего – уровня допустимой сочетаемости корневых основ – семантического является естественной иерархией обработки текстовой информации в сознании человека. В работе представлены два уровня обработки из этой иерархии – лексический и семантический. Описано приложение – программная система для смыслового анализа текстов – TextAnalyst, реализующее обработку двух уровней, и формирующее семантическую сеть текста как результат такой обработки. Представлены примеры анализа, использующие подход для анализа текстов.

 

 

Введение

Чтобы понять, как можно эффективно реализовать глубокое обучение для анализа текстов, сначала надо разобраться, как оно эффективно реализуется в анализе изображений: объем работ на эту тему зашкаливает. Помимо анализа рукописных и печатных текстов как изображений, необходимо разобраться с анализом оцифрованных текстов как реализаций языка, и с языком как множеством текстов.

Человек хорошо воспринимает тексты как изображения, необходимо понять, как он это делает. И в дальнейшем опираться на это представление в поисках эффективных механизмов анализа текстов.

И, наконец, поскольку и человек, и машина при анализе текстов используют (по крайней мере в части подходов) нейронные сети (искусственные или естественные), важно понять эффективные механизмы обработки текстов в том или ином виде, реализованные нейронными сетями в форме глубокого обучения.

В известных в настоящий момент работах глубина анализа изображений, как правило, ограничивается классификацией отдельных объектов. Анализ сцен является последним трендом в распознавании изображений, но больших успехов в этом направлении пока не достигнуто. Анализ ситуаций остается комплексной проблемой c выходящей за рамки собственно анализа изображений, и в большей степени связанной с анализом текстов, описывающих последовательности сцен как ситуации. 
 

Классификация изображений объектов. Сверточные сети

Наиболее успешно с целью классификации изображений отдельных объектов используются сверточные искусственные нейронные сети. Известен очень хороший результат применения сверточных сетей с глубоким обучением для классификации изображений в 1000 классов с точностью 99%. Для этого используется сверточная сеть, содержащая 153 слоя.

Рассмотрим, что же происходит в этом случае. В процессе классификации на изображении выделяются признаки разной сложности: от простейших на первых слоях до очень сложных на последних. Например, глаз, колесо автомобиля, и подобное. Изображения характерны большой вариативностью формы, поэтому уже при решении задачи классификации качественное решение требует включения в сеть большого количества слоев и большой обучающей выборки. Сверточные сети успешно используются для классификации символов алфавита, в том числе рукописных. 

Нужно сказать, что существенным ограничением при использовании этого подхода является объем обучающей выборки, который должен быть тем больше, чем выше требуется качество классификации. Следовательно, при обучении требуются очень большие вычислительные ресурсы. Поэтому анализ сцен, требующий еще и учета комбинаторики, как правило, не реализуется. Дело в том, что сложность сцен является комбинаторикой составляющих их объектов и событий, то есть число возможных классов сцен даже небольшой сложности, оказывается очень большим.
 

Модель языка. GPT

В анализе оцифрованных текстов, а после классификации символов алфавита сверточной сетью текст можно считать оцифрованным, применяются другие помимо классификации механизмы, которые также могут быть реализованы с использованием глубокого обучения. Одним из них является модель языка, которую можно представить как сеть, полученную пересечением сетей множества текстов языка, где вершины – это слова словаря языка, а дуги – некоторые отношения между словами. Если говорить об автоматической обработке текстов с выявлением отношений между словами, то речь пойдет только об ассоциативной связи между ними, то есть об их совместном нахождении в предложениях текста.

Такая сеть строится, например, в виде состояний синапсов отдельных нейронов после обучения в искусственных нейронных сетях, типа трансформеров, – в GPT. GPT – это нейросеть, которая способна генерировать образцы синтезированного текста с вполне логичным повествованием, если задать ей любое начало. Однако, для получения такого результата число параметров в сети должно превышать 1,5 млрд.

 

Обработка изображений в зрительном анализаторе человека

В зрительном анализаторе человека обработка изображений отличается от обработки в сверточных сетях, хотя там также осуществляется развертка изображения, но не как в видеокамере – слева-направо сверху-вниз, а по точкам наибольшей информативности изображения.

Обработка изображений в зрительном анализаторе человека осуществляется двумя каналами: грубым и точным. Грубый канал обработки осуществляет выявление точек наибольшей информативности, реализацию переходов от точки к точке, и еще кое-что. Точный канал осуществляет анализ информации в сравнительно небольшой окрестности точек информативности. Вместе они, таким образом, формируют сенсорную кодовую последовательность, характеризующую изображение, которое грубым каналом представляется как совокупность эквитекстурных областей, перегибы контуров которых и являются точками наибольшей информативности.

Сформированная таким образом кодовая последовательность содержит повторяющиеся уровнеобразующие элементы зрительного квази-языка, которые выявляются в процессе структурной обработки в колонках коры и формируют иерархию словарей, где на нижнем уровне представлены простейшие элементы изображений – точки, сегменты дуги, отрезки прямой, под разными углами наклоненные к горизонту, перекрестья разного типа. На следующих уровнях представлены элементы объектов, далее – объекты, сцены. Чтобы быть точными, надо сказать, что на самых нижних уровнях обработки должны быть представлены простые и сложные рецептивные поля.
 

Грубый канал

Исходное изображение подвергается фильтрации, сглаживанию, подчеркиванию частот, усилению контраста, оператору вычитания шумовой составляющей для улучшения качества изображения. А также бинаризации и еще раз сглаживанию. При этом все переходы яркости заданной величины становятся контурами.

В грубом канале выявляются эквитекстурные области (цвет также рассматривается как текстура, или как элемент текстуры) за счет реализации сегментирующей функции. Выявляются границы этих областей. Выявляются точки перегиба границ, которые являются точками наибольшей информативности. И организуется перемещение точки фиксации взгляда из одной точки в другую (см. Рис. 1).

 

Рис. 1. Траектория фиксации взгляда при осмотре фотографии без заранее заданного задания. 

Глаз совершает четыре типа движений: произвольные перемещения взора, саккадические движения, сползание взгляда между саккадами и тремор. Саккадические движения совершаются автоматически. Саккады имеют целью возвращение взгляда в точку, из которой он сместился за время сползания, или автоматическое перемещение взгляда из одной точки фиксации в другую точку фиксации под воздействием механизма фреймового описания расположения экстремальных точек функции информативности, или под воздействием механизма периферийного зрения, отслеживающего яркие или движущиеся объекты. Тремор – это микроколебательное перемещение взора в направлении, ортогональном сползанию между саккадами.

Тремор вызывает колебательное смещение проекции элементарного представления относительно точки фиксации. Сползание между саккадами – также смещение проекции элементарного представления вправо вниз. Длина пути взора между саккадами является естественной сегментирующей функцией для изображения. Таким образом, в промежутке между саккадами изображение элементарного представления проецируется на некоторые светочувствительные ячейки (колбочки в данном случае), создавая на них чередующиеся за счет тремора значения освещенностей (Рис. 2). При этом формируются информационные последовательности, состоящие из единиц и нулей, как реакция светочувствительных ячеек на большую или меньшую освещенность. На самом деле это последовательности паттернов, число спайков в которых соответствует уровню освещенности.

 

 

 

Рис. 2. Образование последовательности нулей и единиц на элементе светочувствительной матрицы за счет тремора и саккады (описание в тексте). 1 – 2 – 3 – 4 – 5 – 6 – 7 - … - последовательность обхода точек фиксации взгляда – скоплений экстремальных точек функции информативности.

 

За счет этого сползания проекции анализируемого элемента изображения на выходе каждого светочувствительного элемента, участвующего в восприятии, формируется динамическая картина, соответствующая прохождению проекции над светочувствительными ячейками. В результате при осмотре конкретной сцены формируется кодовая последовательность, характеризующая последовательность окрестностей точек наибольшей информативности изображения.

Так осуществляется формирование траектории при анализе изображения только одного конкретного ракурса объекта. Манипулирование объектом позволяет менять ракурс анализа изображения. Каждому ракурсу изображения объекта соответствует свое множество траекторий. Если дискретность изменения ракурса при манипулировании невелика, то множества траекторий, полученных для каждого ракурса, формирует подклассы эквивалентности с представителями подклассов, соответствующими характерным ракурсам. В дальнейшем (после завершения обучения восприятию именно этого объекта) эти характерные ракурсы (за счет использования моторики) исследуются в первую очередь.
 

Точный канал

Точный канал осуществляет структурную обработку кодовых последовательностей с формированием словарей уровнеобразующих элементов зрительного квазиязыка. Их можно соотнести с признаками разных уровней, формирующимися в сверточных сетях.

 

 

Рис. 3. Модель обработки изображения в зрительном анализаторе. (1) Представление объекта в виде активности детекторов края. (2) Эквитекстурная сегментация. (3)  Выделение контуров. (4)  Вычисление экстремальных точек функции информативности. Здесь пп 1-2-3-4 – представляют обработку в грубом канале. (5)  Далее представлена иерархия процессоров обработки в точном канале в составе уровней элементарных представлений, элементов объектов, объектов и сцен.

Словарем уровня элементарных представлений являются простейшие образы – элементарные представления: отрезки прямых, сегменты кривых и дуг, Y-, X-, Г- и Т-образные пересечения, ориентированные различным образом. Эти элементарные представления, участвующие в формировании словаря нижнего уровня, появляются на входе сенсоров в разных ориентациях, и все они участвуют в формировании словаря этого уровня.

В качестве слов словаря уровня элементов объектов в первую очередь рассматриваются объекты такого масштаба, чтобы ими было удобно манипулировать кистью доминантной руки в поле ближнего зрения (или соответствующего масштаба изображения более крупных объектов). Статистическая обработка множества траекторий, соответствующих разным объектам, порождает на этом уровне словарь элементов объектов. Особенностями объекта являются: компактность, объемность, ограниченность эквитекстурными поверхностями. На последующих уровнях иерархической структуры словарей формируются представления объектов и сцен.

Необходимо заметить, что эти словари формируются как для одного отдельного конкретного ракурса изображения объекта, так и для всех других ракурсов. Манипулирование объектами позволяет менять ракурс изображения. Каждому ракурсу изображения объекта соответствует свое множество представлений этих уровней. Все множество ракурсов разбивается на множество подклассов эквивалентности, в рамках которых отдельные образы разных уровней представления не сильно отличаются друг от друга.
 

Структурная обработка информации в колонках коры

Колонки коры больших полушарий головного мозга человека осуществляют структурную обработку информации с формированием иерархий словарей образов событий разной степени сложности разных модальностей. 

Проще всего показать возможности сетей из нейронов с временной суммацией сигналов на примере бинарных нейронов (см. Рис. 4). Бинарный нейрон – это нейрон, все синапсы которого имеют вес 1, или -1, на вход бинарного нейрона в каждый такт времени подается сигнал «0» или «1». Бинарный нейрон осуществляет свертку фрагмента бинарной входной последовательности с адресом нейрона длины n, в котором «1» соответствует синапсу с весом «1» и «0» – синапсу с весом «-1». Тогда множество нейронов с разными адресами моделируют n-мерный единичный гиперкуб, в котором входная кодовая сенсорная последовательность отображается в множество вершин с соответствующими адресами.

Реальные кодовые последовательности являются небинарными (как правило это последовательность векторов признаков входных сигналов), поэтому упрощенные механизмы обработки бинарных последовательностей далее будут обобщены до обработки небинарных кодовых последовательностей. Но отличия одного случая от другого оказываются не слишком велики: результаты обработки кодовой последовательности в первом случае отображаются на многомерный единичный гипкеркуб, а во втором – во все многомерное пространство.

Структурная обработка входных кодовых последовательностей осуществляется нейропобоными элементами с временной суммацией сигналов. Нейроподобный элемент с временной суммацией сигналов отличается от нейроподобного элемента с пространственной суммацией наличием регистра задержек на входе. Конечно, реальный нейрон является комбинацией свойств временной и пространственной суммации, но совместная реализация пространственной и временной суммации сильно затрудняет интерпретацию анализа обработки информации. Потому, для простоты мы будем рассматривать только временную суммацию.

 

Нейрон с временной суммацией сигналов

Нейроподобный элемент с временной суммацией сигналов является нейроподобным элементом А.Н. Радченко, возникшим на основе модели W. Rall, которая, в свою очередь, возникла на основе представлений D.A. Sholl.

Для понимания работы нейронной сети на основе такого нейрона, представим его в упрощенном виде (см. Рис. 4). Здесь используется многоразрядный регистр сдвига, который можно назвать обобщенным дендритом.

 

 

Рис. 4. Нейроподобный элемент с временной суммацией сигналов, где используется многоразрядный регистр сдвига, моделирующий обобщенный дендрит по Shоll.

 

Такой нейрон выполняет свертку фрагмента бинарной последовательности длины n символов –  a_t  ∈{0,1}, с последовательностью весовых коэффициентов b_1,b_2,…,b_i,  b_i  ∈{-1,1}:

 

S(t)=∑_(i=1)^n▒a_(t-n+i)  b_i.

 

Свертка будет иметь наибольшее значение, если n-членный фрагмент входной последовательности соответствует последовательности весовых коэффициентов нейрона, то есть если b_i= -1, то a_((t+i-n))= 0, а если b_i= +1, a_((t+i-n))= 1. Такой фрагмент последовательности называется адресом нейрона. Наибольшее значение свертки равно числу единиц в адресе –  Σ_ед.

В качестве нелинейной функции используется пороговое преобразование f(*)= H_адр с порогом h_адр. Если порог преобразования h_адр равен числу единиц в адресе – Σ_ед, то нейрон будет откликаться строго на свой адрес. То есть он моделирует одну из точек n-мерного сигнального пространства R^n. В случае бинарной входной последовательности – это вершина n-мерного единичного гиперкуба G_e.

Объединение таких нейронов (см. Рис. 5) моделирует n-мерный единичный гиперкуб в сигнальном пространстве (см. Рис. 6). Такое представление более удобно для интерпретации, поскольку, в отличие от искусственных нейронных сетей других парадигм, где информация об образах-эталонах упрятана в весовых коэффициентах синапсов, в такой сети входная информация представляется в удобной и наглядной форме траектории на вершинах гиперкуба.

 

 

 

 

Рис. 5. Нейронный пучок. Здесь 1 – нейроны пучка, имеющие обобщенные дендриты с разными адресами от (000...0) до (111...1), 2 – общее афферентное волокно, 3 – управляющий вход.

 

 

Рис. 6. N-мерный единичный гиперкуб G_e, где n=3. Траектория в сигнальном пространстве соответствует последовательности А.

 

Формирование словарей

Описанное выше представление соответствует обработке человеком любых квази-текстов. Корпус квази-текстов (любых сенсорных модальностей) подвергается статистическому анализу, в результате которого выявляются его словарные компоненты разных уровней (см. Рис. 7).

 

Рис. 7. Многоуровневая иерархическая структура словарей образов событий одной модальности, в которой на каждом уровне имеется множество параллельно включенных подсловарей, связанных с подсловарями следующего уровня по типу "каждый-с-каждым". Каждый уровень формирует систему подсловарей 〖{B ̂_i}〗_ij. Здесь i – слово в подсловаре, j – номер подсловаря на уровне, k – номер уровня, а m –номер модальности.

Необходимо сопоставить квази-тексты – осмысленные последовательности изображений – и текстов естественного языка. Тексты – это последовательности уровнеобразующих элементов языка разной сложности: от символов алфавита (в письменных текстах) графематического уровня до попарной сочетаемости корневых основ на семантическом уровне.

Видеоряды являются квазитекстами, которые также являются осмысленными последовательностями уровнеобразующих элементов видео-квазиязыка: от простейших элементов изображения на нижнем уровне до допустимой попарной сочетаемости объектов и событий на сцене на семантическом уровне.

На верхнем (семантическом) уровне элементы словаря – пары сочетаемых корневых основ слов, объектов (в зависимости от модальности) семантического уровня конкретного текста (или квазитекста) могут быть виртуально объединены, через одинаковые элементы пар, в однородные направленные семантические сети. Поскольку текст и квазитекст описывают один и тот же фрагмент реального мира в терминах разных модальности (языковой и экстралингвистической), то семантическая сеть текста оказывается изоморфной семантической сети соответствующего квазитекста.

На первом уровне обработки – назовем его фонемным – формируется словарь уровня элементарных представлений 〖{B_i}〗_1, характеризующий наиболее часто встречающиеся элементарные единицы текста – фонемы для звучащего естественного языка. На втором уровне обработки – назовем его уровнем транзем (переходных – коартикулированных – между фонемами участков) – формируется словарь транзем 〖{B_i}〗_2, характеризующий переходы между фонемами. На третьем уровне формируется словарь морфемного уровня 〖{B_i}〗_3, характеризующий наиболее часто встречающиеся единицы текста – флективные морфемы. На следующем – лексическом уровне – представлены словари основ слов, словоформ и сочетаний слов 〖{B_i}〗_4. На синтаксическом уровне – словарь синтаксем, представляющих собой флективную структуру синтаксических групп с выколотыми основами слов 〖{B_i}〗_5. И, наконец – словарь попарной сочетаемости корневых основ 〖{B_i}〗_6 – на семантическом уровне.

 

Формирование семантической сети

Словарь попарной сочетаемости основ слов фактически уже является семантической сетью, поскольку пары слов объединяются своими одинаковыми словами. При этом формируется направленный граф, в котором цепочки могут иметь ветвления. Последующее переранжирование завершает процесс построения семантической сети, когда от частотного портрета текста мы переходим к его смысловому портрету (со взвешенными вершинами и связями).

 

Формирование шаблонов ситуаций в ламелях гиппокампа

Кроме коры больших полушарий другой структурой мозга, существенно важной для формирования семантической сети, является гиппокамп. Ламели гиппокампа (сечения, ортогональные к длинной оси гиппокампа) ответственны за хранение информации о связях образов событий, хранящихся в колонках коры, в рамках целых ситуаций. Пирамидные нейроны поля СА3 p-ой ламели гиппокампа формируют искусственную нейронную сеть Хопфилда, весовые характеристики синапсов которой хранят информацию об объединении образов событий, хранящихся в колонках коры, относящихся к конкретной ситуации, в рамках этой ситуации.

 

N_p=⋃_i▒B_i .

 

Знак крышки [. ̂] над соответствующими событиями в (9) отсутствует потому, что в ламелях гиппокампа в сеть объединяются не элементы словарей – фрагменты траекторий в многомерном пространстве, а их текстовые эквиваленты – их индексы.

Ламели гиппокампа получают информацию от колонок коры, причем и здесь работает ассоциативный принцип обращения к информации. Весь поток информации, поступающий в гиппокамп через переключения из коры, приходит одновременно на все ламели гиппокампа. Но откликаются на этот поток только те ламели, которые содержат информацию о событиях, образы которых присутствуют во входном потоке. Отклик тем больше, чем ассоциация сильней и чем больше вес образов событий в колонках коры.

На каждой итерации взаимодействия коры и гиппокампа поле СА1 гиппокампа (как конкурентная сеть) формирует отклик только одной (или заданного количества) ламели гиппокампа – наиболее близкой к входной ситуации.

Но на этом дело не кончается: в результате отклика текущей ламели, в колонке коры, инициировавшей процесс, происходит дообучение в результате так называемой долговременной потенциации. И на следующей итерации ассоциативная проекция той же ситуации на ламели гиппокампа оказывается измененной из-за этого дообучения, и следующий отклик ламелей изменяется.

После 15-20 итераций образы событий, включенных в ситуацию, в колонке коры изменяются из-за дообучения, которое инициируется моделями ситуаций, хранящихся в ламелях гоппокампа. Вообще говоря, и модели ситуаций в ламелях гиппокампа изменяются также. То есть этот итеративный процесс переупорядочивает информацию в коре о событиях текущей ситуации в соответствии с имеющимися моделями ситуаций, хранящимися в гиппокампе, а эти модели ситуаций принимают к сведению информацию о текущей ситуации, отображенной в виде образов событий в коре.

А поскольку поле СА3 гиппокампа работает в виде громадной автоассоциативной рекуррентной памяти по всей его длине и ширине, множество отдельных моделей ситуаций N_p, которые хранятся в ламелях p, совместно с образами событий, хранящимися в колонках коры, формируют единую семантическую сеть N на многомодальной модели мира, хранящейся в колонках коры. 

 

N=⋃_p▒N_p .

При этом важна не детальное представление хранимых образов, это обеспечивается в коре, а контекстуальные пространственно-временные связи образов в рамках целых ситуаций.

 

 

Анализ письменного текста как изображения

Текст можно рассматривать как изображение, алгоритм обработки которого в сознании человека выглядит примерно следующим образом. В процессе обучения чтению человек последовательно обучается распознаванию символов алфавита, слов, предложений. В процессе обучения человек постепенно переходит от распознавания фрагментов отдельного символа алфавита языка – элементов словаря первого уровня 〖{B_i}〗_1 к его восприятию как целого – элемента словаря второго уровня 〖{B_i}〗_2 – в его сознании формируется словарь символов алфавита – словарь графематического уровня.  Далее он научается использовать символы алфавита в их последовательности в слове. В его сознании формируется словарь флективных структур слова – элементов словаря третьего уровня 〖{B_i}〗_3 – словарь морфемного уровня. Далее он научается использовать флективные структуры в их последовательности в слове вместе с корневыми основами. В его сознании формируется словарь корневых основ слова 〖{B_i}〗_4 – словарь лексемного уровня. После достижения определенных навыков восприятия слов человек начинает воспринимать слова как единый символ с опорой на корневую основу. 

После этого формируется еще два уровня словарей: формируется словарь флективных структур синтаксических групп – элементов словаря пятого уровня 〖{B_i}〗_5, который обеспечивает правильное использование формы текста – словарь синтаксического уровня, а далее, на семантическом уровне, словарь допустимой попарной сочетаемости корневых основ – словарь семантического уровня 〖{B_i}〗_6.

После завершения процесса восприятия слов как целых символов, начинается обучение восприятию слов как символов в их последовательности в предложении: человек начинает воспринимать предложение как единое целое.

 

Структурный анализ цифрового текста

В минимальной конфигурации структурный анализ оцифрованного текста сводится к формированию вместо словарей шести уровней словарей только двух уровней: словаря (1) корневых основ слов 〖{B_i}〗_4 и словаря (2) пар корневых основ слов 〖{B_i}〗_6.

В отличие от изображений текстов, оцифрованные тексты обладают сравнительно малой вариативностью (по крайней мере на уровне словаря корневых основ, который соответствует уровню объектов в анализе изображений). Поэтому, число слоев искусственной нейронной сети на основе нейроподобных элементов с временной суммацией сигналов, используемых для анализа текстов на уровне слов не превышает длины самого длинного слова, например равно 20.

В отличие от изображений тексты линейны: механизм выявления точек наибольшей информативности перестает быть актуальным – элементы словаря корневых основ просто следуют в тексте друг за другом. Отношение между словами (корневыми основами слов) текста сводятся в простейшем случае к отношениям ассоциативности между ними. То есть предложения текста, а следовательно, и весь текст, сводятся к перечислению пар смежных слов (первое-второе, второе-третье, и так далее).

Словарь уровня корневых основ формируется сравнительно просто: подсчетом частоты встречаемости корневых основ в тексте. Поэтому рассмотрим более подробно лишь формирование словаря семантического уровня.

 

Словарь семантического уровня

Словарь семантического уровня 〖{B_i}〗_6 формируется как словарь попарной сочетаемости корневых основ слов: как множество несимметричных пар событий , где c_i и c_j – корневые основы – события, связанные между собой отношением ассоциативности (совместной встречаемости в предложении текста).

Таким образом текст сводится к перечню корневых основ слов и пар корневых основ слов, которые (виртуально) соответствуют однородной семантической сети. То есть на верхних уровнях анализа текста можно перейти к манипулированию семантическими сетями.

 

Семантическая сеть текста

Словарь самого верхнего уровня – словарь попарной сочетаемости корневых основ в тексте (словарь ограничений на сочетаемость) – словарь семантического уровня является виртуальной однородной (ассоциативной) направленной семантической сетью. Действительно, если мы соберем из пар слов (точнее, корневых основ слов) цепочки, то получим цепочки с зацикливаниями и ветвлениями. Однако такая частотная сеть (где известна частота встречаемости отдельных слов в тексте, а также – попарная встречаемость слов в предложениях текста) является лишь исходной основой для получения собственно семантической сети. Для пересчета частот встречаемости в смысловой вес используется переранжирование сети с помощью итеративной процедуры, аналогичной алгоритму сети Хопфилда.

Направленная однородная семантическая сеть N – это граф, вершины которого соответствуют корневым основам слов словаря 〖{B_i}〗_4 корневых основ слов анализируемого текста (корпуса текстов, языка в целом), а дуги – ассоциативной связи – попарной сочетаемости корневых основ слов в предложениях текста.

Определение 1. Под семантической сетью N понимается множество направленных пар событий {}, где c_i и c_j – события, связанные между собой отношением ассоциативности (совместной встречаемости в предложениях текста):

 

N ≈ {}. (11)

 

В данном случае отношение ассоциативности несимметрично: ≠.

Определение 2.  Весом z_i образа события c_i в сети является значение счетчика появления событий во входном тексте.

Шаблон ситуации, включающий шаблон предложения

Механизм восприятия отдельного слова и механизм восприятия отдельного предложения очень сильно отличаются. До уровня слова языка формирование словарей разных уровней (символов алфавита, флективных морфем, корневых основ, устойчивых словосочетаний) осуществляется в колонках коры полушарий большого мозга в процессе структурного анализа. Восприятие отдельных предложений (фраз) опирается на формируемые в ламелях гиппокампа шаблоны ситуаций, в состав которых в доминантном гиппокампе входят и представления предложений текста (в том числе в форме записанного предложения). Шаблоны ситуаций представлены в ламелях гиппокампа в едином для всех ламелей по длине гиппокампа поле CA3 – ассоциативной памяти Хопфилда.

В их формировании наряду с механизмами формирования словарей образов событий различной частоты встречаемости, а также выявления связей между этими образами во входной информации, очень важно вычисление рангов вершин семантической сети, для чего необходим механизм переранжирования их весовых характеристик. 

 

Переранжирование вершин сети

Представление о составе корневых основ слов в текстах языка и их связности – это качественное представление о содержании текста. Анализ содержания текста должен предполагать возможность количественной оценки как рангов вершин этой сети, так и характеристик связей. 

Так при формировании сети на основе большого корпуса текстов получаются корректные весовые характеристики вершин-понятий: частота их встречаемости приближается к их смысловому весу. При анализе малых по объему текстов частота встречаемости уже не характеризует важности понятия. В этом случае для выявления рангов вершин весовые характеристики понятий ассоциативной сети переранжируются посредством итеративной процедуры, аналогичной алгоритму сети Хопфилда, что позволяет перейти от частотного портрета текста к ассоциативной сети ключевых понятий текста:

w_i (t+1)=(∑_(i,i≠j)▒〖w_i (t) 〗 w_ij)σ(E ̅), (12)

здесь w_i (0)=z_i; w_ij=z_ij/z_i; и σ(E ̅ )=1/(1+e^(-kE ̅ )) – функция, нормирующая на среднее значение энергии всех вершин сети E ̅, где z_i – частота встречаемости i-го слова в тексте, z_ij – частота совместной встречаемости i-го и j-го слов в фрагментах текста.

В результате такого переранжирования меняются первоначальные весовые характеристики слов. Слова, которые в сети связаны с большим числом слов с большим весом, в том числе через промежуточные слова, в результате такой процедуры повышают свой вес, вес остальных слов равномерно уменьшается. Полученная числовая характеристика слов – их смысловой вес – характеризует степень их важности в тексте. 

 

Алгоритм

В отличие от изображений – двумерных образов трехмерных объектов, текст – одномерная последовательность элементов языка. Язык представляет собой иерархию уровней, представленную уровнеобразующими элементами от графем (уровень элементов алфавита) до пар корневых основ (уровень представления их допустимой сочетаемости – семантики).

Для простоты (игнорируя подробности формы – морфологию и синтаксис) можно разбить эту иерархию на два уровня: на первом уровне представлены сочетания символов алфавита в словах (корневых основах слов), а на втором уровне – сочетания пар корневых основ.

В процессе обработки конкретного текста (корпуса текстов) эти словари заполнятся первый – корневыми основами слов, а второй – парами корневых основ. Эти последние нам понадобятся для формирования однородной семантической сети.

Для формирования словарей уровнеобразующих единиц языка этих двух уровней (корневых основ и пар корневых основ) нам понадобятся нейронные сети на основе нейроподобных элементов с временной суммацией сигналов (в отличие от традиционно используемых в различных нейросетевых парадигмах – в том числе и в сверточных сетях – нейронов с пространственной суммацией), чтобы отражать связи элементов нижнего уровня в элементах верхнего уровня.

Для анализа текстовых последовательностей будут использоваться искусственные нейронные сети на основе небинарных нейронов с временной суммацией сигналов. Небинарные нейроны отличаются от описанных выше бинарных нейронов с временной суммацией сигналов (которые удобно использовать для объяснения механизма структурной обработки на пальцах, но нельзя использовать для анализа реальных текстов) наличием обобщенного дендрита, на вход которого поступает кодовая последовательность, состоящая из векторов (см. Рис. 7).

 

Небинарный нейрон с временной суммацией сигналов

Небинарный случай, когда на вход поступает недвоичная кодовая последовательность, не отличается посуществу от бинарного, только при этом происходит отображение кодовой последовательности не в одномерный единичный гиперкуб (как в бинарном случае), а во все многомерное пространство.

 

 

Рис. 7. Небинарный нейроподобный элемент с временной суммацией сигналов, у которого имеется несколько (k) обобщенных дендритов (регистров сдвига длины n), включающий сумматор и пороговый преобразователь. Помимо дендритов, сумматора и порогового устройства в состав нейрона входит область памяти для записи гетероассоциативной информации, и счетчики, которые считают число совместных появлений адреса нейрона во входной кодовой последовательности и сопутствующей адресу информации. В качестве входной кодовой последовательности используется последовательность k-значных векторов признаков, элементами которых являются неотрицательные действительные числа. Каждый из которых поступает на свой регистр сдвига. 

В этом случае пирамидные нейроны третьего слоя колонки коры моделируются так называемым динамическим ассоциативным запоминающим устройством (далее – ДАЗУ), которое представляет собой множество (см. Рис. 8) параллельно включенных нейроподобных элементов (см. Рис. 7), запоминающих в соответствующих счетчиках совместные появления фрагментов длины n входной кодовой последовательности, состоящей из k-разрядных векторов и сопутствующей информации.

Множество нейроподобных элементов, составляющих ДАЗУ, формируется под входную информацию: появление на входе ДАЗУ значащей информации (n подряд идущих k-значных векторов признаков) приводит к появлению в ДАЗУ нейроподобного элемента с адресом, соответствующим nхk-элементной матрице, включающей n последовательно идущих k-значных векторов признаков. В ДАЗУ формируется столько нейроподобных элементов, сколько нужно, чтобы отобразить всю входную кодовую последовательность.

Нейроподобные элементы с временной суммацией входных сигналов, входящие в состав ДАЗУ, моделируют своими адресами вершины (nхk)-мерного сигнального пространства. Рассмотрим формализм обработки информации в таком небинарном ДАЗУ.

Пусть мы имеем (nхk)-мерное сигнальное пространство R^(nхk). Для дальнейшего изложения введем некоторые обозначения и определения.

 

 

Рис. 8. Динамическое ассоциативное запоминающее устройство как множество инициированных нейронов.

Обозначим через {A} множество кодовых последовательностей, сформированных сигнальной периферией некоторого (например, речевого) анализатора, элементы которых есть векторы признаков, из которых состоят входные последовательности A=(… a_(-1),a_0,a_1,…,a_i,…), где  a_i – k-значный вектор признаков, компоненты которого – неотрицательные действительные числа (например кепстральные коэффициенты в случае анализа речевого сигнала).  

Обозначим через {A ̂} – множество траекторий последовательностей, соответствующих множеству входных последовательностей {A}, элементы которых a ̂_i  есть точки пространства R^nхk, т.е. a ̂_i∈ R^nхk, где a ̂_i=(a_(i-nхk+1 ,)  a_(i-nхk+2 ,)…,a_i) – последовательные фрагменты длины n последовательности A k-значных векторов, сдвинутые относительно друг друга на один вектор (за один такт времени) – координаты точек многомерного пространства R^nхk.

Определение 3. Траектория – это последовательность точек a ̂_i  многомерного пространства R^nхk, соответствующих входной кодовой последовательности A. 

Введем преобразование F_nхk:

F_nхk:A→A ̂,F_nхk (A)=A ̂, (13)

где A=(…,a_i,…: a_i∈R^nхk),

а A ̂=(…,a ̂_(-2),a ̂_(-1),…a ̂_i,…)=

=(…,(a_(-nхk-1),a_(-nхk),…,a_(-2) ),(a_(-nхk),a_(-nхk+1),…,a_(-1) ),…,(a_(i-nхk+1),a_(i-nхk+2),…,a_i ),…).

Введенное преобразование F_nхk, которое формирует траекторию в nхk-мерном сигнальном пространстве, и координаты точек которой задаются n-членными фрагментами исходной входной векторной последовательности A, является основой для структурной обработки информации (также, как и в бинарном случае). Оно обладает свойством ассоциативности обращения к точкам траектории A ̂  по n-членному фрагменту последовательности A: любые n векторов исходной последовательности A адресуют нас к соответствующей точке траектории A ̂.

Ассоциативность преобразования (13) позволяет сохранить топологию структуры преобразуемой информации: одинаковые фрагменты входной последовательности преобразуются в один и тот же фрагмент траектории, разные – в разные фрагменты траектории. Поскольку в общем случае входная последовательность A может содержать повторяющиеся n-членные фрагменты, это приводит к возникновению точек самопересечения траектории (в том числе, к повторному прохождению целых фрагментов траектории).

Пусть задана некоторая последовательность J и траектория A ̂∈R^nхk, соответствующая последовательности A. Введем функцию M (14), ставящую в соответствие каждой точке траектории A ̂  элемент последовательности J:

M(a ̂_i,j_(i+1) )=〖[a ̂_i]〗_(j_(i+1) ), (14)

Полученную траекторию 〖[A ̂]〗_j будем называть траекторией (также, как и в бинарном случае), обусловленной последовательностью J:

〖[A ̂]〗_j=M(F_nхk (A),J). (15)

Определение 4. Таким образом, функция M осуществляет запись последовательности J в точках траектории A ̂ (в ассоциации с последовательностью A). Назовем эту функцию функцией памяти, последовательность J – информационной или обуславливающей последовательностью, последовательность A – несущей последовательностью, а такой способ записи – гетероассоциативной записью.

Определение 5. Восстановление информационной последовательности J по обусловленной ею траектории 〖[A ̂]〗_J и несущей последовательности A осуществляется с помощью функции:

〖R [A ̂]〗_J= J, (16)

где R назовем функцией считывания. При этом ассоциативное отображение в многомерное пространство несущей последовательности A приводит к прохождению точек соответствующей траектории A ̂, что и позволяет считывать символы последовательности J.

Определение 6. Таким образом, имея несущую последовательность и обусловленную последовательностью J траекторию, с помощью функции (16) можно восстановить исходную информационную последовательность. Такой способ воспроизведения назовем гетероассоциативным воспроизведением.

Пусть A – несущая последовательность. Если в качестве обусловливающей последовательности используется та же последовательность A, то имеем случай самообусловливания. Очевидно, что в этом случае обусловленная последовательность может быть получена следующим образом:

〖[A ̂]〗_A= M (F_nхk (A),A), (17)

где A ̂= F_nхk (A).

Определение 7. В случае самообусловливания, восстановление информационной последовательности возможно с использованием функции (18):

R([A ̂ ]_A )=A. (18)

Такая запись называется автоассоциативной записью, а воспроизведение – автоассоциативным воспроизведением.

Таким образом, использование функций M и R совместно с преобразованием F_nхk, обладающим свойством ассоциативного обращения к информации, позволяет реализовать ассоциативную память с возможностью авто- и гетероассоциативной записи/воспроизведения информации и в небинарном случае.

Учет частоты появления траекторий

В отличие от бинарного случая, где частота перехода в точке ветвления учитывается с помощью двух счетчиков, в небинарном случае этот механизм невозможно реализовать: число комбинаций возможных переходов бесконечно, поскольку траектория формируется во всем объеме сигнального пространства. В естественных нейронных сетях этот механизм реализуется на системном уровне с учетом взаимодействия отдельных нейронов в когнитивных сетях, который осуществляется таламусом. Этот механизм выходит за рамки настоящей работы, поэтому задача решается простым учетом в каждом отдельном случае комбинации адресного фрагмента и адреса целевой точки (адреса следующего нейрона).

Другими словами, под каждую текущую точку траектории и конкретный текущий переход к следующему адресу выделяется отдельный нейрон, поэтому один единственный счетчик этого нейрона запоминает строго число повторений этой комбинации. Дилемма наличия нескольких нейронов с одинаковой адресной частью разрешается простым сравнением счетчиков этих нейронов.

Возвращаясь к естественным нейронным сетям, необходимо сказать, что в реальных ситуациях обработки конкретной информации таламус выделяет подсеть, которая относится только к этой конкретной сенсорной входной последовательности, а потому необходимое число нейронов для хранения именно этой информации, сравнительно невелико.

Таким образом, также, как и в бинарном случае механизм памяти (19) представляет собой счетчик, фиксирующий число прохождений заданной точки траектории в заданном направлении C_(a ̂_i ). Использование счетчиков позволяет определить для заданной точки значение наиболее вероятного перехода. Так же, как и количество потребных для запоминания нейронов, количество счетчиков определяется потребностями конкретного запоминаемого массива информации.

Пусть задана несущая последовательность A, а также порожденная этой последовательностью траектория A ̂.  Тогда счетчики C_(a ̂_i ) для i-й точки траектории A ̂ для t-го момента времени вычисляются следующим образом:

M(a ̂_i,a_(i+1) )=[a ̂_(i+1) ]= C_(a ̂_i ) (t)= C_(a ̂_i ) (t-1)+1|a_(i+1)∈V^s, (19)

где V^s – множество векторов перехода a_(i+1)∈R^nхk для нейрона с данным адресом.

При воспроизведении анализируются состояния счетчиков, и текущий символ формируется в зависимости от выполнения условия:

a_(i+1)=R([a ̂_i ])=R(C_(a ̂_i ) (t))| a_(i+1)∈ V^k. (20)

Такой механизм памяти чувствителен к числу прохождений заданной точки в заданном направлении и позволяет характеризовать каждую точку траектории с точки зрения частоты появления во входной информационной последовательности любого повторяющегося фрагмента. Именно он позволяет сформировать словари повторяющихся фрагментов во входной информации, являясь базовым механизмом для структурной обработки.

Введем пороговое преобразование H с порогом h. Тогда суперпозиция функций H_h RMF_nхk (A) позволит выделить в сигнальном пространстве только такие точки траектории, которые были пройдены не менее h раз.

Использование порогового преобразования по обучению (по числу прохождений траектории) позволяет формировать словари повторяющихся во входных кодовых последовательностях фрагментов (уровнеобразующих элементов уровней языка в выбранном нами случае речевого анализа).

Расфокусированное преобразование

Расширением понятия преобразования F является расфокусированное преобразование F_((r)), преобразующее каждый n-членный фрагмент векторов последовательности не в точку многомерного пространства, а в множество вершин, лежащих в окрестности указанной точки радиуса r. Исходная последовательность A, таким образом, отображается в трубку радиуса r с осью-траекторией A ̂:

A ̂_((r))=F_((r)) (A). (21)

Использование расфокусированного преобразования F_((r)) позволяет увеличить надежность воспроизведения, если при обучении была сформирована нерасфокусированная траектория. При этом, в случае ухода с траектории, в результате зашумления входной информации (например, замены части символов последовательности), среди точек r-той окрестности текущей точки траектории могут содержаться и точки траектории, в которых записана нужная информация. При воспроизведении, на основе этой информации (информации о переходе, содержащейся в счетчиках точек r-ой окрестности), а также взятой со своим весом информации о следующем символе входной последовательности, инициировавшей воспроизведение, принимается решение о следующем символе воспроизводимой последовательности. Решение принимается на основе сравнения значений счетчиков для всех точек r-ой окрестности. 

При этом возможны четыре случая. В первом случае в текущем векторе входная последовательность совпадает с запомненной последовательностью. Воспроизводится запомненная последовательность. Если входная последовательность не совпадает в данном векторе с запомненной, но вес информации о переходе в точках окрестности адресуемой точки превышает вес входной информации, воспроизведение идет по запомненной траектории. Обратная картина: вес входной информации оказывается большим. В этом случае воспроизведение уходит с записанной траектории в пустые области сигнального пространства и прекращается. Воспроизведение восстанавливается после того, как в n-разрядном регистре вновь появится n-членный фрагмент последовательности векторов, адресующий к записанной траектории. Это происходит не более чем за (n-1) тактов. И, наконец, если суммарный вес точек окрестности оказывается равным весу входного вектора – мы имеем случай, когда не можем принять решения на основе записанной информации – решение принимается по информации с верхнего уровня иерархии представлений (см. далее) или по некоторому закону, например – случайным образом.

В этом случае воспроизведение осуществляется вместо формулы (20) по формуле:

a_(i+1)=R([a ̂_i ])=R(C_(a ̂_i ) (t))  | a_(i+1)∈ V_(〖r,a〗_i)^s, (22)

где V_(〖r,a〗_i)^s – окрестность радиуса r точки a_i∈R^nхk.

 

Формирование семантической сети

Искусственная нейронная сеть в этой системе представлена многослойной структурой из множества параллельно включенных нейронов размерности n=2, где в первом слое нейроны формируют адрес при обучении, состоящий из символов двух первых букв корневой основы каждого слова и запоминают они свой индекс, а в каждом последующем слое адрес формируется из индекса предыдущей комбинации и последующей буквы корневой основы этого слова.

Формирование словаря корневых основ

Такая искусственная нейронная сеть имеет несколько слоев (например, 20). В первом слое запоминается двухчленная комбинация символов алфавита, а в последующих слоях запоминается индекс нейрона первого слоя и следующий символ алфавита из анализируемого слова. Помимо этой информации в конкретном нейроне запоминается частота встречаемости этой комбинации в тексте.

Результирующее состояние конкретного нейрона достигается после прекращения изменения его состояния: это значит, что этот нейрон является завершающим в комбинации нейронов, содержащих информацию по конкретной корневой основе. В его памяти хранится частота встречаемости этой корневой основы в тексте.

Аналогичным образом удается отследить наличие в тексте устойчивых словосочетаний. Только в этом случае финальное состояние последнего в цепочке нейрона достигается с последней комбинацией, включающей последний символ алфавита, входящий в это словосочетание.

 

Формирование словаря пар корневых основ

Для второго уровня – семантического – также можно построить нейронную сеть, но проще просто запоминать пары индексов корневых основ, чтобы потом построить из них однородную (ассоциативную) семантическую сеть, с которой далее можно осуществлять различные манипуляции, сравнивая тексты по смыслу, классифицируя тексты, кластеризуя тексты на группы, формируя реферат, или тематический реферат текста.

Формирование однородной семантической сети

Пары корневых основ из словаря попарной сочетаемости (семантического уровня) виртуально составляют однородную (ассоциативную) направленную семантическую сеть, где есть ветвления и зацикливания.
 

Частотная сеть

И вершины, и дуги первичной сети нормированы: первые – частотой встречаемости корневых основ в тексте, вторые – частотой попарной встречаемости корневых основ в предложениях текста.

Для подсчета ранга вершин сети, соответствующих рангам понятий в тексте, необходимо провести итеративную процедуру перевзвешивания, в результате которой ранги соответствующих вершин становятся зависимыми от их связей с другими вершинами сети. Глубина перевзвешивания (число итераций) выясняется либо в следствие сходимости итеративного процесса, либо задается волевым порядком (например, устанавливается равной 10 – выберем таковым среднее число слов в предложении текста).

 

Переранжирование вершин сети

Переранжирование частоты встречаемости в смысловой вес позволяет реализовать интеллектуальные процедуры над текстами и корпусами текстов: извлекать ключевые слова, реферировать, сравнивать по смыслу, классифицировать, кластеризовать.

n-граммная модель текста. Поскольку для произвольного текста нет достоверного априорного знания о равенстве распределений слов в разных позициях строки, вводится контекстная привязка – через условные вероятности. Для этого переходим к n-граммной, а точнее, к «односторонней» n-граммной модели, а именно принятой при использовании n-грамм «правосторонней» модели, в которой вероятность очередного слова строки задается в зависимости от предшествующих ему (n-1) слов, что записывается как p(w_n |w_1  … w_(n-1)). Тогда:

p(w_1… 〖w_(n-1) w〗_n )=p(w_n |w_1…w_(n-1) )  p(w_1… w_(n-1) ).

В терминах вероятности “быть справа” имеем:

p(w_1… 〖w_(n-1) w〗_n )=p(w_n |w_1…w_(n-1) )p(w_(n-1) |w_1…w_(n-2) )… p(w_3 |w_1 w_2 )p(w_2 |w_1)p(w_1), (23)

или

p(w_1… w_n )=(∏_(k=1)^n▒〖p(w_k |w_1…w_(k-1))p(w_1)〗, (24)

 

Введя фиктивный символ «начало» и договорившись, что p(w_1 |w_0)≅p(w_1), можно переписать:

p(w_1… w_n )=(∏_(k=1)^n▒〖p(w_k |w_1…w_(k-1))〗, (25)

 

Оценкой вероятности n-граммы служит частота ее встречаемости:

p ̂(w_i |w_(i-n)…w_(i-1) )=f(w_i |w_(i-n)…w_(i-1) )=(C(w_(i-n)…w_(i-1) w_i))/(C(w_(i-n)…w_(i-1))).

Так для биграммной модели оценкой вероятности биграммы является частота ее появления в тексте:

p ̂(w_j |w_i )=f(w_j |w_i )=(C(w_j w_i))/(C(w_i)).

Использование n-граммной модели хоть и более корректно при анализе текстов с лингвистической точки зрения, увы, невозможно при n>3 для текстов нефлективных языков, а для флективных языков n не может превысить 2, так как в мире не существует такого количества текстов соответствующего языка для обучения модели соответствующей граммности. Для русского языка пользуются, например, 2,5-граммными моделями, где пары рассматривают как пары слов, а в тройки включают наряду с парой слов третьим элементом – грамматическую категорию вместо соответствующего слова. Либо используют другие эмпирические натяжки.

Использование частного случая представления текста в виде однородной семантической сети позволяет ввести n-граммность аналитически.

 

Использование сетевой n-граммной модели для выявления тематики текста. Условно темами будем называть первые слова цепочки слов длины n символов на семантической сети. В случае сошедшегося процесса переранжирования это будут реальные темы текста.

 

Определение 8. В биграммной модели будем считать темами те «вторые» (в биграмме: первое слово-второе слово) слова наибольшего ранга, которые связаны с наибольшим числом «первых» слов. В триграммной модели темами будем считать те «третьи» слова (вторые «вторые») наибольшего ранга, которые связаны с наибольшим числом «вторых» слов, имеющих наибольший ранг в терминах биграммной модели. И так до n-го порядка модели. Тогда в n-граммной модели темами будем считать те «n-е» слова наибольшего ранга, которые связаны с наибольшим числом «(n-1)-х» слов (n-1)-граммной модели. Таким образом, автоматически формируются тематические деревья, в которых главными темами текста являются темы n-го уровня (n-е слова) наибольшего ранга, их подтемами являются темы (n-1)-го уровня ((n-1)-е слова), их подподтемами – темы (n-2)-го уровня, и т.д.

Начнем с рассмотрения тем первого уровня (биграммной модели текста). Для этого сначала рассмотрим понятие семантической сети, которое делает прозрачным применение сетевых n-граммных моделей текста. Для этого введем еще несколько определений. Определение однородной семантической сети было дано ранее.

Применительно к содержанию статьи событиями ci и cj определения семантической сети являются слова wi текста. Следующие друг за другом пары слов (wi, wj) текста и составляют однородную семантическую (ассоциативную) сеть:

N≅{}.

 

В данном случае отношение ассоциативности несимметрично: ≠.

 

Определение 9. Семантическая сеть, описанная таким образом, может быть представлена как множество так называемых звездочек {>}:

N≅{z_i }={>}.

 

Определение 10. Имея в виду, что события w_i и w_j это слова текста, тогда под звездочкой > понимается конструкция, включающая главное слово w_i, связанное с множеством слов-ассоциантов 〖{w〗_j}, которые являются семантическими признаками главного слова, отстоящими от главного слова в сети на одну связь. Связи направлены от главного слова к словам-ассоциантам.

 

Биграммная модель. Если мы будем рассматривать последовательности из двух слов в сети текста, получим биграммную модель. Для каждого второго слова w_j строки из двух слов (w_i,w_j ) первое слово строки w_i («слева-направо») является темой: w_i≅t_i^2 (индекс «2» - поскольку биграммная модель). Объединим все пары слов с одинаковыми темами в звездочки. В этом случае вершина сети, соответствующая слову w_i≅t_i^2, является корневой вершиной одного из тематических деревьев (в данном случае – звездочек).  Так как вероятность появления строки из двух слов (правосторонняя модель) в тексте p(w_i,w_j )=p(w_j│w_i )p(w_i ), вероятность появления темы w_i≅t_i^2 в биграммной модели есть сумма вероятностей появления пар с одинаковым первым словом (вероятность появления звездочки):

 

p(t_i )=p(w_i^2 )=∑_(j=1)^(J_i)▒〖p(w_i,w_j )=∑_(j=1)^(J_i)▒〖p(w_j│w_i )p(w_i^1 ) 〗〗, (26)

 

где J_i – число слов w_j в сети (ассоциантов w_j звездочки), связанных с первым словом w_i. А вероятность p(w_i^1 ) – это исходные вероятности распределения слов в тексте. Введем условное понятие «темы» p(w_i^1 )≅t_i^1 для монограммного распределения. И так для каждого второго слова w_j первое слово пары w_i («слева-направо») является темой: w_i≅t_i^2:

 

p(t_i^2 )=p(w_i^2 )=∑_(j=1)^(J_i)▒〖p(w_i,w_j )=∑_(j=1)^(J_i)▒〖p(w_j│w_i )p(t_i^1 ) 〗〗, (27)

 

Для того чтобы общая полученная сумма вероятностей  P(t_i^2 ) была равна единице: ∑_(n=1)^N▒P(t_n^2 ) =1, где n – число тем, необходимо нормировать полученные для каждой темы t_n^1 суммы. В общем случае число тем совпадает с числом всех слов текста T=W, но обычно выбирают лишь несколько главных тем: T≤W.

Нормирование осуществляется на сумму по всем темам t_i^1:

 

p(t_i^2 )=(∑_(j=1)^(J_i)▒〖p(w_j│w_i )p(t_i^1 ) 〗)/(∑_(i=1)^T▒∑_(j=1)^(J_n)▒〖p(w_j│w_i )p(t_i^1 ) 〗). (28)

 

Здесь p(t_i^1 ) в формуле (27) означает вероятность появления отдельного слова (то есть – вероятность из монограммной модели). А p(t_i^2 ) – вероятность появления звездочки из биграммной модели. Причем, главное слово звездочки в терминах биграммной модели является темой для ее ближайших ассоциантов – семантических признаков – «вторых» слов.

 

Триграммная модель. Рассмотрим теперь не последовательности длиной в два слова, а последовательности длиной в три слова на сети текста, то есть триграммную модель.

 

p(w_i w_j w_k )=p(w_k│w_i w_j )p(w_i w_j )=p(w_k│w_i w_j )p(w_j│w_i )p(w_i ).

 

Тогда вероятность появления строки из первых двух слов в строке из трех слов можно получить, как и в (27) суммированием по третьему слову:

p(w_i w_j )=∑_(k=1)^(K_j)▒〖p(w_i w_j w_k ),〗

и вероятность появления первого слова в строке из трех слов можно получить суммированием по второму слову:

p(w_i )=∑_(j=1)^(J_i)▒∑_(k=1)^(K_j)▒〖p(w_i w_j w_k ).〗

Тогда p(t_i^3 ) вычисляется в соответствие с выражением (27) в рамках биграммной модели, p(w_i )≅p(t_i^2 ), а вероятность появления второго слова пары в зависимости от появления первого слова пары в тексте одна и та же, независимо от граммности модели текста, как следует из сетевого представления текста (взаимосвязанные пары слов остаются теми же):

 

p(t_i^3 )=(∑_(j=1)^(J_i)▒〖p(w_j│t_i^2 )p(t_i^2 ) 〗)/(∑_(i=1)^I▒∑_(j=1)^(J_i)▒〖p(w_j│t_i^2 )p(t_i^2 ) 〗), (29)

 

где t_i^2 и t_i^3 обозначают, соответственно, темы в соответствие с биграммной и триграммной моделями, а число тем, как и ранее, может соответствовать числу слов в тексте T=W, но обычно ограничивается волевым решением до T≤W. К корневым вершинам t_i^3 крепятся через «вторые» слова-вершины t_i^2 – звездочки z_i^3– звездочки биграммной модели.

 

z_i

телефон: +7 968 701 3333

адрес: 115280, Москва, ул. Ленинская Слобода, 26с28
e-mail: info@agsis.ru