КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА
Создание ЭВМ в середине 20-го века и быстрое развитие кибернетических идей (см. Кибернетика) стимулировали появление новых наук, которые ранее просто невозможно было представить. Как правило, они возникали на стыке наук, часто не связанных друг с другом. Так, на стыке биологии и инженерных наук возникла бионика, на стыке психологии и лингвистики - психолингвистика, а на стыке вычислительной техники и лингвистики родилась наука, о которой и пойдет речь в этой статье. Новая наука несколько раз меняла название: сначала она называлась математической лингвистикой, потом структурной лингвистикой и вычислительной лингвистикой. Наконец за ней прочно укрепилось ее современное название - компьютерная лингвистика.
Две причины обусловили появление новой науки. Во-первых, исследователи-лингвисты надеялись, что современные точные науки (и прежде всего математика) помогут лингвистике обрести недостающую ей точность. Появление ЭВМ укрепило эти надежды, так как многим языковедам с самого начала было ясно, что компьютеры - это не только "быстро работающие арифмометры", но и мощное средство для автоматизации работы с текстами. Появилась возможность автоматизировать многие трудоемкие процессы, например статистическую обработку текстов, ведение разнообразных словарных и лексических картотек. Во-вторых, с появлением компьютеров почти сразу же возникла проблема общения с ними неподготовленных пользователей. Бесспорно, наилучшей формой для таких пользователей мог быть привычный естественный язык. 40 для организации такого взаимодействия надо прежде понять законы и особенности использования естественного языка в процессе общения людей между собой. А, как вскоре выяснилось, традиционная лингвистика изучением этих законов практически не занималась.
Так определилось поле деятельности новой науки. К началу 70-х гг. компьютерная лингвистика получила "права гражданства": стали выходить специальные сборники и журналы по компьютерной лингвистике, создавались соответствующие лекции на лингвистических конференциях и конференциях по искусственному интеллекту и, наконец, стали созываться всемирные форумы, посвященные исключительно проблемам этой науки. В большинстве развитых стран начался процесс подготовки специалистов в области компьютерной лингвистики.
В настоящее время в компьютерной лингвистике выделяют пять основных направлений.
Анализ текстов на естественном языке. Лингвисты давно изучают, как устроен текст, и прежде всего предложение, играющее роль кирпичика, из совокупности которых складывается текст. Но лишь с появлением компьютеров эти исследования приобрели новое направление. Группа американских лингвистов выдвинула дерзкую идею, получившую название Джорджтаунский проект, - автоматизировать процесс перевода текстов с одного языка на другой, используя для этого ЭВМ. Идея заинтересовала лингвистов многих стран и активизировала работы в области анализа текстов.
В ходе этих работ надо было ответить прежде всего на вопрос: "Существуют ли строгие формальные правила, по которым строится структура предложения и структура текста?" Если о структуре предложения лингвисты накопили много материала, то структура текста ими не изучалась.
В результате проведенных исследований стало ясно, что за каждым текстом (в том числе и за отдельным предложением, являющимся своего рода мини-текстом) скрывается не одна, а несколько формальных структур, которые можно разделить на три уровня.
Первый уровень - это поверхностная синтаксическая структура. В этой структуре каждое предложение текста рассматривается изолированно от других и для каждого проводится что-то вроде разбора предложения по его членам, как все мы делали в школе. Выделяются подлежащее и сказуемое, определения, дополнения и обстоятельства разного вида. Но этой структуры для анализа оказывается мало. Следующий шаг - построение глубинной синтаксической структуры (второй уровень).
Идея существования глубинной синтаксической структуры связана с пониманием того, что различные естественные языки, отличаясь друг от друга многими внешними синтаксическими особенностями, передают весь спектр взаимосвязей между объектами, явлениями, их свойствами и протекающими с их участием процессами, характерными для окружающего мира. И этот мир един, каким бы языком мы его ни описывали. Следовательно, в каждом тексте существуют не зависящие от особенностей языка некие глубинные структуры, которые определяют адекватное отображение той или иной ситуации в окружающем мире.
С этой идеей тесно связано использование так называемых глубинных падежей, или падежей Филмора, названных по имени американского исследователя, впервые введшего их в научный оборот. Рассмотрим как пример две фразы: "Мальчик сорвал цветок" и "Цветок, сорванный мальчиком". Отвлечемся от того, что активная и пассивная конструкции предложений фиксируют несколько различный смысл сказанного, обращают наше основное внимание на разные стороны ситуации. Остановимся на уровне синтаксиса. В первом предложении субъект действия "сорвал" - это "мальчик". И это слово играет здесь роль подлежащего, о чем свидетельствует именительный падеж. Во втором же предложении роль подлежащего играет слово "цветок", а слово "мальчик" стоит в творительном' падеже. Но субъектом действия "сорвал" и здесь остается все тот же "мальчик". А цветок в любом из двух приведенных предложений играет роль объекта действия. Понимание ситуации, описываемой любым из этих предложений, заключается, в частности, в том, что мы выделяем в тексте некоторое действие, а также его субъект и объект. Позиции субъекта и объекта служат примером тех самых глубинных падежей, которые ввел Филмор. Эти два падежа (субъектный и объектный) не единственные. Разные исследователи выделяют разное количество таких падежей (инструментальный, временной, пространственный и т.д.), но их общее количество не превосходит полутора десятка.
Синтаксическая структура, построенная на основе глубинных падежей, позволяет перейти от синтаксического уровня предложения к его семантическому уровню. На этом уровне для анализа привлекаются дополнительные данные, связанные с наличием у лексических единиц языка (в частности, слов) определенных значений. Сами значения известны носителю языка и хранятся в его памяти. Обращение к памяти позволяет приписать элементам предложения соответствующие им значения и использовать их для понимания текста на семантическом уровне.
В семантических структурах (третий уровень формальных структур) также можно выделить поверхностный и глубинный уровни, в чем-то похожие на соответствующие уровни в синтаксических структурах. Поверхностный семантический уровень тесно связан с глубинной синтаксической структурой, а глубинный семантический уровень как бы отрывается от нее, передавая смысл для целого класса однотипных ситуаций. Например, анализируя фразу: "Женщина пришла домой из магазина очень расстроенная", на поверхностном семантическом уровне мы фиксируем лишь сам факт состояния женщины. На глубинном же семантическом уровне мы сможем высказать предположение о причинах ее состояния - пустые полки магазинов, очереди, отнимающие массу времени и сил, и т. д.
Структуры наиболее "глубокого" уровня, возникающие при анализе предложений, могут быть названы прагматическими. Из них следует понимание того, к чему обязывает или призывает данное предложение. Прагматические структуры устанавливают связь между предложениями в текстах, связывают текст в единое целое, а также побуждают нас делать те или иные действия в реальном мире (как, например, надпись: "Стой! Проход запрещен!").
Чтобы выделить необходимые структуры при автоматическом анализе, надо пройти нескалько последовательных этапов. В укрупненном виде они показаны на рисунке:
ИСХОДНЫЙ ТЕКСТ |
 |
ПРЕДАНАЛИЗ |
 |
МОРФОЛОГИЧЕСКИЙ АНАЛИЗ |
>
 |
ПОВЕРХНОСТНЫЙ СИНТАКСИЧЕСКИЙ АНАЛИЗ |
 |
ГЛУБИННЫЙ СИНТАКСИЧКСКИЙ АНАЛИЗ |
 |
ПОВЕРХНОСТНЫЙ СЕМАНТИЧЕСКИЙ АНАЛИЗ |
 |
ГЛУБИННЫЙ СЕМАНТИЧЕСКИЙ АНАЛИЗ |
 |
ПРАГМАТИЧЕСКИЙ АНАЛИЗ |
 |
ВЫЯВЛЕНИЕ ТЕКСТОВЫХ СТРУКТУР |
В процессе анализа текстов, содержащих более одного предложения, возникают новые структуры, обеспечивающие сцепление этих предложений в рамках некоторой описываемой ситуации или последовательности ситуаций. Возникают межфразовые связи, позволяющие понять текст как единое целое. Эти структуры пока изучены значительно хуже, чем структуры, лежащие в основе одного предложения.
Первый этап - подготовительный, его цель - сделать текст пригодным для ввода в вычислительную машину. Для этого из текста устраняются (если они есть) явные ошибки, расшифровываются сокращения и т. п.
На этапе морфологического анализа обрабатываются отдельные слова: в них выделяются основы и флексии (изменяемые части слов) - приставки, суффиксы, окончания. Основы слов служат для поиска значений слов, хранящихся в специальном словаре основ, а флексии используются для установления грамматических отношений между словами в рамках одного предложения. Эти отношения выделяются на этапе поверхностного синтаксического анализа. Его результатом является одна из возможных (по форме) поверхностных синтаксических структур для каждого из предложений, образующих текст.
На этапе глубинного синтаксического анализа строится глубинная синтаксическая структура, которая затем, на этапах семантического анализа, преобразуется в поверхностную и глубинную семантические структуры.
Последующие этапы, показанные на рисунке, позволяют строить при необходимости прагматические и текстовые структуры.
Указанные этапы охватывают всю задачу анализа текстов на естественном языке. Необходимость в исполнении тех или иных этапов при анализе конкретного текста зависит от тех целей, для которых тот анализ осуществляется.
Синтез текстов на естественном языке. Задача синтеза может рассматриваться как обратная по отношению к анализу. Если заданы некоторая тема и цель будущего текста, то можно считать заданной прагматическую структуру текста. Ее надо декомпозировать в прагматические структуры отдельных предложений и для каждого предложения пройти все этапы анализа в обратном направлении.
На сегодняшний день здесь еще масса нерешенных проблем. Неизвестно, как генерировать прагматическую структуру текста из тех целей, которые стимулируют создание текста. Непонятно, как эту структуру разбить на прагматические структуры предложений и как от этих частных прагматических структур перейти к глубинным семантическим структурам. Более известны методы дальнейшего движения по пути генерации текста.
Один из возможных путей состоит в использовании актантов действий. С каждым действием связан некоторый набор сопутствующих ему объектов и характеристик. Они, как правило, совпадают с глубинными падежами Филмора. Если, например, мы имеем дело с действием "идти", то с ним тесно связаны субъект, совершающий это действие, пункты начала и конца движения, цель движения и т. п. Это позволяет связать с глаголом "идти" некоторую структуру с набором пустых пока мест:
Действие | Идти | Субъект | _______ | Куда | _______ | Откуда | ...
|
---|
Заглавными буквами в этой структуре обозначены некоторые имена. Первое имя конкретизируется глаголом "идти", а остальные имена пока остаются незаполненными. Эти остальные имена и определяют актанты глагола "идти". Примером заполнения может служить структура:
Действие | Идти | Субъект | Петр | Цель | За молотком
|
---|
Ей соответствует фраза: "Петр идет за молоком".
Наличие актантных структур действий позволяет представить процесс синтеза текстов в виде ряда следующих друг за другом шагов. На первом шаге генерируется нужная последовательность глаголов-действий. На следующем шаге заполняются их актантные структуры, что приводит к появлению глубинной семантической структуры отдельных предложений. Затем эти структуры связываются с учётом общих действующих субъектов и используемых объектов, а также иных связывающих параметров в единый текст. Последний шаг - образование синтаксически правильных конструкций в предложениях - в настоящее время не представляет труда, так как теоретически изучен почти досконально.
Таким образом работает, например, автоматическая система создания текстов волшебных сказок, носящая название TALE (сказка), созданная в нашей стране в 70-х годов. На первом шаге она выдает тексты примерно такого вида: "Жил-был X. Не было у Х желаемого Y. Стал просить Х Бога. Бог обещал. Появился Y. Вырос Y. Ушел, раз Х и не велел Y делать Z. Но Y сделалZ. ВернулсяX. Y нет. Понял X, что Y сделал Z. Пошел Х искать Y ..." В памяти системы TALE хранятся данные для заполнения актантов, а одинаковые переменные показывают, что на эти места всюду надо поставить одни и те же заполнители. Так возникает текст: "Жил-был царь. И не было у царя желаемого наследника. Стал царь просить Бога. Бог обещал. Появился наследник. Вырос наследник..."
Мы рассмотрели лишь один из возможных путей построения текстов, да и то не с самого начала. Например, никак не объяснили, как генерируется последовательность глаголов в использованном для примера тексте. Для случая текстов типа волшебных сказок используются формальные специальные грамматики, созданные впервые советским ученым В. Проппом еще в конце 20-х гг. Эти грамматики позволяют строить последовательности действий, не нарушающие логического порядка повествования (например, глагол "ушел X" относительно глагола "X отсутствует" возникнет раньше). В компьютерной лингвистике проблемы синтеза текстов сейчас находятся в центре внимания исследователей, и нет сомнений, что в ближайшее время будут найдены эффективные средства для создания текстов на заданную тему.
Понимание текстов. Проблема понимания текстов на естественном языке включает не только лингвистические аспекты. С 'ней тесно связаны задачи, традиционно решаемые в рамках психологии, философии и семиотики. Рассказывая о проблеме анализа текстов, мы несколько раз ссылались на то, что сам анализ служит инструментом для понимания содержания текста.
Оживление текста. Это одно из самых молодых направлений в компьютерной лингвистике. Своим появлением оно обязано персональным компьютерам, которые впервые дали возможность организовать общение с пользователем не только путем обмена текстами, но и посредством зрительных образов на экране дисплея.
Одной из особенностей мышления человека (едва ли не основной для возможности самого мышления) является его разномодальность. Психологи пользуются этим термином, чтобы подчеркнуть, что наши представления об окружающем мире и о нас самих могут иметь различную природу (различную модальность). Можно "мыслить словами", но можно представлять себе какие-то зрительные картинки, как часто бывает в снах. Есть люди, для которых многие воспоминания состоят из запахов или вкусовых впечатлений. Словом, все наши органы чувств дают свою модальность в мышлении. Но две модальности: символьная (текстовая) и зрительная - являются для человека основными.
Легко проверить, что между этими модальностями имеется весьма тесная связь. Обычно называние чего-то или текстовое описание некоторой ситуации тут же вызывает зрительные представления об этих объектах и ситуациях. И наоборот, стоит нам увидеть нечто, как мы тут же готовы описать увиденное с помощью нашего родного языка. Так текст и сопутствующая ему зрительная картина оказываются объединенными в нашем сознании и интегрированными в некоторое единство. Текст как бы "живет" в виде некоторого образного представления. И изучение того, как происходит эта интеграция и как по одной составляющей представления появляется вторая, - одна из увлекательных задач, стоящих перед специалистами в области компьютерной лингвистики и их коллегами - создателями интеллектуальных систем. Уже найдены некоторые важные законы интеграции текстов и зрительных образов. Созданы первые экспериментальные модели этого процесса и первые интеллектуальные системы, способные описывать в виде текста предъявляемую им картинку (например, пейзаж), а также воссоздавать одну из возможных картин, соответствующих введенному в систему тексту.
Модели коммуникации. Появление искусственных систем, способных воспринимать и понимать человеческую речь (пока в весьма ограниченном объеме) и тексты на естественном языке, создало предпосылки для непосредственного общения человека и компьютера. Это, в свою очередь, повысило интерес лингвистов к процессам, сопутствующим организации и ведению диалога. Примерами могут служить: способ построения сценария диалога на основе тех целей, которые активная сторона в диалоге ставит перед собой; поддержка выбранного сценария с учетом интересов партнера и его возможного противодействия тому сценарию, который используется; нахождение средств маскировки истинных намерений говорящего; организация пассивной поддержки коммуникационного процесса и т. д.
Эти пять направлений, которые активно развиваются в компьютерной лингвистике, естественно не исчерпывают всего содержания этой науки. Но сказанного вполне достаточно, чтобы оценить ее важность и значимость не только для самой лингвистики, но и для создания технических систем, по способностям к диалогу не уступающих человеку.