Andrew Krizhanovsky » Публикация

Аннотация Новый тип документов в вики-разметке завоёвывает Интернет. Это выражается не только в увеличении количества интернет-страниц в этой разметке, но также и в популярности вики-проектов (в частности, Википедии), поэтому всё более актуальной становится задача поиска в вики-текстах. Предложен и реализован способ индексации текстов Википедии на трёх языках: русский, английский и немецкий. Рассмотрена архитектура системы индексирования, включающая программные модули GATE и систему лемматизации Lemmatizer. Описаны правила преобразования вики-текстов в тексты на ЕЯ. Построены индексные базы Русской Википедии и Simple English Wikipedia. Проверено выполнение закона Ципфа для текстов Русской Википедии и Simple English Wikipedia.