Основные концепции

• Компоненты Яндекс.Сервера.
• Основные возможности.
• Требования к аппаратному и программному обеспечению.
• Структура и формат конфигурационных файлов.

Компоненты Яндекс.Сервера

Яндекс.Сервер представляет собой продукт, который позволяет организовать полнотекстовый поиск документов в корпоративной сети и на веб-сайтах.

Яндекс.Сервер состоит из следующих компонентов.

Поисковый модуль

Поисковый модуль , или поисковая машина - это подсистема, осуществляющая разбор запроса, полученного от пользователя, поиск документов в индексных файлах, подготовленных ранее индексатором, и формирующая страницы отчета с результатами поиска. Каждой коллекции документов соответствует своя собственная поисковая машина, настройка которой задается в секции Collection конфигурационного файла.

Индексатор

Индексатор - это подсистема, анализирующая документы данной коллекции документов и сохраняющая информацию о них в специальных индексных файлах. Каждой коллекции документов соответствует свой набор индексных файлов, который хранится в отдельном каталоге, и свой собственный индексатор, настройка которого задается в секции Collection конфигурационного файла.

Конфигурационный файл

Работой Яндекс.Сервера можно управлять с помощью специальных команд, опций и директив, которые передаются программе посредством специального конфигурационного файла.

Коллекция документов

Яндекс.Сервер работает с одной или несколькими коллекциями документов, в которых осуществляется поиск. Поиск в каждой коллекции документов осуществляется независимо. Каждая коллекция характеризуется уникальным именем (текстовой строкой). Если используется только одна коллекция документов, ее имя может быть пустым. Правила, по которым составлена коллекция документов, указываются в секции Collection конфигурационного файла.

Источник данных

Индексатор позволяет получать документы из следующих источников: файловая система, базы данных и веб. С этой целью получение содержимого документа осуществляется с помощью отдельных модулей, по одному модулю на каждый формат хранилища документов. Эти модули, понимающие структуру хранилища документов и предоставляющие документы индексатору, в дальнейшем называются источниками данных. Доступна спецификация интерфейса, которая позволяет независимым производителям разработать нужные источники данных. Настройка источника данных задается в подсекции DataSrc секции Collection конфигурационного файла.

Интерпретатор формата документа

Индексатор разработан так, чтобы индексировать документы произвольного формата. С этой целью чтение документа и интерпретация его формата осуществляется с помощью отдельных модулей. Эти интерпретирующие формат документа модули в дальнейшем называются парсерами.

Яндекс.Сервер поставляется с уже настроенными парсерами. При необходимости, любой из парсеров может быть настроен дополнительно.

Для дополнительной настройки парсера задается подсекция DocFormat секции Collection конфигурационного файла. Более подробная информация о парсерах и их настройках размещена в разделах Секция DocFormat, Парсеры (анализаторы содержимого документа), Конфигурация HTML-парсера и Конфигурация XML-парсера.

Языковой модуль

Поисковый модуль и индексатор используют в своей работе языковой модуль. Основная задача языкового модуля - преобразовать слово к его словарной форме с учетом морфологии языка. Алгоритмы морфологического анализа и синтеза основаны на базовом словаре. Они позволяют находить словарную форму слова и строить гипотезы для слов, не содержащихся в базовом словаре. Поддерживается морфология русского и английского языков.

HTTP-сервер

Поисковый модуль является частью HTTP-сервера, который принимает запросы пользователей на поиск документов и возвращает результаты в виде веб-страниц.

Шаблоны страниц

Результаты поиска HTTP-сервер представляет в виде веб-страниц. Для их отображения используются шаблоны, указанные разработчиком сервиса. Методы создания шаблонов страниц описаны в разделе Формирование страниц с результатами поиска.

Основными логическими подсистемами Яндекс.Сервера являются индексатор и поисковый модуль. После создания индексных файлов индексатор прекращает работу, в то время как поисковый модуль после запуска находится в постоянном ожидании запросов на поиск. Для успешного старта поисковому модулю необходимы индексные файлы, созданные индексатором.

Если коллекция документов со временем изменяется за счет добавления, изменения или удаления документов, индексные файлы постепенно теряют актуальность. В этом случае необходимо время от времени запускать индексатор и обновлять индексные файлы. Обычно при этом используются настройки источника данных, позволяющие не переиндексировать неизменившиеся документы.

Основные возможности

Требования к аппаратному и программному обеспечению

Таблица 2.  Поддерживаемые платформы

Для установки Яндекс.Сервера требуется следующее аппаратное и программное обеспечение:

• 300 Мб свободного дискового пространства для установки программных модулей и конфигурационных файлов системы.
• Свободное дисковое пространство для размещения создаваемых системой файлов индекса и временных файлов.

При расчете объема свободного дискового пространства нужно учитывать следующее: общий объем индексных файлов может достигать от 30% до 90% суммарного объема проиндексированных документов. При переиндексации потребуется еще примерно столько же места. Кроме того, при обработке запросов поисковый сервер может создавать временные файлы, количество которых зависит от интенсивности запросов.

Структура и формат конфигурационных файлов

Конфигурационный файл определяет работу Я.Сервера. Для удобства работы конфигурационный файл можно разделить на несколько файлов.

Структура конфигурационного файла следующая:

• секции и подсекции;
• директивы – названия параметров (регистронезависимые);
• аргументы – значение параметра (регистрозависимые).

Например:

<Секция1>
   Директива11: Аргумент11
   Директива12: Аргумент121, Аргумент122
   <Подсекция1>
       Директива111: Аргумент1111 
       Директива112: Аргумент1112
   </Подсекция1>
</Секция1>
<Секция2>
   Директива21  Аргумент211
   Директива22  Аргумент221 Аргумент222
</Секция2>
…
<СекцияN>
   ДирективаN1=АргументN11
   ДирективаN2=АргументN21, АргументN22, АргументN23, АргументN24, АргументN25

Секции и подсекции начинаются со строки <Имя секции> и заканчиваются строкой </Имя секции>. Внутри секций и подсекций располагаются группы директив и аргументов.

Между директивой и аргументом могут стоять: пробел ” ”, двоеточие “:” или равно “=”. Между аргументами – пробел “ ” или запятая ”,”. Аргументы можно переносить на следующую строку используя обратный слеш “\” в конце текущей строки. В одной строке может быть не более одной директивы. В некоторых директивах конфигурационного файла могут задаваться дополнительные конфигурационные файлы.

Строки конфигурационного файла, расположенные внутри секции и начинающиеся с символов “#”, “!” или “;”, рассматриваются как комментарии и игнорируются. Однако, если указанные символы встречаются в середине или конце строки, они считаются значимыми. Помимо этого, в любом месте конфигурационного файла могут быть расположены комментарии в XML/HTML-стиле, начинающиеся с символов “<!-“- и заканчивающиеся символами “-->”.

Пустые строки и пробельные символы в начале строки игнорируются, поэтому могут использоваться, чтобы сделать запись более ясной.

Ниже приведен фрагмент конфигурационного файла:

<Server>
    WorkDir : /yandex/server
    IPAddress : 192.168.0.1
    Host : myhost
    Port : 17000
    Threads : 5
    QueueSize : 20
    ServerLog : server.log
    <Authorization>
        UserName : user
        UserPassword : password
    </Authorization>
</Server>

<Collection id="abc" autostart="yes">
    IndexDir : workindex
    TempDir : newindex

    MorphFixFile :
    GlobalOptions : Update StoreArchive IgnoreWordFreqs DiscardStopWords StoreIndexingDate
    DocProperty :
    Groups :
    <IndexLog>
        Filename : index.log
        Level : Config Warning Info
    </IndexLog>
    <DocFormat>
        MimeType : text/html
        Config : html.cfg
        ...
    </DocFormat>
    ...
    <DataSrc id="ftds">
        Name : ftds
        Config : config.cfg
        Module : libydftds.so
        Symbol : FTDS_DATASRC_LIB
        ...
    </DataSrc>
    <SearchPageTemplate>
        Method : binary
        Module : libreport.so
        Options :
    </SearchPageTemplate>
    ...
</Collection>

<Collection id="def" autostart="no">
    ...
</Collection>

...