Индексирование веб-страниц

Задает один или несколько URL документов, с которых индексатор начинает индексирование (указывать начальный префикс “http://” необязательно).

Если в секциях IndexedArea и директиве DefaultAreaOptions не указано по-другому, будет реализовано следующее поведение по умолчанию. URL других документов, кроме указанных, будут получены в результате распознавания гипертекстовых ссылок в тексте уже проиндексированных документов. Будут проиндексированы только документы из тех же веб-страниц, в которых лежат указанные начальные URL, и документы из подчиненных страниц. Содержимое документов будет получено по протоколу HTTP, кодировка документов будет распознана автоматически. При переиндексировании будут повторно индексироваться только новые и изменившиеся документы, а недоступные (удаленные) документы будут удалены из индекса.

Пример 1:

StartUrls : www.host.name/

Будут проиндексированы все документы сайта http://www.host.name, на которые можно перейти с главной страницы по гипертекстовым ссылкам за один или несколько "кликов". Данная конфигурация полностью эквивалентна следующей (см. IndexedArea):

<IndexedArea>
    HttpPrefix : www.host.name/
</IndexedArea>

Пример 2:

StartUrls : www.host.name/docs/doc.html

Будут проиндексированы все документы в каталоге http://www.host.name/docs/, на которые можно перейти с документа http://www.host.name/docs/doc.html. Документы, URL-ы которых начинаются не с http://www.host.name/docs/, проиндексированы не будут.

Пример 3:

StartUrls : http://www.host.name/news/, www.host.name/conference/conf.html

Будут проиндексированы документы, URL-ы которых начинаются с http://www.host.name/news/ или с http://www.host.name/conference/, и на которые можно перейти за один или несколько "кликов" хотя бы с одной из страниц http://www.host.name/news/ или http://www.host.name/conference/conf.html.

Определяет один или несколько CGI параметров, которые будут игнорироваться индексатором при обходе.

Директива позволяет игнорировать часто меняющиеся параметры в URL, не влияющие на контент страницы. Обычно это сессионные параметры.

Пример:

IgnoreCGIParameters : id sid

При индексировании документов из всех полученных URL будут предварительно удаляться параметры id и sid.

http://somehost/somepath/somescript?id=someid&param1=value1&sid=12343454567

Для такого URL будут удалены параметры id и sid, в результате чего индексатор получит URL:

http://somehost/somepath/somescript?param1=value1

Примеры:

! Исключать из обхода индексатором файлы _index.html,
! _index.htm, default.html и default.htm
DisallowFollow : /(_index|default)[.]htm[l]?

! Исключать из обхода индексатором скрипт /lists/showfolder.asp, если
! первым в списке cgi-параметров идет параметр с именем fid
DisallowFollow : /lists/showfolder.asp[?]fid=.*

Примеры:

! обходить индексатором файлы только из архивов за 1990-1999 годы и
! из каталога archives
AllowFollow : /(199[0-9]|archive)/

! обходить индексатором файлы только из тех каталогов, имя
! которых состоит из 4-х цифр
AllowFollow : /([0-9]{4})/

Примеры:

! Исключать из индексирования файлы _index.html,
! _index.htm, default.html и default.htm
DisallowIndex : /(_index|default)[.]htm[l]?
  
! Исключать из индексирования скрипт /lists/showfolder.asp, если
! первым в списке cgi-параметров идет параметр с именем fid
DisallowIndex : /lists/showfolder.asp[?]fid=.*

Примеры:

! проиндексировать файлы только из архивов за 1990-1999 годы и
! из каталога archives
AllowIndex : /(199[0-9]|archive)/

! проиндексировать файлы только из тех каталогов, имя
! которых состоит из 4-х цифр
AllowIndex : /([0-9]{4})/

Пример:

DefaultHttpPrefix : myhost.ru

Задает значение по умолчанию, которое будет использоваться в директиве Options в секции IndexedArea. Это же значение задает способ индексирования при использовании директивы StartUrls, если определяемые ею веб-страницы не входят в дерево, определенное в секциях IndexedArea.

Аргументы этой директивы описаны в разделе Options.

Пример:

DefaultAreaOptions : windows-1251

Определяет индексатору диапазон IP-адресов, разрешенных для обхода.

Позволяет решить задачу индексации всех сайтов в пределах заданного диапазона IP-адресов, если на эти сайты индексатору удалось найти ссылки. Отменяет ограничения, определенные директивой HttpPrefix (если определена в секции IndexedArea).

Пример:

IpMask : 192.168.[1-10].* 10.*.*.* 192.*.*.1

В примере показано, как задать индексатору обход IP-адресов, начинающихся на 192.168 с третьим числом от 1 до 10 включительно и произвольным четвертым числом, начинающихся на 10 и начинающихся на 192 и заканчивающихся числом 1.

Пример:

<IndexedArea>
    HttpPrefix : /
</IndexedArea>

Пример:

<IndexedArea>
    HttpPrefix : www.myhost.ru/
    FilePrefix : C:\Inetpub\wwwroot
</IndexedArea>

Параметры индексирования документов в данной области индексирования.

Параметры индексирования сначала наследуются от области индексирования верхнего уровня, если такая есть, или от значения директивы DefaultAreaOptions, или от значения по умолчанию, а затем дополняются параметрами, указанными в данной директиве.

Аргументы этой директивы описаны в разделе Директива Options.

Пример:

<IndexedArea>
    HttpPrefix : /
    FilePrefix : C:\Inetpub\wwwroot
    Options : windows-1251
</IndexedArea>

Сообщает индексатору о необходимости индексировать поддомены стартового домена. Эта опция отменяет ограничение, накладываемое параметром StartUrls или HttpPrefix. В результате будут проиндексированы все документы домена и всех поддоменов, доступные из стартового URL.

При первом индексировании все документы считаются новыми. Рассмотрим повторное индексирование с использованием существующего индекса. Имеющиеся в нем документы будут называться старыми, остальные индексируемые документы - новыми. Старые документы можно разделить на три группы - изменившиеся, неизменившиеся и недоступные. Изменившимся считается документ, текущее время модификации которого больше, чем время модификации во время предыдущего индексирования. Недоступными считаются документы, если попытка получить их содержимое по URL, известному от предыдущего индексирования, заканчивается неудачей. Остальные документы считаются неизменившимися. Старые документы можно удалять из индекса, переиндексировать или оставлять в индексе без переиндексирования.

Убирать из индекса данные о недоступных документах и индексировать заново новые и изменившиеся документы, не индексировать неизменившиеся документы. Эквивалентен заданию indnew, indmod, skipold, remmiss.

Используется по умолчанию.

Убирать из индекса недоступные документы и индексировать заново все существующие, независимо от того, изменились ли они со времени предыдущего индексирования.

Эквивалентен заданию indnew, indmod, indold, remmiss.

Индексировать документы в данной области индексирования, но не убирать из индекса недоступные документы. Этот флаг полезен при индексировании временно недоступных документов.

Эквивалентен заданию indnew, indmod, skipold, skipmiss.

Убирать из индекса удаленные документы и индексировать заново только новые документы, проиндексированные ранее документы не переиндексировать, даже если время их изменения увеличилось.

Эквивалентен заданию indnew, skipmod, skipold, remmiss.

Не индексировать документы из данной области индексирования, убирать из индекса все ранее проиндексированные документы из этой области.

Эквивалентен заданию skipnew, remmod, remold, remmiss.

Не индексировать документы из данной области индексирования, но сохранить в индексе ранее проиндексированные документы из этой области.

Эквивалентен заданию skipnew, skipmod, skipold, skipmiss.

Всегда распознавать кодировку символов автоматически.

Используется по умолчанию.

Указанные аргументы позволяют задать поисковые документные атрибуты типа LITERAL, дополнительно к атрибутам, назначаемым парсером во время индексирования документа. Использование данных аргументов позволяет включить документы в определенные тематические разделы на основании структуры веб-страниц, в которых находятся документы. Альтернативно, во время индексирования документы могут получить поисковые документные атрибуты в соответствии с их содержанием. См. обсуждение в разделе Документы, зоны и атрибуты.

Строка имя=значение не должна включать пробелы. Чтобы удалить для данной области индексирования все унаследованные атрибуты, используйте атрибут inherited секции IndexedArea.

Пример:

  <IndexedArea inherited="no">

GET _относительный_урл_документа_ HTTP/1.1
Host: _имя_хоста_с_которого_запрашивается_документ_

будет заменен на

GET _абсолютный_урл_документа_ HTTP/1.1

и HTTP-соединение будет устанавливаться с прокси-сервером, а не хостом, на котором расположен документ. Прокси-серверы, требующие отдельной авторизации со стороны пользователя, не поддерживаются в данной версии.

Позволяет задавать любые HTTP-заголовки в формате

Имя: Значение

В этом примере будет добавлен HTTP-заголовок с именем Имя и значением Значение.

Правила хорошего тона при индексировании независимых ресурсов требуют задания HTTP-заголовков: User-Agent, который содержит идентифицирующую информацию о программе-клиенте, пославшей запрос, и From, который должен содержать электронный адрес администратора программы-клиента в формате, определенном в RFC 822.

Если ключи User-Agent и/или From отсутствуют, будут посланы заголовки по умолчанию, указанные выше.

Кроме того, всегда будут посланы заголовки Connection и, если необходимо, If-Modified-Since, поэтому их не следует указывать в данной секции.

Имя и пароль кодируются по base64.

Например, комбинация следующих ключей в секции Authorization

<Authorization>
    UserName : yandex
    UserPassword : asdf12345
</Authorization>

эквивалентна заданию директивы

<Headers>
    Authorization : Basic eXNpdGU6YXNkZjEyMzQ1
</Headers>

в секции Headers и приведет к включению соответствующего HTTP-заголовка.