4.3. Индексирование веб-страниц

Один или несколько URL документов, с которых индексатор начинает индексирование. Указывать начальный префикс http:// не обязательно. Если в секциях IndexedArea и директиве DefaultAreaOptions не указано по-другому, будет реализовано следующее поведение по умолчанию. URL других документов, кроме указанных, будут получены в результате распознавания гипертекстовых ссылок в тексте уже проиндексированных документов. Будут проиндексированы только документы из тех же веб-директорий, в которых лежат указанные начальные URL, и документы из поддиректорий этих директорий. Содержимое документов будет получено по протоколу HTTP, кодировка документов будет распознана автоматически. При переиндексировании будут повторно индексироваться только новые и изменившиеся документы, а недоступные (удаленные) документы будут удалены из индекса.

Значение по умолчанию: не задан

Пример 1:

  StartUrls www.host.name/

      <IndexedArea>
          HttpPrefix www.host.name/
      </IndexedArea>
      

Пример 2:

  StartUrls www.host.name/docs/doc.html

Пример 3:

  StartUrls http://www.host.name/news/, www.host.name/conference/conf.html

Задает регулярное выражение. Все документы, URL которых содержит подстроку, удовлетворяющую этому регулярному выражению, будут исключены из индексирования.

Значение по умолчанию: не задан

Примеры:

      ! Исключать из индексирования файлы _index.html,
      ! _index.htm, default.html и default.htm
      Disallow /(_index|default)[.]htm[l]?
  
      ! Исключать из индексирования скрипт /lists/showfolder.asp, если
      ! первым в списке cgi-параметров идет параметр с именем fid
      Disallow /lists/showfolder.asp[?]fid=.*
      

Задает регулярное выражение. Будут проиндексированы только те документы, URL которых содержит подстроку, удовлетворяющую этому регулярному выражению.

Значение по умолчанию: не задан

Примеры:

      ! проиндексировать файлы только из архивов за 1990-1999 годы и
      ! из каталога archives
      Allow /(199[0-9]|archive)/
  
      ! проиндексировать файлы только из тех каталогов, имя
      ! которых состоит из 4-х цифр
      Allow /([0-9]{4})/
      

Задает префикс URL по умолчанию, относительно которого может быть задан аргумент директивы HttpPrefix в секциях IndexedArea. Дает возможность задавать относительные URL в секциях IndexedArea.

Значение по умолчанию: http://127.0.0.1/

Пример:

  DefaultHttpPrefix myhost.ru

Задает значение по умолчанию, которое будет использоваться в директиве Options в секции IndexedArea. Это же значение задает способ индексирования при использовании директивы StartUrls, если определяемые ею веб-директории не входят в дерево директорий, определенное в секциях IndexedArea. Аргументы этой директивы описаны в разделе Options

Значение по умолчанию: use_content_type update

Пример:

  DefaultAreaOptions windows-1251

Префикс URL документов, абсолютный или относительно пути, заданного в DefaultHttpPrefix. Все документы, имеющие данный префикс, индексируются по правилам, указанным в Options. Если указан относительный путь, изменение директивы DefaultHttpPrefix при переиндексировании не вызывает переиндексирования данной области индексирования.

Пример:

      <IndexedArea>
          HttpPrefix /
      </IndexedArea>
      

Локальный путь, соответствующий значению HttpPrefix. Дает возможность получать содержимое документов с помощью чтения файлов. Должен быть указан абсолютный путь или путь относительно рабочей директории индексатора. Обязательно наличие директивы HttpPrefix, либо DefaultHttpPrefix.

Значение по умолчанию: не задан

Пример:

      <IndexedArea>
          HttpPrefix www.myhost.ru/
          FilePrefix C:\Inetpub\wwwroot
      </IndexedArea>
      

Параметры индексирования документов в данной области индексирования. Параметры индексирования сначала наследуются от области индексирования верхнего уровня, если такая есть, или от значения директивы DefaultAreaOptions, или от значения по умолчанию, а затем дополняются параметрами, указанными в данной директиве. Аргументы этой директивы описаны в разделе Директива Options

Значение по умолчанию: не задан

Пример:

      <IndexedArea>
          HttpPrefix /
          FilePrefix C:\Inetpub\wwwroot
          Options windows-1251
      </IndexedArea>
      

Значение по умолчанию: AllowMetaRobots

При первом индексировании все документы считаются новыми. Рассмотрим повторное индексирование с использованием существующего индекса. Имеющиеся в нем документы будем называть старыми, остальные индексируемые документы - новыми. Старые документы можно разделить на три группы - изменившиеся, неизменившиеся и недоступные. Изменившимся считается документ, текущее время модификации которого больше, чем время модификации во время предыдущего индексирования. Недоступными считаются документы, если попытка получить их содержимое по URL, известному от предыдущего индексирования, заканчивается неудачей. Остальные документы считаются неизменившимися. Старые документы можно удалять из индекса, переиндексировать или оставлять в индексе без переиндексирования. Следующая таблица представляет значения аргументов, задающие каждый из этих режимов.

Для удобства, наиболее часто встречающиеся режимы обновления индекса можно задать с помощью следующих аргументов.

Значение по умолчанию: Update

При получении содержимого документов через HTTP-соединение можно использовать следующие аргументы.

Значение по умолчанию: RemoveDisconnected, Reconnect

Значение по умолчанию: recognize

Значение по умолчанию: AllowPunctBreaks

Указанные аргументы позволяют задать поисковые документные атрибуты типа LITERAL, дополнительно к атрибутам, назначаемым парсером документного формата во время индексирования документа. Использование данных аргументов позволяет включить документы в определенные тематические разделы на основании структуры веб-директорий, в которых находятся документы. Альтернативно, во время индексирования документы могут получить поисковые документные атрибуты в соответствии с их содержанием. См. обсуждение в разделе Документы, зоны и атрибуты.

Строка имя=значение не должна включать пробелы. Чтобы удалить для данной области индексирования все унаследованные атрибуты, используйте атрибут inherited секции IndexedArea.

Пример:

  <IndexedArea inherited="no">