Исследование журналов Web-серверов, проведенное Университетом провинции Саскачеван

Изучение журналов Web-серверов, проведенное Университетом провинции Саскачевап, имело целью определить ключевые характеристики Web-трафика [AW97]. Поиск инвариантных характеристик требовал анализа многочисленных журналов для различных типов Web-серверов. Проводился Анализ шесги журналов из трех университетов, двух научных организаций и одного провайдера. Исследователи не имели возможности влиять на состав полей записей в журналах. Эти журналы были в формате CLF и включали в себя имя запрашивающего Компьютера, время запроса, запрошенный URI, код ответа и количество отправленных байтов в ответе в следующем формате:

Hostname — [dd/mmm/yyyy:hh:mm:ss:tz] request status bytes

Журналы не включали информации о времени, потраченном на генерацию и передачу ответов, а также о действительных размерах ответов. Кроме того, не было информации о полном паборе файлов на серверах, которые могли быть запрошены пользователями, прокси-серверами или программами индексирования Web-сайтов. Тем не менее, были получепы некоторые характеристики на основе данных, взятых из журналов серверов, как показано в таблице 9.3. Некоторые основные статистики были рассчитаны непосредственно, исходя из значений полей журналов. Например, число различающихся запрошенных URI, средний размер ответа, а также частоты появления кодов ответов.

Статистики пользовательских предпочтений были рассчитаны, исходя из взаимоотношений значений полей нескольких записей в журналах. Просмотр последовательностей записей в журнале сделал возможным определение времени между последовательными запросами, приходящими на сервер. Это позволило оцепить динамику загрузки сервера. Анализ запрашиваемых URI позволил исследователям определить частоту запросов наиболее популярных ресурсов и время между последующими запросами одного и того же ресурса. Исследование этих свойств было важпо из-за их влияния на эффективность Web-кэширования. Другая информация была получена косвенно на основе полей, содержащихся в журнале. Например, запрашиваемые TJRI были использованы для предположительного определения типа содержимого. Количество переданной информации, связанное с запрошенным URI, использовалось для предположительного определения размера ресурса, равно как частот изменений ресурсов и частот отмены запросов.

Таблица 9.3. Ключевые метрики исследования журналов Web-ссрвсров, проведенное Университетом провинции Саскачеван

Источник: Web-протоколы. Теория и практика. — M.: ЗАО «Издательство БИНОМ», 2002 г. – 592 c.: ил.