Проблеми використання роботів в Інтернеті

Содержание:
Вступ
Використання роботів
Статистичний аналіз
Підтримка
Дзеркала
Пошук ресурсів
Комбіноване використання
Ціна використання та застереження
Ресурси мережі та завантаження серверів
Оновлення
Погані реалізації
Ведення каталогу
Забагато матеріалу, що є забагато динамічним.
Визначення що індексувати, а що ні.
Статистичний аналіз
Етика
Альтернативи для пошуку ресурсів
Висновок
Література

Фрагмент работы:
Роботи потребують чималого трафіку. Перші роботи працювали протягом тривалого часу, інколи місяцями. Щоб прискорити виконання завдання, деякі роботи працюють у паралельному режимі, чимало завантажуючи трафік. Навіть віддалені сервери можуть відчути заповільнення роботи, якщо робот отримує велику кількість документів за короткий час. Це призводить до зменшення швидкості роботи інших користувачів, особливо на повільних лініях.
Деякі корпоративні користувачі можуть вбачати пряму залежність між видатками на Інтернет та завантаженістю мережі. Ці видатки окуплять себе для потенційних користувачів, але не окупить використання мережі роботами.
Крім ставлення високих вимог до мережі, роботи можуть ставити високі вимоги серверам. У залежності від частоти отримування документів з серверу, одночасне завантаження багатьох документів може призвести до відчутної завантаженості серверу, що призведе, у свою чергу, до зниження рівню сервісу для інших користувачів, цього ж серверу. У випадку, коли сервер використовується також з іншими цілями, це може бути взагалі не допустимо.
Тому, робот не може часто отримувати документи з одного серверу. Навіть сучасний браузер Netscape страждає на цю проблему, отримуючи вбудовані у сторінку малюнки одночасово. HTTP протокол не пристосований до паралельного отримування документів, тому ведуться розробки нових протоколів.

Литература:
1.Martijn Koster, "A Standard for Robot Exclusion," Nexor Corp., http://web.nexor.co.uk/mak/doc/robots/norobots.html.
2.Martijn Koster, "Robots in the Web: threat or treat?", NEXOR
3.David Eichmann, "Ethical Web Agents"