Заборонити додавання ресурсу в Wayback Machine необхідно для того, щоб:
- зберегти унікальність контенту навіть після видалення сайту;
- у майбутньому продати доменне ім’я та зробити так, щоб ваш контент не асоціювався з новим власником;
- видалити особисту інформацію у відкритому доступі.
Існує кілька способів заборонити додавання сайту до web.archive.org.
1. Звернутися на підтримку веб-архіву
Якщо власник сайту звертається до підтримки, вся існуюча інформація про ресурс буде видалена з архіву інтернету. Також краулери не скануватимуть сайт у майбутньому. Щоб запросити повне видалення сайту з веб-архіву, необхідно написати на пошту info@archive.org та вказати доменне ім’я в тексті повідомлення
Так як адміністрація сайту англомовна, то й лист має бути англійською. Шаблон листа:
Тема повідомлення: DMCA Take Down Notice Саме повідомлення: Sir, I am owner of domain name and website "vector.ks.ua" I request you to remove the following link from your website https://web.archive.org/web/*/vector.ks.ua My Address - "Kherson str. Myru h.20 ap.36" Phone No. - "+380501234567" Email Address - "info@vector.ks.ua" I have a good-faith belief that the disputed use is not authorized by the copyright owner, its agent, or the law. The above information in this notice is accurate, and under penalty of perjury, I am the owner of the copyright interest involved. Signature - "Dmytro Shevchenko"
2. Закрити доступ за допомогою файлу robots.txt
За допомогою файлу robots.txt можна закрити доступ тільки для веб-краулерів. Після чого вони не скануватимуть сайт і інформація про ресурс надалі не потраплятиме до архіву інтернету. Однак важливо враховувати, що раніше просканований матеріал залишиться у Wayback Machine та користувачі зможуть подивитися, як сайт виглядав раніше.
Для заборони доступу необхідно додати до файлу robots.txt таку директиву:
User-agent: ia_archiver
Disallow: /
User-agent:ia_archiver-web.archive.org
Disallow: /
Файл robots.txt має бути у кореневому каталозі домену. Також веб-краулери не відвідують сайти, які захищені паролем.
