PROJET AUTOBLOG


shaarli-Liens en vrac de sebsauvage

Site original : shaarli-Liens en vrac de sebsauvage

⇐ retour index

Robots.txt meant for search engines don’t work well for web archives | Internet Archive Blogs

dimanche 23 avril 2017 à 07:51
Archive.org ne va plus tenir compte des robots.txt pour archiver les sites. C'est très bien. Trop de sites se servent des robots.txt pour faire disparaître des pages d'archive.org par simple convenance.
(Permalink)