Détection et gestion des entêtes HTTP
Lors de leurs parcours du web, les robots indexent page après page, l’ensemble du web tout simplement en suivant les liens qu’elles contiennent. Seulement voilà, autant nous pouvons souhaiter indexer le maximum de pages...