Comment fonctionne le matching Allow/Disallow
Les crawlers choisissent la règle Allow ou Disallow la plus spécifique pour leur groupe de user-agent. Ce testeur applique un sous-ensemble pratique des règles courantes pour repérer les blocages accidentels avant le déploiement.