Meta robots dla plików innych niż HTML
Język HTML posiada tag <meta>, za pomocą którego można dostarczyć dodatkowych informacji o samej stronie. Jednym z możliwych zastosowań tego tagu jest np. <meta name=”robots” content=”noindex, nofollow”> – w taki sposób można poinformować roboty wyszukiwarek że (w tym przypadku) nie powinny indeksować danej strony i podążać za linkami na niej. Tag ten jest wygodny, ale niestety na HTML świat się nie kończy – na stronach mogą znaleźć się jeszcze inne pliki które dadzą się zaindeksować, i które mogą zawierać linki.
