Posts Tagged ‘boty’

Boty wyszukiwarek w filmach

Przeglądając filmiki na YouTube znalazłem kilka takich, na których ich autor ukazał swoją wizję jak wyglądają boty trzech najpopularniejszych wyszukiwarek – Google, Yahoo! i MSN. Oto one:

Read the rest of this entry »

Meta robots dla plików innych niż HTML

Język HTML posiada tag <meta>, za pomocą którego można dostarczyć dodatkowych informacji o samej stronie. Jednym z możliwych zastosowań tego tagu jest np. <meta name=”robots” content=”noindex, nofollow”> – w taki sposób można poinformować roboty wyszukiwarek że (w tym przypadku) nie powinny indeksować danej strony i podążać za linkami na niej. Tag ten jest wygodny, ale niestety na HTML świat się nie kończy – na stronach mogą znaleźć się jeszcze inne pliki które dadzą się zaindeksować, i które mogą zawierać linki.

Read the rest of this entry »