Hasło słownika
robots.txt
Plik sterujący tym, co robot może crawlować (lub nie).
SEO i wyszukiwarkikategoria
1aliasy
robots txt
Przykłady
- Zła reguła Disallow potrafi wyciąć cały serwis.
- Blokada zasobów CSS/JS może zepsuć ocenę strony.
Plik sterujący tym, co robot może crawlować (lub nie).