Hasło słownika
robots.txt
Plik sterujący tym, co robot może crawlować (lub nie).
SEO i wyszukiwarkikategoria
1aliasy
robots txt
Opis
Nie służy do ochrony danych, tylko do sterowania crawlingiem. Blokada JS/CSS potrafi popsuć rendering i SEO.
Przykłady
- Zła reguła Disallow potrafi wyciąć cały serwis.
- Blokada zasobów CSS/JS może zepsuć ocenę strony.