Plik robots.txt to istotny element technicznej optymalizacji strony. Choć kod może zajmować zaledwie kilka linijek, wpływa na to, jakie treści zostaną zaindeksowane przez Google, a które pozostaną pominięte. W 2025 roku znaczenie pliku robots.txt jeszcze bardziej wzrosło, bo pomaga również w zwiększeniu widoczności w wynikach AI lub też w zablokowaniu sztucznej inteligencji. Przygotowaliśmy kompletny przewodnik o pliku robots.txt – z nim nareszcie dowiesz się, co to jest robots.txt, jak go prawidłowo używać i jak wpływa na SEO!
Co to jest robots.txt?
Robots.txt to plik tekstowy, który znajduje się w głównym katalogu strony internetowej. Informuje roboty wyszukiwarek, jakie zasoby mogą przeszukiwać, a jakie należy pominąć. To prosty, ale bardzo ważny mechanizm, dzięki któremu zyskasz kontrolę nad indeksowaniem treści przez Googleboty, Bingboty czy crawlery AI. W ten sposób możesz chronić niektóre części strony np. z płatnymi treściami dostępnymi jedynie dla subskrybentów, ale też poprawić wydajność i bezpieczeństwo swojej witryny.
Do czego służy plik robots.txt?
Plik robots.txt służy do komunikacji między stroną internetową a robotami wyszukiwarek i crawlerami sztucznej inteligencji. Informuje, które foldery, podstrony lub zasoby np. zdjęcia, skrypty czy filmy mogą być indeksowane.
Do czego służy plik robots.txt? Pomaga także w:
- zapobieganiu duplikacji treści w wynikach wyszukiwania,
- ograniczeniu dostępu robotom wyszukiwarek do treści o niskiej wartości SEO,
- odciążeniu serwera,
- poprawie efektywności indeksowania najważniejszych podstron,
- ograniczeniu indeksowania testowych stron,
- ochronie treści przed botami sztucznej inteligencji, które mogą pobierać dane do trenowania modeli językowych.
Gdzie należy umieścić plik robots.txt?
Plik robots.txt musi znajdować się w głównym katalogu domeny, czyli w lokalizacji: https://przykladowastrona.pl/robots.txt. Tylko wtedy roboty wyszukiwarek i AI będą w stanie go odnaleźć i odczytać jego zawartość.
Błędem jest umieszczenie robots.txt w podkatalogu np. /blog/robots.txt – taki plik nie zostanie rozpoznany.
Zadbaj także o to, aby robots.txt był dostępny publicznie. Dzięki temu każdy użytkownik lub bot będzie mógł go otworzyć w przeglądarce i odczytać. Ważne jest to, abyś zadbał o poprawne kodowanie pliku robots.txt (UTF-8) i prostą strukturę. Wtedy wszystkie dyrektywy zostaną prawidłowo zinterpretowane.
Kiedy warto korzystać z pliku robots.txt?
Stosuj plik robots.txt, jeśli chcesz mieć maksymalną kontrolę nad tym, jakie zasoby Twojej witryny są widoczne dla wyszukiwarek. To korzystne m.in. z perspektywy SEO, ponieważ roboty Google skupią się jedynie na podstronach, które mają realną wartość dla SEO. Szczególnie jest to ważne dla większych serwisów i sklepów internetowych.
Korzystaj też z pliku robots.txt, gdy:
- przenosisz stronę na nową domenę,
- przebudowujesz strukturę strony,
- nie chcesz, by panele administracyjne były widoczne dla robotów,
- chcesz ukryć strony testowe lub robocze wersje podstron,
- chcesz zablokować dostęp botom AI zbierającym dane z witryn.
Jakie wady ma plik robots.txt?
Jedną z najważniejszych wad pliku robots.txt jest to, że nie gwarantuje pełnej ochrony przed indeksowaniem, a wiąże się to z charakterem jego dyrektyw, które mają charakter zalecenia, a nie nakazu. W konsekwencji niektóre boty mogą po prostu zlekceważyć treść tego pliku – szczególnie jest to częste w przypadku botów niezwiązanych z wyszukiwarkami.
Pamiętaj, że błędna konfiguracja robots.txt może zablokować indeksację całego serwisu, a to będzie miało bardzo negatywne konsekwencje dla SEO.
Z czego składa się plik robots.txt?
Plik robots.txt ma prostą strukturę i składa się z kilku podstawowych elementów, które określają zasady dostępu dla robotów wyszukiwarek i AI. Każdy zestaw reguł zaczyna się od określenia agenta użytkownika, czyli bota, do którego odnosi się dana sekcja. Następnie powinieneś zdefiniować dyrektywy, które wskazują, do jakich zasobów bot ma dostęp, a do jakich nie. Możesz również dodać link do mapy witryny, aby pomóc robotom w prawidłowej indeksacji strony.
Przekonaj się, z czego składa się plik robots.txt.
- User-agent np.:
- Googlebot,
- Bingbot,
- * – to najczęściej stosowany znacznik, który określa wszystkie boty.
Przykład:
User-agent: *
- Disallow – informuje boty, których zasobów nie mogą indeksować.
Przykład:
Disallow: /admin/
Oznacza to, że katalog/admin/ nie powinien być skanowany przez roboty.
Jeśli chcesz pozwolić botom na indeksowanie całej witryny, wykorzystaj dyrektywę:
Disallow:
W przypadku, gdy chcesz zablokować botom dostęp do całej witryny, zastosuj dyrektywę:
Disallow: /
- Allow – pozwala robotowi indeksować określony zasób, nawet jeśli katalog nadrzędny jest zablokowany przez Disallow.
Przykład:
Disallow: /blog/
Allow: /blog/przykladowy-artykul.html
- Sitemap – opcjonalna instrukcja, którą warto stosować w celu poprawy efektów SEO. Informuje roboty o lokalizacji mapy witryny (sitemap.xml), pomaga to w szybszym i pełniejszym indeksowaniu strony.
Przykład:
Sitemap: https://domena.pl/sitemap.xml
Jak stworzyć plik robots.txt?
Bez problemu samodzielnie stworzysz plik robots.txt. Zastanów się jednak, jakich poleceń chcesz użyć i do jakich zasobów mają mieć dostęp roboty wyszukiwarek oraz sztucznej inteligencji.
Skorzystaj z naszej instrukcji, jak stworzyć plik robots.txt.
- Otwórz dowolny edytor tekstu np. Notepad, VS Code lub TextEdit.
- Określ zasady dostępu np.:
User-agent: *
Disallow:
Oznacza to, że reguła dotyczy wszystkich robotów i wszystko jest dozwolone.
- Dodaj odpowiednie dyrektywy, jeśli chcesz zablokować niektóre zasoby, np.:
- blokada panelu administratora:
User-agent: *
Disallow: /admin/
- blokada stron koszyka:
User-agent: *
Disallow: /koszyk/
- Dodaj adres mapy witryny np.:
Sitemap: https://przykladowa-adomena.pl/sitemap.xml
- Dodaj reguły dla botów AI np.:
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
- Zapisz plik jako robots.txt z kodowaniem UTF-8 lub ASCII.
- Umieść plik na serwerze – koniecznie w katalogu głównym Twojej domeny.
- Sprawdź poprawność pliku:
Google Search Console → Tester pliku robots.txt
lub skorzystaj z narzędzia online np. https://sitechecker.pro/pl/robots-tester/.
Przykład poprawnego pliku robots.txt:
User-agent: *
Disallow: /koszyk/
Disallow: /admin/
Allow: /
Sitemap: https://przykladowa-domena.pl/sitemap.xml
Jak plik robots.txt wpływa na SEO?
Choć plik robots.txt nie podnosi pozycji strony w wynikach wyszukiwania, to ma pośredni wpływ na SEO. Decyduje o tym, jak roboty wyszukiwarek i AI indeksują i rozumieją Twoją witrynę.
Zadbaj o prawidłowe skonfigurowanie robots.txt, by uniknąć problemów z duplikacją treści, marnowaniem budżetu i indeksowaniem niepotrzebnych stron.
Sprawdź, jak plik robots.txt wpływa na SEO.
Kontroluje, które strony mogą być indeksowane
Za pomocą robots.txt możesz wskazać, które podstrony nie powinny być indeksowane. Dzięki temu do indeksu nie trafią strony nieprzydatne z perspektywy użytkownika. Poprawia to również jakość witryny w oczach Googlebotów.
Przykłady stron, które zazwyczaj są blokowane:
- panel logowania,
- koszyk,
- wyniki wyszukiwania na stronie,
- strony testowe lub robocze.
Optymalizuje wykorzystanie crawl budget
Crawl budget to ilość czasu, jaką robot wyszukiwarek lub AI poświęca na skanowanie Twojej strony. Prawidłowo skonfigurowany plik robots.txt sprawi, że roboty nie będą marnowały czasu na nieistotne podstrony np. parametry, stronę koszyka lub inne filtry. Dzięki robots.txt pokierujesz roboty w taki sposób, aby zajęły się jedynie ważnymi zasobami.
Pomaga uniknąć problemów z duplikacją treści
Odpowiednie dyrektywy w pliku robots.txt ograniczają problem duplikacji treści poprzez blokowanie skanowania np. adresów technicznych, parametrów i powielanych treści, które nie powinny znaleźć się w indeksie.
Ograniczenie ryzyka duplikacji treści jest ważne, ponieważ może to prowadzić do:
- rozproszenia autorytetu SEO,
- spadku pozycji właściwej strony,
- indeksowania małowartościowych adresów zamiast tych ważnych.
Przykład dyrektywy, która pomoże Ci wykluczyć zbędne wersje tej samej strony:
Disallow: /strona?sort=*
Jak sprawdzić, czy plik robots.txt działa prawidłowo?
Możesz wykonać kilka prostych kroków, aby sprawdzić, czy plik robots.txt działa prawidłowo. Poniżej przedstawiamy najczęstsze metody.
- Skontroluj, czy plik jest dostępny pod właściwym adresem np. https://przykladowa-domena.pl/robots.txt. Jeśli tekst wyświetla się w formie czystego tekstu, to znaczy, że jest poprawnie umieszczony i serwer go udostępnia.
Gdy wyświetli się błąd 404, oznacza to, że plik nie istnieje lub znajduje się w złym miejscu.
Gdy wyświetli się błąd 403, oznacza to, że serwer blokuje dostęp do pliku i musisz zmienić konfigurację.
- Użyj narzędzia testowego w Google Search Console – jest to opcja dostępna jedynie dla domen zweryfikowanych w GSC. Narzędzie pokaże Ci, czy składnia pliku jest poprawna, jakie boty mogą uzyskać dostęp lub też, gdzie występuje błąd.
- Skorzystaj z zewnętrznych narzędzi – to prosta i szybka metoda. Polecamy poniższe narzędzia:
- TechnicalSEO – analizuje reguły i wskazuje ewentualne błędy w robots.txt;
- Ahrefs – możesz przeprowadzić audyt techniczny i sprawdzić, czy robots.txt blokuje ważne podstrony;
- Rank Math – sprawdza poprawność pliku robots.txt, pokazuje wykorzystane reguły.
FAQ – Co jeszcze warto wiedzieć na temat pliku Robots.txt?
Czy w pliku robots.txt można zabronić dostępu do treści sztucznej inteligencji?
Tak, możesz użyć plik robots.txt do poproszenia sztucznej inteligencji, aby nie indeksowały lub nie trenowały na Twoich danych. Nie daje to jednak gwarancji, że tego nie będą robiły.
Przykładowa reguła blokująca konkretny bot (GPTBot) AI:
User-agent: GPTBot
Disallow: /
Jak dodać plik robots.txt do WordPressa?
W WordPress możesz dodać plik robots.txt poprzez:
- bezpośrednie wgranie pliku do katalogu głównego serwera przez FTP,
- wykorzystanie wtyczki np. Yoast SEO – przejdź do zakładki SEO → Narzędzia → Edytor pliku; włącz możliwość edycji pliku robots.txt i dodaj własne dyrektywy.
Jaki format powinien mieć plik robots.txt?
Plik musi zostać zapisany w formacie .txt, kodowany w UTF-8, bez znaków BOM, i umieszczony w głównym katalogu domeny.
Jakie są najczęstsze błędy podczas tworzenia pliku robots.txt?
Do najczęstszych błędów należą:
- blokowanie całej witryny przez Disallow: /;
- literówki w nazwach katalogów;
- umieszczenie pliku w podkatalogu, a nie w głównym katalogu;
- brak reguł dla botów AI.
🚀Podsumowanie: Robots.txt – kompletny przewodnik
Plik robots.txt umożliwia kierowanie botów wyszukiwarek i AI do odpowiednich podstron, a także blokowanie ich dostępu do określonych zasobów. Umożliwia to:
- kontrolowanie procesu indeksacji,
- ochronę wrażliwych katalogów,
- optymalizację crawl budget,
- zapobieganie duplikacji treści.
Prawidłowo skonfigurowany plik zwiększa widoczność najważniejszych podstron, wpływa pozytywnie na SEO i AEO, a do tego poprawia bezpieczeństwo witryny. Skorzystaj z naszej instrukcji, dzięki której łatwo i szybko stworzysz plik robots.txt z właściwymi regułami.
