Czym jest Googlebot i jak działa - pełny przewodnik

Ten artykuł rozwija temat z: Crawling: Jak roboty Google skanują strony?

Googlebot to kluczowy element wyszukiwarki Google, działający nieustannie w tle, aby organizować zasoby internetu. Zrozumienie jego mechanizmu jest fundamentalne dla każdego, kto chce, aby jego strona internetowa była widoczna w wynikach wyszukiwania. Proces ten, choć złożony, opiera się na logicznych, następujących po sobie etapach.

Więcej o tym przeczytasz w: Jak roboty odnajdują nowe strony w sieci

Czym jest Googlebot? (definicja)

Googlebot to automatyczny robot sieciowy (crawler) stworzony przez Google, którego zadaniem jest odkrywanie nowych i zaktualizowanych stron oraz dodawanie ich do indeksu wyszukiwarki. Działa on bez przerwy, przemierzając sieć w poszukiwaniu treści, które następnie analizuje i kataloguje, aby mogły być wyświetlane użytkownikom jako trafne odpowiedzi na ich zapytania.

Więcej o tym przeczytasz w: Crawl Budget: Budżet indeksowania w SEO

Jak działa Googlebot - proces krok po kroku

Działanie Googlebota można podzielić na trzy główne etapy: skanowanie (crawling), renderowanie (rendering) oraz indeksowanie (indexing). Każdy z tych kroków jest niezbędny, aby strona internetowa mogła pojawić się w wynikach wyszukiwania Google.

1. Skanowanie (crawling)

Skanowanie to proces, w którym Googlebot odkrywa nowe i zaktualizowane strony. Googlebot rozpoczyna od listy adresów URL z wcześniejszych skanowań i map witryn (sitemap), a następnie podąża za linkami (zawartymi w atrybutach href i src), dodając nowo znalezione adresy do kolejki skanowania. W ten sposób robot systematycznie przemierza internet, przechodząc od jednej strony do drugiej.

Częstotliwość i intensywność odwiedzin zależy od tzw. budżetu na indeksowanie (crawl budget). Googlebot przydziela każdej witrynie tzw. crawl budget - popularne serwisy informacyjne, publikujące treści co chwilę, skanuje nawet co kilka minut, a rzadko aktualizowane blogi czy strony firmowe odwiedza raz na kilka dni lub tygodni.

2. Renderowanie (rendering)

Po pobraniu kodu strony Googlebot musi ją "zobaczyć" w taki sposób, w jaki widzi ją użytkownik w przeglądarce. Nowoczesne strony internetowe intensywnie wykorzystują technologie takie jak JavaScript (JS) i CSS do dynamicznego generowania treści i układu. Z tego powodu robot musi przetworzyć te skrypty.

Googlebot renderuje strony przy użyciu silnika opartego na aktualnej wersji przeglądarki Chrome (tzw. Evergreen Googlebot), uruchamiając JavaScript i CSS, by zobaczyć finalną treść tak jak użytkownik. Inicjatywa Evergreen Googlebot, ogłoszona w 2019 roku, zapewnia, że robot jest zawsze na bieżąco z najnowszymi funkcjami przeglądarek i potrafi poprawnie interpretować nowoczesne strony.

3. Indeksowanie (indexing)

Ostatnim etapem jest indeksowanie. Po wyrenderowaniu strony Googlebot analizuje jej zawartość, aby zrozumieć, o czym ona jest. Pod uwagę brane są m.in. tekst, nagłówki (H1, H2), atrybuty alt obrazów, metadane i ogólna struktura HTML.

Jeśli robot nie napotka dyrektywy blokującej (takiej jak znacznik noindex), zapisuje przetworzone informacje w ogromnej bazie danych zwanej indeksem Google. Dopiero po pomyślnym zaindeksowaniu strona ma szansę pojawić się w wynikach wyszukiwania na powiązane z jej treścią zapytania.

Rodzaje Googlebota

Google wykorzystuje różne typy robotów, zoptymalizowane do konkretnych zadań i typów treści. Głównym i najważniejszym z nich jest dziś Googlebot Smartphone.

Ze względu na zasadę mobile-first indexing, Googlebot Smartphone jest domyślnym robotem - Google ocenia i indeksuje strony przede wszystkim w wersji mobilnej. Proces przechodzenia na indeksowanie z priorytetem dla urządzeń mobilnych został zakończony dla wszystkich witryn w 2023 roku. Oprócz niego działa również Googlebot Desktop, który skanuje strony w wersji na komputery.

Poza wersją Smartphone i Desktop działają wyspecjalizowane roboty, takie jak:

• Googlebot Image - do skanowania i indeksowania obrazów.
• Googlebot Video - do analizy treści wideo.
• Googlebot News - dedykowany do treści informacyjnych w usłudze Google News.
• Google-Read-Aloud - używany przez Asystenta Google i inne aplikacje do odczytywania treści stron na głos.

Każdy z tych robotów identyfikuje się za pomocą unikalnego ciągu znaków (user-agent), co pozwala administratorom stron rozpoznać rodzaj wizyty w logach serwera.

Jak kontrolować Googlebota (dla właścicieli stron)

Właściciele witryn mają do dyspozycji kilka narzędzi, które pozwalają zarządzać tym, jak Googlebot wchodzi w interakcję z ich stroną.

• Plik robots.txt: Plik robots.txt umieszczony w katalogu głównym witryny wskazuje Googlebotowi, których podstron lub folderów nie ma odwiedzać. Jest to pierwsza rzecz, którą robot sprawdza po wejściu na stronę. Przykładowy wpis blokujący dostęp do całego folderu może wyglądać tak:

  User-agent: Googlebot
  Disallow: /prywatne-zdjecia/
  

• Znaczniki noindex i nofollow: Te dyrektywy umieszcza się w sekcji <head> kodu HTML strony. Znacznik noindex mówi Googlebotowi "nie dodawaj tej strony do wyników wyszukiwania", a nofollow - "nie podążaj za linkami na tej stronie".

  <meta name="robots" content="noindex, nofollow">
  

  Można je stosować razem lub osobno, w zależności od potrzeb.

• Google Search Console: To bezpłatne narzędzie od Google jest niezbędne dla każdego właściciela strony. Google Search Console pokazuje, kiedy Googlebot ostatnio odwiedził stronę, jakie napotkał błędy (np. błędy 404 - "nie znaleziono strony") i pozwala ręcznie poprosić o zaindeksowanie nowej lub zaktualizowanej podstrony za pomocą narzędzia "Sprawdzenie adresu URL".

Podsumowanie

Googlebot to zaawansowany system, który w sposób metodyczny odkrywa, przetwarza i porządkuje treści dostępne w internecie. Jego działanie opiera się na trzech filarach: skanowaniu w celu znalezienia adresów URL, renderowaniu w celu zrozumienia ich pełnej zawartości oraz indeksowaniu, które jest warunkiem pojawienia się w wynikach wyszukiwania. Skuteczne zarządzanie interakcjami z Googlebotem za pomocą robots.txt, metaznaczników i Google Search Console jest podstawą technicznego SEO.