Nawet jeśli dopiero zaczynasz interesować się pozycjonowaniem, z pewnością nie raz już zetknąłeś się z pojęciem robot indeksujący. W tym artykule wyjaśnimy, na czym polega jego działanie i na jakich zasadach się opiera, a także wskażemy, jakie są rodzaje robotów indeksujących Google. Na samym początku jednak przypomnijmy ogólną definicję robota internetowego. Najprościej rzecz ujmując, jest to oprogramowanie – automatycznie przeglądające strony internetowe, w sposób systematyczny, wykonując określone, cykliczne zadania. Jeśli natkniesz się gdzieś na określenia – web spider, web crawler czy też web wanderer – pająk, pełzacz i wędrowiec – na pewno chodzi właśnie o roboty internetowe.
Wpływ robotów na pozycjonowanie
Dla nas znaczenie ma to, że działanie robotów internetowych wpływa na pozycjonowanie stron www. Pozwalają one bowiem na szybkie zbieranie informacji o witrynach i segregowanie ich na tej podstawie. Najpopularniejszym z botów jest oczywiście robot indeksujący Google – gdyż to właśnie Google jest najważniejszą wyszukiwarką na świecie i to pozycjonowanie witryn w tej wyszukiwarce jest ważne, jeśli chcemy, aby na naszą stronę internetową trafiło jak najwięcej użytkowników. Googlebot interpretuje HTML i CSS strony, dlatego może szybko zweryfikować poprawność działania witryny, jak też to, czy w kodzie nie zastosowano nieuczciwych – ukrytych dla zwykłego użytkownika strony – technik pozycjonowania (dawniej wśród takich technik znalazło się np. wypisywanie słów kluczowych czcionką zlewającą się z tłem, dzięki czemu było to niewidoczne dla osoby przeglądającej stronę).
Jak działa robot indeksujący Google?
Googlebot indeksuje witryny – przemieszczając się za pomocą linków z jednej strony (podstrony) na drugą. Aby ułatwić działanie robotom, webmaster powinien w danych strony (w głównym katalogu serwera) zamieścić plik robots.txt, w którym zawarte są informacje o witrynie, skierowane właśnie do Googlebota. To ważne, gdyż poprawne zaindeksowanie strony pozwoli na jej wyświetlanie w wynikach wyszukiwania (w pliku możemy także zaznaczyć, których podstron nie chcemy indeksować). Gdy już robot trafi na naszą witrynę – porusza się po niej poprzez linki kierujące do dalszych podstron, w ten sposób orientując się, jak wygląda i jak działa strona.
Robot „czuje się zaproszony” na naszą stronę internetową, jeśli natrafił na linki do niej już wielokrotnie na innych witrynach – oznacza to dla nas tyle, że im więcej mamy odnośników wychodzących, tym szybciej Googlebot odwiedzi naszą witrynę i dokona jej weryfikacji – odpowiedniego zaindeksowania. Wpływ na działanie algorytmu ma też prędkość danej strony – robot indeksujący spędzi bowiem na naszej witrynie tylko określoną ilość czasu, dlatego ważne dla nas powinno być zoptymalizowanie szybkości poprzez usunięcie zbędnych elementów, zmniejszenie ciężaru zdjęć i grafik itd. Dzięki temu wartość strony zostanie lepiej oceniona, co jest równoznaczne z możliwością uzyskania wyższej pozycji w wynikach wyszukiwania.
Jakie rodzaje robotów indeksujących Google działają w sieci?
Podstawowymi robotami indeksującymi Google są Desktop Googlebot oraz Mobile Googlebot. Jak łatwo się domyślić, pierwszy z nich zajmuje się weryfikacją stron www dostosowanych do wyświetlania na dużych ekranach komputerów stacjonarnych, natomiast drugi – na urządzeniach mobilnych (dlatego tak ważna dla pozycjonowania jest też responsywność stron www). Ponadto wymienić można także Video Googlebot, który analizuje i indeksuje treści wideo; Googlebot Images – specjalista od zdjęć i materiałów graficznych; oraz mniej znane Googlebot News, AdsBot oraz Google StoreBot.
Robot indeksujący Google – o czym powinien pamiętać właściciel strony www?
Wiesz już, że indeksowanie strony internetowej jest konieczne do jej wyświetlania w wynikach wyszukiwania Google. Co zatem powinniśmy zrobić, aby upewnić się, że Googlebot znajdzie naszą stronę i odpowiednio ją skataloguje? Możemy na przykład zajrzeć do raportu Statystyki indeksowania, który znajdziemy w Google Search Console. Zobaczymy tam, ile razy robot Google znalazł się na naszej stronie, jak długi był czas oczekiwania na odpowiedź serwera oraz jak często zdarzały się problemy z dostępnością. Jest to opcja dla dużych i średnich witryn z dużą ilością podstron. W pozostałych przypadkach wystarczy upewnić się, że plik robots.txt jest aktualny – jeśli kiedyś wyłączyliśmy daną podstronę z indeksowania, a teraz chcemy, aby wyświetlała się internautom – musimy to zmienić. Jeśli zaś zawsze wszystkie podstrony miały się indeksować – prawdopodobnie nie musimy nic robić, a możemy dać spokojnie działać robotom indeksującym Google.
Indeksowanie witryny to pierwsza i najważniejsza kwestia, bez której pozycjonowanie strony nie mogłoby być prowadzone. Dlatego jeśli dopiero zaczynamy pozycjonować witrynę lub chcemy zlecić to specjalistom – pierwszym krokiem będzie właśnie sprawdzenie, czy strona jest indeksowania przez Googlebot. Jeśli tak – dzięki profesjonalnie prowadzonym działaniom SEO będziemy mogli zdobywać coraz wyższe pozycje w wynikach wyszukiwania Google.
