Dlaczego Google nie widzi Twojej strony?

Kawałki roztrzaskanego telefonu eksplodowały na płytach chodnika. Chwilę wcześniej wpisała do wyszukiwarki „salon fryzjerski warszawa”, wstrzymała oddech… i nic. Dalej nic! Wyszukiwarka uparcie nie chciała indeksować jej strony, nie mówiąc już o wysokich pozycjach. Prychnęła z niezadowoleniem. Każdą komórką ciała czuła wzbierającą złość. Tętno przyspieszyło, szczęka się zaciskała, na czoło wystąpiły krople potu. Właśnie wtedy zadzwonił telefon. To koleżanka z konkurencyjnego salonu… nie miała ochoty z nią rozmawiać. Nie miała na to ochoty tak bardzo, że z całej siły rzuciła telefonem w ziemię. Przeczytaj, jeśli nie wiesz, czemu Google tak „źle” Cię traktuje i przestań mieć kompleksy w stosunku do konkurentów!

1Błędy w pliku robots.txt

Większość stron internetowych ma w swojej strukturze na serwerze plik robots.txt, zawierający dyrektywy kierujące zachowaniem robotów wyszukiwawczych.

Popularna dyrektywa disallow pozwala na wykluczenie z indeksowania zarówno plików, jak i katalogów. Aby zablokować dostęp robota dla pojedynczego pliku wpisz w robots.txt:

User-agent: *
Disallow: /nazwa-folderu/nazwa-pliku.html

Z kolei wykluczenie całego folderu jest równie proste:

User-agent: *
Disallow: /nazwa-folderu/
Disallow: /nazwa-folderu/

Jeśli zatem Twoja strona zawiera plik robots.txt – upewnij się, że nie wyłączasz robotowi dostępu do ważnych folderów lub plików w Twojej strukturze katalogów.

Pamiętaj, że wpis w robots.txt powoduje, że tylko ROBOTY nie mogą indeksować odpowiedniej części strony, podczas gdy prawdziwy, żywy użytkownik zobaczy całą stronę.

To powoduje, że błędy w pliku robots.txt mogą czasem pozostawać niezauważone i powodować, że znaczne części strony nie będą indeksowane, a co za tym idzie – w dalszej
kolejności nie będą mogły znaleźć się wysoko w wynikach wyszukiwania.

2Strona zawiera blokujący metatag

W nagłówku strony internetowej można zawrzeć metatag o nazwie „robots” i wartości wskazującej na zakaz wstępu robotowi wyszukiwarki. W ten sposób można zakazać robotowi indeksowanie treści oraz podążanie za linkami na danej stronie:

<meta name="robots" content="noindex, nofollow">

Natomiast tak pozwolisz robotowi podążać za linkami, choć wciąż nie może on indeksować treści:

<meta name="robots" content="noindex, follow">

Jeśli chcesz, aby robot swobodnie indeksował Twoją stronę, upewnij się, że nie masz takich tagów, a jeśli są – usuń je. Mogły powstać przykładowo podczas początkowego etapu wdrażania strony i ktoś zwyczajnie zapomniał je usunąć.

Ponownie, zwróć uwagę, że umieszczeni takich tagów powoduje, że tylko ROBOTY nie mogą indeksować odpowiedniej części strony, podczas gdy prawdziwy, żywy użytkownik zobaczy całą stronę.

3Blokowanie hasłem

W wielu wypadkach stosuje się dostęp do określonej części strony po wpisaniu nazwy użytkownika i hasła. Może się zdarzyć, że w tej chronionej części znajduje się wiele słów kluczowych i unikatowej treści, która zainteresowałaby robota… gdyby tylko mógł się do niej dostać.

Przykładowo strony programów partnerskich i lojalnościowych często wymagają logowania. Po zalogowaniu dostępne jest natomiast bardzo dużo informacji, które mogłyby zostać zaindeksowane.

Jeśli zatem obserwujesz trudności z indeksowaniem konkretnej podstrony w Twoim serwisie – upewnij się, czy dostęp do niej jest swobodny. Uważaj tylko, żeby nie było tak, że to przeglądarka ma zapisane Twoje hasło i automatycznie loguje Cię do tej części serwisu, a Ty tego nawet nie zauważasz. Sprawdź to najlepiej z osobnego komputera lub przeglądarki w trybie incognito.

Jeśli świadomie blokujesz hasłem dostęp do części strony, ale zależy Ci, żeby robot mógł przeczytać znajdujące się tam treści – musisz niestety przeprojektować strukturę informacji na Twojej stronie tak, żeby jak najwięcej z tych treści uwidocznić „z przodu”, tam, gdzie będą dostępne dla robota wyszukiwarki.

4Blokada na poziomie serwera

Może się zdarzyć, zwłaszcza pod presją różnego rodzaju ataków sieciowych albo ataków na strony internetowe, że operator hostingowy odetnie ruch do serwerów z niektórych lokalizacji. Zazwyczaj tego rodzaju blokady nakładane są doraźnie, na krótki czas. Może to jednak oznaczać, że robot w tym czasie nie będzie miał dostępu do Twojej strony (robot może chcieć dostać się na stronę właśnie z takiej lokalizacji).

Jeśli zatem do tej pory wszystko było w porządku, a nagle dostajesz powiadomienie, że robot Google nie mógł uzyskać dostępu do Twojej witryny – sprawdź u Twojego operatora hostingu, czy nie została nałożona tego rodzaju blokada. Gdyby problem trwał dłużej niż kilka dni, a Tobie bardzo zależy na wysokich pozycjach w Google, rozważ przeniesienie witryny do innego operatora, ponieważ dłuższy czas niedostępności strony dla robota może negatywnie wpłynąć na ocenę Twojej strony przez wyszukiwarkę.

5Błędny kod odpowiedzi serwera

Kiedy ktoś (w tym robot) próbuje wejść na Twoją stronę, zanim pojawi się treść, serwer zwraca kod odpowiedzi, świadczący o tym, czy strona może być wyświetlona.

Prawidłowy kod odpowiedzi to liczba „200”. Oznacza ono, że po stronie serwera nie ma przeszkód do wyświetlenia strony i taką odpowiedź robot uznaje za satysfakcjonującą.

Kod „301” oznacza, że strona została trwale przeniesiona pod inny adres i jest to również wskazówka dla robota wyszukiwawczego. Jeśli przenosisz swoją stronę pod nowy adres, a stary był już zaindeksowany w Google, to polecamy przygotowanie tzw. przekierowania 301.

Inne kody odpowiedzi świadczą o problemach. Jeśli napotka je robot – nie licz zaindeksowanie strony

401 Unauthorized Nieautoryzowany dostęp – żądanie zasobu, który wymaga uwierzytelnienia.

403 Forbidden Zabroniony – serwer zrozumiał zapytanie lecz konfiguracja bezpieczeństwa zabrania mu zwrócić żądany zasób.

404 Not Found Nie znaleziono – serwer nie odnalazł zasobu według podanego URL.

503 Service Unavailable Usługa niedostępna – serwer nie jest w stanie w danej chwili zrealizować zapytania klienta ze względu na przeciążenie.

Jeśli widzisz ten ostatni kod – to najpewniej musisz skonsultować się z Twoim operatorem hostingu lub twórcą Twojej strony. Strona może być stworzona w sposób nieoptymalny i nadmiernie eksploatować zasoby serwera, albo po prostu wymagać mocniejszego serwera – może to oznaczać, że czas przenieść się np. z hostingu współdzielonego na VPS, albo z VPS na serwer dedykowany.

6Urządzenia mobilne

Od kwietnia 2015 roku Google szczególnie mocno zwraca uwagę na mobilne wersje stron. Konkretnie: Jeśli wyszukiwanie następuje z urządzenia mobilnego, a Twoja strona nie jest przystosowana do wyświetlania na urządzeniach mobilnych – zapomnij o widoczności w wynikach wyszukiwania.

Jeśli nie widzisz swojej strony w Google, a korzystasz z urządzenia mobilnego – sprawdź, jak to wygląda na zwykłym komputerze. Być może strona jest prawidłowo indeksowana, tylko zwyczajnie Google uznaje ja za tak mało wartościową do wyświetlania w urządzeniu mobilnym, że nie znajdziesz linków do siebie w telefonie lub na tablecie.

Sprawdź w 10 sekund, czy z Twoją stroną wszystko ok?

Chcesz się dowiedzieć, co warto poprawić na Twojej stronie, żeby uzyskać lepsze wyniki w wyszukiwarce i poprawić konwersje? Tym narzędziem możesz bezpłatnie sprawdzić swoją stronę www w kilka sekund.

Za treść artykułu odpowiada:

Artur Pajkert zdjęcie portretowe

Artur Pajkert

Doktor nauk ekonomicznych, zarządza marketingiem Blink.pl. Autor publikacji naukowych dotyczących marketingu, hostingu i prelegent konferencji.