De ce site-ul meu nu apare în Google – 8 motive frecvente

De ce site-ul meu nu se afișează în Google? Această întrebare și-o adresează mulți proprietari de site-uri web, care vor ca pagina lor să apară în rezultatele căutării. Majoritatea proprietarilor paginilor web vor să fie cât mai vizibili în motorul de căutare. Uneori se întâmplă însă, ca în loc de mult dorita poziție înaltă – să constați că nici măcar nu exiști în motorul de căutare! Ce să faci atunci? Unde să cauți ajutor?

Din această intrare vei afla:

• Cum setările robots.txt fac ca site-ul tău să nu fie vizibil în Google? 
• Dacă metatagurile pot face ca site-ul tău să nu apară în motorul de căutare? 
• Ce securizare cu parole influențează vizibilitatea paginilor în motorul de căutare? 
• De ce pagina web nu este vizibilă în Google în cazul anumitor setări ale serverului? 
• Ce sunt codurile de răspuns HTTP? 

Până să începi să citești mai departe – să stabilim un lucru. Acest articol oferă indicații cu privire la motivele pentru care pagina ta web nu se afișează în Google. Asta înseamnă că ea nu apare acolo, nu se indexează, nu se afișează nicăieri. Trebuie să diferențiezi această situație de cea în care site-ul tău se afișează pe poziția 86, unde nu îl va vedea nimeni. În acest caz, pagina ta „este în Google”, dar motorul de căutare a considerat că alte pagini web sunt mai valoroase și le afișează mai sus. Să înțeleg că pagina ta chiar nu se afișează în Google, așa-i? Atunci te afli în locul potrivit!

1. Setările în fișierul Robots.txt

Conform indicațiilor Google fiecare domeniu online ar trebui să aibă un fișier robots.txt în directorul său principal. Acest fișier este definiția directoarelor pe care vrem sau nu le vrem indexate în resursele motorului de căutare. Aceste directive sunt citite de Google și de alte motoare de căutare populare (precum BING).

Directiva populară disallow permite excluderea din indexare atât a fișierelor, precum și a directoarelor. Putem bloca indexarea unui anumit fișier în robots.txt foarte ușor:

User-agent: * 
Disallow: /folder/fisiercuparoledeascuns.html

În aces mod, în realitate nu ascundem fișierele, pentru că un utilizator rău intenționat poate citi fișierul robots.txt și să vizualizeze fișierul ascuns.

Întregul folder din resursele motorului de căutare îl excludem astfel:

User-agent: * 
Disallow: /folder/

Blocând folderele, trebuie să avem grijă ca acestea să nu conțină scripturi JS și CSS. Pentru că altfel ar putea apărea noi probleme în motorul de căutare Google.

2. Metataguri ce blochează indexarea

Lipsa indexării paginii tale în Google poate fi cauzată de anumite metataguri. Asigură-te că pe site-ul tău nu ai metataguri ce blochează indexarea, iar dacă le găsești – elimină-le cât mai repede.

Blocarea metatagului „robots” din antetul paginii face ca robotul motorului de căutare să nu poată indexa conținutul și să urmărească linkurile aflate pe site:

<meta name=”robots” content=”noindex, nofollow”>

După adăugarea în antet:

<meta name=”robots” content=”noindex, follow”>

robotul nu va indexa în continuare conținutul, dar va putea urmări linkurile.

Ține minte că chiar dacă site-ul conține metataguri ce blochează indexarea, utilizatorul va putea vedea tot conținutul fără nicio problemă, doar roboții nu-l vor putea indexa potrivit.

3. Blocare cu parolă

Dacă accesul pe site-ul tău online sau a unei părți a acestuia necesită autentificare, atunci, din păcate, robotul Google nu va putea ajunge la conținutul blocat cu o parolă. Nu vor fi vizibile pentru el diferite cuvinte cheie importante și informațiile unice. De aceea, merită să te asiguri că accesul la conținutul relevant este ușor și nelimitat.

Ai observat probleme la indexarea anumitor subpagini ale site-ului tău? Este posibil ca browserul să fi salvat parola și atunci când o accesezi, are loc autentificarea automată – poți verifica asta prin accesarea site-ului în incognito.

În cazul în care conținutul pe site-ul tău este blocat de tine într-un mod conștient, trebuie să ai grijă ca majoritatea informațiilor să fie disponibile pentru robotul motorului de căutare. Proiectează structura datelor în așa fel, încât informațiile esențiale să nu fie protejate cu parola – atunci robotul le va citi și indexa fără probleme.

4. Blocare la nivelul serverului

Atacurile în mediul online și cele asupra site-urilor online pot duce la oprirea traficului de către furnizorul de găzduire. Aceste blocări ad-hoc fac ca, pentru o anumită perioadă de timp, roboții care vor să ajungă pe site-ul tău din localizarea blocată să nu o poată face.

Dacă robotul Google nu poate ajunge pe site, atunci verifică dacă furnizorul tău de găzduire nu a introdus un astfel de blocaj. Lipsa accesului robotului pe site-ul tău influențează negativ evaluarea acestuia. De aceea, dacă problema persistă – ia în considerare schimbarea furnizorului de hosting.

Cauza poate fi, de asemenea, un alt tip de problemă la nivelul serverului – eroare în configurarea domeniului, o schimbare în direcțioarea domeniului în director sau o defecțiune a serverului însuși. Dacă te întrebi, așadar, de ce site-ul tău nu este în Google – începe cu verificarea, dacă tu îl vezi corect. Pur și simplu, scrie adresa site-ului tău în browser și verifică, dacă se afișează corect.

5. Cod de răspuns HTTP eronat

Fiecare accesare a site-ului tău online (și vizitele roboților) duce la generarea unui cod de răspuns de către server – acest cod informează dacă site-ul respectiv poate fi afișat fără probleme.

Dacă pagina web funcționează fără probleme și se afișează corect, serverul generează codul de răspuns „200” – atunci robotul motorului de căutare consideră că site-ul poate fi indexat fără probleme.

Dacă site-ul a fost mutat și se afișează sub o altă adresă, apare codul „301” – acesta reprezintă o indicație pentru robot. Pagina a fost deja indexată în Google, iar acum vrei s-o muți sub o nouă adresă? Pregătește redirecționări 301.

Există și alte coduri de răspuns care semnifică apariția unei probleme care duce la imposibilitatea indexării paginii web. Iată-le:

• 401 Unauthorized (Acces neautorizat) – solicitarea trimisă are nevoie de autorizare, accesul la site nu este posibil. 
• 403 Forbidden (Interzis) – configurarea de securitate aplicată face imposibilă afișarea paginii web pentru server. 
• 404 Not found (Negăsit) – URL-ul completat nu a fost găsit de server. 
• 503 Service Unavailable (Serviciu indisponibil) – solicitarea nu poate fi realizată de server din cauza supraîncărcării. 

Ultimul din codurile menționate poate însemna că site-ul tău nu a fost realizat într-un mod optim și exploatează prea mult serverul. Poate are nevoie de un server cu parametrii mai buni, migrare pe un VPS sau server dedicat. De obicei însă, într-o situație asemănătoare, cauza, pentru care site-ul tău nu se afișează în Google este pentru că pagina web în sine este o sursă de erori – este scrisă într-un mod în care consumă multe resurse.

Deseori, într-o situație asemănătoare, poate fi de ajutor activarea tehnicilor de cache, precum LS Cache și REDIS. Cu ajutorul lor, fiecare accesare a site-ului tău va minimiza de câteva ori încărcarea serverului, pentru că activează mult mai puține procese. Erorile de tip 5xx sunt, așadar, mult mai puțin probabile.

6. Dispozitivele mobile

Din aprilie 2015 motorul de căutare Google ia în considerare, în mod special, dacă website-urile au versiuni mobile. În timpul folosirii motorului de căutare pe dispozitivul mobil, paginile web, ale căror prezentare nu este adaptată versiunii mobile, nu sunt fi afișate în rezultatele căutării.

Pagina ta web nu se afișează în Google pe telefon sau tabletă? Asigură-te, întâi, dacă aceasta se afișează corect pe computer – este posibil să fie indexată corect, dar în concepția Google nu este suficient de valoroasă pentru a se afișa în rezultatele căutării pe dispozitive mobile.

7. Timpul

În cazul noilor site-uri, indexarea în Google necesită mai mult timp. În era nanosecundei multe persoane se așteaptă ca acest timp să fie scurt, de aceea multe persoane se întreabă: „Când Google va indexa pagina mea web?”.

Întâi trebuie să-ți răspunzi la întrebarea, cum caută Google paginile web. În general, există două surse principale: linkurile către pagina ta web din alte surse și ceea ce spui motorului de căutare prin instrumentul Google Search Console.

Presupun că nu vrei să aștepți și să verifici singur, în cât timp site-ul tău se va afișa în Google „singur”, pentru că asta poate dura săptămâni. În cazul unui nou website, o idee mai bună va fi adăugarea paginii în Google Search Console și trimiterea unei solicitări legate de indexare prin interfața GSC. În acest scop, accesează https://search.google.com/ și completează noul tău site.

În menu în partea stângă sus alege „+Alege serviciul”, iar apoi poți decide dacă te interesează adăugarea întregului domeniu sau a unei adrese url concrete.

Pagina ta web va trebui întâi verificată. Asta se realizează prin adăugarea unui fișier mic de verificare pe serverul tău, ce conține un șir de caractere solicitat de Google Search Console, sau printr-o intrare în zona DNS.

Certificatul SSL chiar ajută. Ajută în evaluarea efectuată de Google, în construirea încrederii utilizatorilor în brand și în asigurarea confidențialității datelor cu caracter personal. De aceea, recomand foarte tare folosirea transmisiei criptate, mai ales, că o protecție de bază oferă și certificatele gratuite Let’s Encrypt.

8. Penalități din partea Google

Dacă în evaluarea motorului de căutare, pagina ta web folosește practici ce contravin regulamentului Google – se poate ca aceasta să fie penalizată. Acest lucru nu se întâmplă foarte des atunci când site-urile web sunt administrate „normal” și optimizate potrivit.

Conform specialiștilor din domeniu, penalitățile țin de două arii: linkuri spam către site-ul tău și duplicare de conținut.

Dacă site-ul tău va fi penalizat de Google, atunci SINGURUL mod de a rezolva problema este eliminarea anomaliei. Mai apoi, descrie pașii efectuați pentru a o elimina. Argumentarea privind pierderile financiare nu-și are rostul. Nu lansa amenințări legale – unii oameni chiar încearcă să vorbească în acest fel cu Google!

Așadar, dacă penalitatea din partea Google te atinge – explică scurt, ce linkuri ai reușit să elimini. Dacă ai reușit să ștergi unele – descrie de ce. Elimină conținutul duplicat și trimite o rugăminte pentru scoaterea restricției, asta este tot. Îți rămâne doar să aștepți reacția Google, nu poți grăbi acest proces.

Partea bună este că astfel de penalități sunt aplicate foarte rar.

De ce pagina mea nu este în Google – concluzie

Motivele pentru care pagina ta web lipsește din indexul Google pot fi multiple. Pe scurt, putem spune că acest lucru este legat de ciclul de viață al site-ului.

Paginile web noi, de obicei, nu sunt încă indexate. În acest caz, poți folosi instrumentul Google Search Console pentru a diagnostica situația.

Site-urile web de vârstă medie, deseori, suferă de erori de configurare sau ale fișierului robots.txt, sau conțin metataguri ce blochează indexarea. Aceste blocade au fost create la etapa creării website-ului, pentru ca acesta să nu fie indexat prea devreme. Dezvoltatorul web al site-ului a uitat să le scoată după pornirea versiunii în producție.

Paginile web vechi deseori suferă din cauza problemelor de performanță (erori 5xx), a unui istoric negativ (redirecționări 301 incorecte) sau a unei afișări nepotrivite.

Cauze foarte rare reprezintă penalitățile din partea Google – acelea trebuie să le „meriți”. Care este experiența ta în ceea ce privește indexarea? Ai avut de-a face cu vreuna dintre situațiile descrise de mine? Scrie în comentarii!