INGYENES CRAWLER HOZZÁFÉRÉS ELLENŐRZŐ
Bejutnak a kereső- és AI-botok az oldaladra?
Ellenőrizzük, hogy a Google, a Bing, a ChatGPT, a Claude és a Perplexity keresőrobotjai hozzáférnek-e a weboldaladhoz. Ha nem, feltárjuk, hogy a tiltást a honlapod beállításai vagy a tárhelyszolgáltató okozza-e.
100+ vállalkozásnak segítettünk már
100+ vállalkozásnak segítettünk már
Őket már hamarabb megtalálod a keresőkben
Ilyen eredményt kapsz
Botonként látod, mit enged a robots.txt, milyen választ ad a szerver, és van-e CAPTCHA vagy tárhelyszintű blokkolás.
Minta adatok
| Bot | robots.txt | HTTP válasz | CAPTCHA | Eredmény |
|---|---|---|---|---|
| Googlebot | Engedi | 200 | Nincs | Bejárható |
| GPTBot | Tiltja | 200 | Nincs | Tulajdonos tiltja |
| ClaudeBot | Engedi | 403 | Van | Tárhely blokkolja |
Így működik
Add meg a domaint
Írd be a weboldalad címét, például pelda.hu – regisztráció és e-mail nélkül.
Botonként kopogtatunk
Beolvassuk a robots.txt-t, majd 11 kereső- és AI-bot azonosítójával lekérjük a főoldalt, mérjük a válaszidőt és az átirányításokat, és összevetjük egy sima böngésző eredményével.
Látod, mit tilt és miért
Botonként kiderül, hogy a tulajdonos tiltja, a tárhely vagy a tűzfal blokkolja, vagy CAPTCHA állja útját – és hogy a noindex, a canonical vagy a JavaScript-függőség akadályozza-e az indexelést.
A bejutáson túl: indexelési és technikai jelek
X-Robots-Tag HTTP fejléc
A szerver a forráskódon kívül is küldhet noindex, nofollow vagy noai utasítást. Ezt a legtöbb tulajdonos nem látja, a robotok viszont betartják.
Meta robots címke
A robots.txt a bejárást szabályozza, a HTML-beli meta robots az indexelést. Egy ottfelejtett noindex miatt a bot bejut, az oldal mégsem jelenik meg.
Kanonikus címke
Megnézzük, van-e kanonikus címke, és önmagára mutat-e, vagy véletlenül egy http://-s, www nélküli vagy teljesen más oldalra viszi a rangsorolást.
Szerver válaszidő (TTFB)
Ezredmásodpercben mérjük, mennyi idő alatt érkezik az első bájt. 1,5–2 másodperc fölött pazarlódik a feltérképezési keret, és a botok időtúllépésbe futhatnak.
Oldaltérkép (sitemap.xml)
Hivatkozik-e az XML sitemapre a robots.txt, és 200-as válasszal elérhető-e a fájl – így a botok gyorsan megtalálják az összes fontos aloldalt.
Átirányítási lánc
Megszámoljuk, hány átirányításon át jut el a bot a http:// címtől a végleges oldalig. 3–4 ugrás után egyes AI-botok feladják a követést.
Nyers HTML vagy JavaScript
Ha a letöltött HTML-ben alig van szöveg, csak egy üres gyökérelem és JS-fájlok, az egyszerűbb AI-botok tartalom nélkül láthatják az oldalt.
Google-Extended, Meta és Amazon
A Gemini és az AI Overviews tanítási tokenje, a Meta AI (Llama) gyűjtőbotja és az Amazon AI-keresőjének (Rufus, Alexa) botja is bekerült a vizsgálatba.
Kinek hasznos a crawler ellenőrzés?
Cégtulajdonosok
Kiderül, hogy a tárhelyed nem zárja-e ki észrevétlenül a ChatGPT-t vagy a Googlebotot.
Webshopok
A botvédelem sokszor a jó szándékú robotokat is megfogja – így a termékeid kimaradhatnak az AI-válaszokból. A webshop SEO ebben is segít.
Marketingesek és fejlesztők
Gyorsan bizonyíthatod, hogy a hiba a robots.txt-ben vagy a WAF-ban keresendő.
Próbáld ki ingyen
Add meg a domained, és pár másodperc alatt kiderül, bejárhatják-e a botok az oldaladat.
