SEO és GEO szójegyzékTechnikai SEO
robots.txt
Meghatározás
A robots.txt egy szöveges fájl, amely a weboldal gyökérkönyvtárában található, és kulcsszerepet játszik a keresőoptimalizálásban. Ez a fájl iránymutatást ad a keresőrobotok számára, hogy mely aloldalakat indexelhetnek, és melyeket kell figyelmen kívül hagyniuk. Fontos, hogy a weboldal-tulajdonosok megfelelően konfigurálják ezt a fájlt, mivel ezzel kontrollálhatják, hogy a keresőmotorok milyen tartalmakat látnak és rangsorolnak. Ha például egy oldal nem kívánja, hogy bizonyos érzékeny információk vagy tesztoldalak megjelenjenek a keresési találatok között, a robots.txt fájl használatával megakadályozhatja ezt. A weboldal üzemeltetői a gyakorlatban a robots.txt fájl szerkesztésével és ellenőrzésével találkoznak, amely segíti őket abban, hogy a keresőoptimalizálás során a kívánt irányba tereljék a weboldalukat.
Gyakori kérdések
Mire való a robots.txt?
A robots.txt egy szöveges fájl a weboldal gyökerében, ami megadja a keresőrobotoknak, mit nézhetnek meg és mit nem. A robotok először ezt olvassák be a feltérképezés előtt.
Mi a különbség a robots.txt és a noindex között?
A robots.txt az oldal feltérképezését tiltja, a noindex pedig azt mondja a keresőnek, hogy bár láthatja az oldalt, ne vegye fel az indexbe. Ha azt akarod, hogy valami ne jelenjen meg a keresőben, a noindexet használd.
Hogyan néz ki egy alap robots.txt fájl?
Például így: User-agent: * Disallow: /admin/ – ez minden robotnak tiltja az /admin/ mappát. Ha teljes tiltást akarsz: Disallow: /, ha mindent engedsz: csak hagyd üresen a Disallow sort.
Hol kell elhelyezni a robots.txt fájlt?
A weboldalad gyökérkönyvtárában, például segedoldalad.hu/robots.txt címen. Ha nem ott van, a keresők nem találják meg, és mindent engedélyezettnek vesznek.
Mit érdemes beleírni egy átlagos robots.txt-be?
Leggyakrabban az admin, bejelentkezési vagy keresési oldalak tiltását, az XML sitemap helyét és mindent mást engedélyezni. Csak azokat zárd ki, amik tényleg feleslegesek a kereső számára.
Lehetnek gondok egy rosszul beállított robots.txt-tel?
Igen, könnyű véletlenül az egész oldalt blokkolni vele. Ha például mindent tilt, a Google nem lát semmit, és nem jelenik meg a keresőben. Ezért mindig ellenőrizd a Search Console-ban módosítás után.