Szinonima:
robots protokoll, robotok szabályzata
A robots.txt egy egyszerű szöveges fájl, amelyet a weboldal tulajdonosai készítenek, hogy megmondják a keresőmotoroknak (mint például a Google), hogy mely oldalakat és fájlokat látogathatják meg, és melyeket nem.
Ezt a fájlt a weboldal gyökérkönyvtárában helyezik el, és általában olyan információkat tartalmaz, mint a „User-agent” (azaz melyik bot számára szól az utasítás), majd a „Disallow” vagy „Allow” parancsok (tiltás vagy engedélyezés), hogy megadja, mely URL-eket látogathatja meg a bot és melyeket nem.
A robots.txt alapvető eszköze a weboldalak SEO-jának, mivel lehetővé teszi a weboldalak számára, hogy optimalizálják a robotok tevékenységét, és megakadályozzák az értékes crawl keret használatát nem releváns oldalakon.
Kategória: általános online marketing, keresőoptimalizálás
« Vissza a szótár kezdőlapjára 
