??changed:
- A webhely gyökérkönyvtárában elhelyezett robots.txt nevű, egyszerű szöveges fájl segítségével meghatározhatjuk, hogy a különböző [User agent]tel bejelentkező [Keresőrobot]ok a webhely melyik könyvtárát vagy fájlját nem idekszelhetik be. A robots.txt fájlnak a legtöbb webpók engedelmeskedik, ez a fájl önmagában nem jelent technikai korlátot a keresőrobotok és az offline böngészők számára. A robots.txt mellett még a Robots [Meta tagok] segítségével is befolyásolhatjuk a keresőrobotok működését.
A webhely gyökérkönyvtárában elhelyezett robots.txt nevű, egyszerű szöveges fájl segítségével meghatározhatjuk, hogy a különböző [User agent]tel bejelentkező [Keresőrobot]ok a webhely melyik könyvtárát vagy fájlját nem idekszelhetik be. Noha a robots.txt fájlnak a legtöbb webpók engedelmeskedik, ez a fájl önmagában nem jelent technikai korlátot a keresőrobotok és az offline böngészők számára. A robots.txt mellett még a Robots [Meta tagok] segítségével is befolyásolhatjuk a keresőrobotok működését.
--
forwarded from http://webni.innen.hu/RobotsTxt#msg20080808043427-0400@webni.innen.hu
