Failā robots.txt, kas tiek glabāts jūsu vietnes saknē, interneta robotam, piemēram, meklētājprogrammu zirnekļiem, tiks rādīts, kuri direktorijas un faili viņiem ir atļauts rāpot. Faila robots.txt ir viegli lietot, taču ir dažas lietas, kas jāatceras:
- Black hat tīmekļa robots ignorēs jūsu robots.txt failu. Visbiežāk sastopamie tipi ir ļaunprātīgas programmatūras robotprogrammatūras un roboti, kas meklē e-pasta adreses, lai iegūtu ražu
- Daži jaunie programmētāji uzrakstīs robotus, kas ignorē robots.txt failu. Tas parasti tiek izdarīts kļūdas dēļ.
- Ikviens var redzēt jūsu robots.txt failu. Tos vienmēr sauc par robots.txt un vienmēr tiek glabāti tīmekļa vietnes saknē.
- Visbeidzot, ja kāds piesaista failu vai direktoriju, kas no robots.txt faila ir izslēgts no lapas, kas nav izslēgts ar faila robots.txt, meklētājprogrammas to var atrast jebkurā gadījumā.
Neizmantojiet robots.txt failus, lai paslēptu neko svarīgu. Tā vietā jums vajadzētu ievietot svarīgu informāciju aiz drošām parolēm vai pilnībā atstāt to tīmeklī.
Kā izmantot šos parauga failus
Kopējiet tekstu no parauga, kas ir vistuvāk tam, ko vēlaties izdarīt, un ielīmējiet to robots.txt failā. Mainiet robotu, direktoriju un failu nosaukumus, lai tie atbilstu jūsu vēlamajai konfigurācijai.
Divi pamata robots.txt faili
Lietotāja aģents: *
Disallow: /
Šajā failā teikts, ka jebkuram robotam (User-agent: *), kurš piekļūst tam, vajadzētu ignorēt katru vietnes lapu (Disallow: /).
Lietotāja aģents: *
Aizliegt:
Šajā failā teikts, ka jebkuram robotam (User-agent: *), kurš piekļūst tam, ir atļauts apskatīt katru vietnes lapu (Disallow:).
To varat arī izdarīt, atstājot savu robots.txt failu tukšu vai vispār neesošu jūsu vietnē.
Aizsargājiet īpašas direktorijas no robotiem
Lietotāja aģents: *
Disallow: / cgi-bin /
Disallow: / temp /
Šajā failā teikts, ka jebkuram robotam (User-agent: *), kuram ir piekļuve, vajadzētu ignorēt direktorijus / cgi-bin / un / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Aizsargājiet specifiskas lapas no robotiem
Lietotāja aģents: *
Aizliegt: / jenns-stuff.htm
Aizliegt: /private.php
Šis fails norāda, ka jebkuram robotam (User-agent: *), kuram ir piekļuve, vajadzētu ignorēt failus /jenns-stuff.htm un /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Novērst konkrētu robotu piekļuvi jūsu vietnei
Lietotāja aģents: Lycos / xx
Disallow: /
Šajā failā teikts, ka Lycos bot (User-agent: Lycos / xx) nav atļauts piekļūt jebkurā vietā (Disallow: /).
Atļaut tikai vienu konkrētu robotu piekļuvi
Lietotāja aģents: *
Disallow: /
Lietotāja aģents: Googlebot
Aizliegt:
Šis fails vispirms noraida visus robotus, piemēram, mēs to izdarījām iepriekš, un tad skaidri ļauj Googlebot (User-agent: Googlebot) piekļūt visam (Disallow:).
Apvienojiet vairākas līnijas, lai precīzi iegūtu izņēmumus, kurus vēlaties
Lai gan labāk izmantot ļoti iekļaujošu User-Agent līniju, piemēram, User-agent: *, jūs varat būt tikpat specifiski kā vēlaties. Atcerieties, ka roboti izlasa failu kārtībā. Tātad, ja pirmajās rindās teikts, ka visi roboti ir bloķēti no visa, un vēlāk failā tā saka, ka visiem robotiem ir atļauta piekļuve visam, robotiem būs pieejams viss.
Ja nezināt, vai esat pareizi rakstījis robots.txt failu, varat izmantot Google tīmekļa pārziņa rīkus, lai pārbaudītu robots.txt failu vai uzrakstu jaunu.