Sökmotorer är utrustade med robotar, även kända som spindlar eller robotar, som genomsöker och indexerar webbsidor. Om din webbplats eller sida är under utveckling eller innehåller känsligt innehåll kanske du vill blockera robotar från att genomsöka och indexera din webbplats. Lär dig hur du blockerar hela webbplatser, sidor och länkar med robots.txt -filer och blockerar specifika sidor och länkar med html -taggar. Läs vidare för att upptäcka hur du blockerar specifika robotar från att komma åt ditt innehåll.
Steg
Metod 1 av 2: Blockera sökmotorer med robots.txt -filer
Steg 1. Förstå robots.txt -filer
En robots.txt -fil är en vanlig textfil eller ASCII -textfil som informerar sökmotorspindlar om vad de har åtkomst till på din webbplats. Filer och mappar som listas i en robots.txt -fil får inte genomsökas och indexeras av en sökmotorspindlar. Du kan behöva en robots.txt -fil om:
- Du vill blockera specifikt innehåll från sökmotorspindlar.
- Du utvecklar en levande webbplats och är inte beredd att låta sökmotorspindlar genomsöka och indexera webbplatsen
- Du vill begränsa tillgången till välrenommerade bots.
Steg 2. Skapa och spara och robots.txt -fil
För att skapa filen, starta en vanlig textredigerare eller en kodredigerare. Spara filen som: robots.txt. Filnamnet måste vara med små bokstäver.
- Glöm inte "s".
- När du sparar filen väljer du tillägget "'.txt"'. Om du använder Word väljer du alternativet "Vanlig text".
Steg 3. Skriv en robots.txt-fil som helt inte tillåts
Det är möjligt att blockera varje välrenommerad sökmotorspindel från att genomsöka och indexera din webbplats med en "full-tillåt" robots.txt. Skriv följande rader i din textfil:
User-agent: * Disallow: /
Steg 4. Skriv en villkorlig-tillåtet robots.txt-fil
Istället för att blockera alla robotar, överväga att blockera specifika spindlar från vissa delar av din webbplats. Vanliga villkorliga tillåtna kommandon inkluderar:
- Blockera en specifik bot: ersätt asteriskerna bredvid Användaragent med googlebot, googlebot-nyheter, googlebot-image, bingbot, eller teoma.
-
Blockera en katalog och dess innehåll:
User-agent: * Disallow: /sample-directory /
-
Blockera en webbsida:
User-agent: * Disallow: /private_file.html
-
Blockera en bild:
User-agent: googlebot-image Disallow: /images_mypicture.jpg
-
Blockera alla bilder:
User-agent: googlebot-image Disallow: /
-
Blockera ett specifikt filformat:
Användaragent: * Tillåt: /p*.gif$
Steg 5. Uppmuntra robotar att indexera och genomsöka din webbplats
Många vill välkomna, i stället för att blockera, sökmotorspindlar eftersom de vill att hela deras webbplats ska indexeras. För att uppnå detta har du tre alternativ. Först kan du välja bort att skapa en robots.txt-fil-när roboten inte hittar en robots.txt-fil fortsätter den att genomsöka och indexera hela din webbplats. För det andra kan du skapa en tom robots.txt-fil-roboten hittar robots.txt-filen, känner igen att den är tom och fortsätter att genomsöka och indexera din webbplats. Slutligen kan du skriva en fullt tillåten robots.txt-fil. Använd koden:
Användaragent: * Tillåt:
Steg 6. Spara txt -filen i roten på din domän
Spara ändringarna när du har skrivit filen robots.txt. Ladda upp filen till din webbplats rotkatalog. Till exempel om din domän är www.ditt domän.com, placera robots.txt -filen på www.yourdomain.com/robots.txt.
Metod 2 av 2: Blockering av sökmotorer med metataggar
Steg 1. Förstå HTML -robotar metataggar
Robotens metatagg tillåter programmerare att ställa in parametrar för bots eller sökmotorspindlar. Dessa taggar används för att blockera robotar från att indexera och genomsöka en hel webbplats eller bara delar av webbplatsen. Du kan också använda dessa taggar för att blockera en specifik sökmotorspindel från att indexera ditt innehåll. Dessa taggar visas i huvudet på din HTML -fil.
Denna metod används vanligtvis av programmerare som inte har tillgång till en webbplats rotkatalog
Steg 2. Blockera bots från en enda sida
Det är möjligt att blockera alla robotar från att indexera en sida och eller från att följa en sidas länkar. Denna tagg används vanligtvis när en live -webbplats är under utveckling. När webbplatsen är klar rekommenderas det starkt att du tar bort den här taggen. Om du inte tar bort taggen kommer din sida inte att indexeras eller sökas via sökmotorer.
- Du kan blockera robotar från att indexera sidan och från att följa någon av länkarna:
- Du kan blockera alla bots från att indexera sidan:
- Du kan blockera alla robotar från att följa sidans länkar:
Steg 3. Låt robotarna indexera en sida, men följ inte dess länkar
Om du tillåter bots att indexera sidan indexeras sidan; om du förhindrar att spindlarna följer länkarna bryts länkvägen från den här specifika sidan till andra sidor. Sätt in följande kodrad i din rubrik:
Steg 4. Låt sökmotorns spindlar följa länkarna men inte indexera sidan
Om du tillåter bots att följa länkarna kommer länkvägen från denna specifika sida till andra sidor att förbli i takt; om du hindrar dem från att indexera sidan kommer din webbsida inte att visas i indexet. Sätt in följande kodrad i din rubrik:
Steg 5. Blockera en enda utgående länk
Bädda in en för att dölja en enda länk på en sida rel taggen i länktaggen. Du kanske vill använda denna tagg för att blockera länkar på andra sidor som leder till den specifika sidan du vill blockera.
Infoga länk till blockerad sida
Steg 6. Blockera en specifik sökmotorspindel
Istället för att blockera alla bots från din webbsida kanske du vill förhindra att en bot genomsöker och indexerar sidan. För att uppnå detta, ersätt "" robot "i metataggen med namnet på en specifik bot. Exempel inkluderar: googlebot, googlebot-nyheter, googlebot-image, bingbot, och teoma.
Steg 7. Uppmuntra robotar att genomsöka och indexera din sida
Om du vill se till att din sida kommer att indexeras och dess länkar kommer att följas kan du infoga en follow-allow meta "robot" tagga i din rubrik. Använd följande kod:
