Otse Google'ist:
Meta-sildid on veebimeistrite jaoks suurepärane võimalus pakkuda otsingumootoritele teavet oma saitide kohta. Meta-silte saab kasutada teabe edastamiseks kõikvõimalikele klientidele ning iga süsteem töötleb ainult neile arusaadavaid metasilte ja ignoreerib ülejäänud.
Kui soovite kõik otsingumootorid täielikult blokeerida, toimige järgmiselt.
Miks?
Võib-olla on see teie saidil mõnevõrra privaatne URL, kuid pole kaitstud nii, et otsingubott seda ei näeks. Nagu siis, kui leht vajab selle nägemiseks sisselogimist, on see otsingubotist niikuinii blokeeritud. Aga kui see on lihtsalt segane URL, siis kes teab, kuidas otsingurobotid ringi liiguvad, võiksite indekseerimise takistada.
Otsingutulemused on veel üks levinud. Imelik on see, kui otsingutulemid on otsingutulemid. WordPressi teemad hõlmavad seda tavaliselt:
Võin seda natuke muuta ja öelda robotitele: hei, võite siin linkide järgimiseks aidata saidi indekseerimist, kuid ärge indekseerige seda lehte spetsiaalselt.
Teised
Otsingumootorid kasutavad kirjeldussilti teksti sisu jaoks järgmiselt :
Vaadake Google'i lehelt teisi Google'i spetsiifilisi lehti, näiteks võimalust peatada Google'i spetsiifilised kasutajaliidese asjad, näiteks nende saidilinkide otsingukast.