Защо Google игнорира robots.txt ?
Matt Cutts от Google Webspam Team отговаря на въпроса защо Google игнорира robots.txt и индексира съдържание в URL, който Google Bot би трябвало да не може да посети и препоръчва да внимаваме и винаги да слагаme noindex meta tag за да предотвратим нежеланата поява в търсачката на службни или други страници, които не искаме да [...]
Огнян Младенов 
