вопрос
Не пойму как закрыть от индексации страницы архивов новостей. Яша и гугл свободно индексируют и в поиске есть ссылки в виде site,ru/2016/03/22/.
Добавить в robots.txt
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /2018/
Disallow: /2019/
Disallow: /2020/