Если адреса страниц вашего сайта содержат динамические параметры, которые не влияют на их содержимое (например, идентификаторы сессий, пользователей, рефереров и т.д.), вы можете описать их при помощи директивы Clean-param в robots.txt. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
Синтаксис директивы и примеры.
Иван Наймушин и команда разработки поискового робота