Нужно запретить все файлы вида http://site.ru/[0-9]*-[0-9]*.[a-z]
Что писать в сабже?
User-Agent: *
Disallow: [0-9]*-[0-9]*.[a-z]
Прокатит?
П.С. Можно вообще запретить все файлы вида site.ru/*.[a-k]
Как это прописать?

не прокатит. читай про регулярные выражения robots.txt здесь http://help.yandex.ru/webmaster/?id=996567#996572

Если я не ошибаюсь, то robots.txt это больше как лёгкое руководство для поведения ботов.
И есть некоторые, которые этих руководств не придерживаются.
Если хочешь действительно запретить, то по моему лучше через .htaccess

Спасибо за ссылку.
Значит:
User-Agent: *
Disallow: /*.a
Disallow: /*.b
Disallow: /*.c
Disallow: /*.d
Disallow: /*.e
Disallow: /*.f
Disallow: /*.h
Disallow: /*.i
должно сработать? Хотя бы для Яндекса.

Но мне не надо запрещать вообще доступ к этим файлам. Мне нужно закрыть только их индексирование.

Так это и есть запрет на индексирование... робот.тхт это файл только для роботов, запрещает или разрешает индексировать содержимое...
А вообще.., всё делается проще, просто запретить индексировать все папки где лежат данные файлы. Это конечно что у тебя там не лежат так же и нужные для индексирования файлы...

Вован говорил про .htaccess.
У меня нет файлов. Всё генерирует скрипт. Хотя, есть текстовые файлы из которых и берутся тексты для страниц, но реально html-файлов нет, а значит нет и директорий, где они могли бы лежать.
Просто скрипт выдаёт неимоверное количество дублированных файлов, что не есть хорошо для индексирования.
Вот и хочу отрезать мусор, который есть в одном экземпляре на другой странице, не входящий в вышеупомянутый диапазон.

В общем юзаю http://webmaster.yandex.ru/robots.xml.
Вдруг чего подберу

В общем мне повезло. Конструкция ниже по тесту работает на ура. Уф :-) Сработается ли только она с Гуглом?
User-Agent: *
Disallow: /*.a$
Disallow: /*.b$
Disallow: /*.c$
Disallow: /*.d$
Disallow: /*.e$
Disallow: /*.f$
Disallow: /*.h$
Disallow: /*.i$
Если без $, то режет также и страницы вида http://site.ru/e.html

Скрипт генерирует содержание на основе определённых условий и выдаёт содержанеи.
А значит он создаёт свою ссылку на созданный документ.
В джумле тоже почти нету готовых файлов, но Гугл и другие поисковики рекистрируют ссылки к этим материалам.
Посмотри в адресной строке как изменяются ссылки при выводе различного материала.

Звёздочкой ты даёшь указания всем ботам.
А Гугль относится к послушным должно сработать.

Я имел в виду ,что есть такие боты, которые не придерживаются указаний robots.txt
Тогда лучше использовать .htaccess
И в .htaccess можно делать перенаправление ботов на нужные тебе ссылки если нужно.

Это слишком сложно. Вроде и в роботсе должно всё заработать.

На виртуальный документ :-)

Мне не надо ничего смотреть. У меня движок самописный и я сам ему указываю в каком формате создавать ссылки и какие в итоге ссылки ловить на обработку.

По этому поводу тебе нужно это - канонизация ссылок или убрать дубли ссылок. Почитай, я одно время тоже этим интересовался, и видал одно хорошее решение, по крайней мере для Joomla 1.5.

Ну тогда тем-более проблем не должно быть.
Создай нужные адреса и сделай перенаправление для ненужных ссылок или для дублей.
Здесь:
foren.germany.ru/webmaster/f/23162770.html?Cat=&page=1&view=collapsed&sb=...
Я уже объяснял как это делается через .htaccess
Снизу смотри, предпоследний ответ.
По сложности это не сложней чем с robots.txt

У меня система такая:
- каждое сообщение имеет расширение .post
- раздел имеет буквенное расширение в зависимости от раздела (a.html, b.html, c.html и тэдэ)
- раздел разбит по 10 сообщений, соответвенно имеет расширение 13-4.c и 3-1.c (если две страницы с постами с 13 по 4 и с 3 по 1)
Вот и индексирует Яндекс эти 13-4.с, хотя шапка с текстом у него одинаковая с c.html