Частично соглашусь
Всё зависит от того что я Allow или Disallow и как именно.

Вот здесь тоже немного описано.

http://tools.seobook.com/robots-txt/

Я так предполагаю,
или сам TYPO3 или Extensions (realUrl или multilingual) что-то генерируют, что я не вижу.

А может Гугль у себя запомнил, что я несколько недель назад русскую ветку для прочёски закрыл.
Но я после этого уже несколько раз новые robots.txt и Sitemaps им пересылал.

Основной язык видит каждый раз, когда я какие изменения делаю
и реагирует соответственно.

А вот с дополнительным языком не хочет.
только в зависимости от чистоты и правильности robots.txt
или блокирует полностью всю ветку и показывает только одно предупреждение,
или блокирует каждый пункт навигации по отдельности и показывает 11 предупреждений.

написал здесь и сразу сообразил где искать нужно было

короче, это всё Гугль был виноват.

Я когда эксперементировал, то заблокировал полностью русскую ветку.
Хотя не только её блокировал, но почему то Гугль запомнил именно её так на долго.
Сегодня я все заболкированные ссылки там удалил и со временем вроде заработало как надо.

И ещё вопрос.

Я хочу встроить в контак один PHP-Script, чтоб мне IP отправителя тоже присылал.

Как правильно считать IP-адрес посетителя при помощи PHP в сайте на TYPO3?
Я пробую при помощи $_SERVER['REMOTE_ADDR'],

а мне постоянно присылает один и тотж же IP, независимо от того, с какого компа я захожу.

На других сайта, на Joomla подобный скрипт работал вполне сносно.

причину нашёл, осталось найти решение.

вот этот зверь [FE] pageNotFound_handling портит мне всю статистику.

как его полностью отключить?
Я хочу, чтоб мой скрипт работал напрямую через htaccess.
Тогда он выдаёт оригинальные данные, а не уже обработаные через TYPO3.

а мне постоянно присылает один и тотж же IP

Чей? Случайно не сервера?

сервера конечно, чей же ещё

Цепочка следующая:

ошибка 404 первоначально прорабатывается через TYPO3
и перенаправляется на страницу со скриптом.
Скрипт же получает уже информацию не оригинальную,
в результате чего соответственно в переменную и попадает адрес сервера.

Хотя, если я этот же скрипт вставляю в страницу для ошибки 410,
то IP передаётся не серверный, а посетителя (во всяком случае так было вчера при тестах).

А если я скрипт вызываю напрямую по URL, то всё работает нормально,
выдаёт IP посетителя.

К стати, в сайтах на Joomla я этот же скрипт использую так же у этого хостера,
там всё работает нормально.

и перенаправляется на страницу со скриптом.

Было бы перенаправление 3хх, то ты бы получил адрес клиента. Вероятно, typo3 использует curl для вызова твоего скрипта.

Вот это я не в курсе

где это можно посмотреть и можно ли это поменять?

или нужно с провайдером связываться?

Ещё один вопрос.

Как правильно настроить в TYPO3 Error 410?
Я делаю как обычно, через htaccess, в Гугле эти ошибки выдаёт как 404.
Поменял вчера в LocalConfiguration со стандартного "'pageNotFound_handling' => '/global/404/'"

на

'pageNotFound_handling' => '/global/410/',
'pageNotFound_handling_statheader' => 'HTTP/1.0 410 Gone',
Страницу переводит на заданный адрес, но похоже для поисковиков этого не достаточно.

И ещё.
У меня такое ощущение, что манипуляции в htaccess с 404 и 410 не имеют никакого воздействия на сайт.
Что нового происходит в TYPO3 7.Х?

Вроде нашёл решение для обеих проблем.

для пересылки мне реального IP посетителя несуществующей страницы (404)
вставил через ТС в хедэр страницы (404.html) подвязку к несуществующему файлу.
Сама страница вызывается через TYPO3,
но вот несуществующий файл уже через IP реального посетителя.

В итоге я получаю емаил с реальным адресом.

А перенаправление на 410.php и 404_mail.php реализовал напрямую через htaccess.

Вроде работает.

Чтоб новую тему не открывать, спрошу здесь снова.

Не знаю точно когда началось, но когда я пытаюсь свой сайт созданный на TYPO3 внести в facebook,

то мне выдаёт ошибку 403. При этом показывает одну из картинок с сайта.

Когда пытаюсь сделать то же самое, но с сайтом на WP, у того же провайдера,

то всё получается так как и должно быть.

Недавно сделал апдэйты на TYPO3 и на расширения.

Были проблемы с перенаправлением из-за realurl, но там я разобрался.

Сейчас перенаправляет всё как и надо, и на разных языках без проблем.

В папках права одинаковые, как на сатйе с WP, так и на TYPO3.

Доступ к сайту я закрыл только для некоторых стран, но это в основном азия, ориент и восточная европа.

Боты от гугля заходят на сайт без проблем.

Может кто знает решение?

Я в сети нашёл много чего, но не то, что помогло.

свой сайт созданный на TYPO3 внести в facebook,

Абсолютно непонятно что имеется ввиду. Туманно как-то автор выразился.

Может имеет смысл почитать про Facebook Open Graph и погуглить https://www.google.de/webhp?sourceid=chrome-in...

Как гуглем пользоваться я вроде знаю.

Поясняю по теме.

Когда в facebook, в поле "Что сейчас делаешь" даёшь ссылку на какой-либо сайт,

то там появляется картинка (screenshot) сайта, на который ведёт ссылка.

В моём случае, появляется только одна фотография из содержания сайта (вместо скриншота).

А вместо текста стоит надпись "403 forbidden".

В чём причины выдачи этой ошибки мне известно. (ресурс есть, он доступен, но только не для тебя)

Вопрос мой в том, что именно в настройках TYPO3, или в конфигурационных файлах,

может влиять на выдачу этой ошибки.