Twitter заблокировал поисковых пауков (на самом деле нет)

Twitter в robots.txt запретил индексировать любой контент любым поисковикам.

User-agent: *
Disallow: /

Впрочем, запрет на индексацию не важен, поскольку для нормальной индексации требуется доступ к firehose (прямому потоку всех твитов, близкому к реальному времени), которые есть и у Google, и у "Яндекса".

(Обновлено в 14:40): Такой запрет стоит только по ссылке https://www.twitter.com/robots.txt. По адресу без "www" все по-прежнему, ничего не изменилось. Похоже, Twitter просто не хочет, чтобы URL с www попадали в поиск - это может ухудшить индексацию. Сам по себе доступ к firehose не отменяет необходимость индексировать сайт .