Тема: Robot.txt (Какие User-agent ?)
Показать сообщение отдельно

Robot.txt (Какие User-agent ?)
  #1  
Старый 24.07.2007, 16:39
-=lebed=-
Флудер
Регистрация: 21.06.2006
Сообщений: 3,193
С нами: 10467746

Репутация: 4738


По умолчанию Robot.txt (Какие User-agent ?)
Предлагаю тут постить имена поисковых ботов так:
Рамблер - StackRambler
Яндекс - Yandex
Google - Googlebot
MSN – msnbot

ссылки по теме:
имена поисковых ботов (инфа 2005 года)
синтаксис файла Robot.txt

PS Пишите тут имена популярных поисковых роботов.
𝕏 Twitter Reddit Telegram Копировать ссылку
 
Ответить с цитированием