Ну, не совсем согласен, что всё стало сложнее. Да, сейчас больше нюансов, но если нормально разобраться с robots.txt и чекнуть noindex, обычно всё быстро пашет. Главное — не паникуй и не ждёшь мгновенно, индексация иногда занимает время. В итоге проблем хватает, но они чаще из-за банальной невнимательности, а не какой-то мудрёной системы.