Вот еще хорошее обсуждение
http://plakhov.livejournal.com/154994.html - как я понял, автор поста - сотрудник Яндекс, работающий над поисковиком.
Насколько я понял (я сам точно не знаю - просто то, что я нашел в открытях источниках, я понял так),
Анализируется не сама выдача, а просто, то, что пользователь отправил запрос и назал на ссылку (вы заметили, что везде эксперименты проводились ровно с одной ссылкой, причем нажимали на ссылку из выдачи, интересно, если бы нажимали на какую-то другую ссылку, она подставилась бы или нет).
Причем это принимается во внимание только в тех случаях, когда нет другого источника информации (то есть на основную массу запросов влияет мало).
То есть, фактически, в выдачу не подглядывают, а собирают данные о поведении пользователя (сделал запрос, нажал на ссылку).
Примерно то же самое делают многие - кто до чего может дотянуться. Выше мной приведена ссылка на то, что Гугль, вероятно, берет данные напрямую у Yelp, хотя тот этого не хочет.
Многие отмечают, что при несравнимых рыночных долях, гугль так серьезно относится к bing