"Эсперт" публикует расследование:
Компании-поисковики обладают потенциальным механизмом контроля интернета. Вмешательство человека в автоматизированные алгоритмы поиска способно радикально изменить информационную картину дня.
«Кто контролирует интернет, контролирует мир, - любил повторять создатель WikiLeaks Джулиан Ассанж. - Если глобальная сеть становится тоталитарной, то таковым становится и весь мир, буквально в одну секунду». Сетевая монополия, контроль над Всемирной паутиной, управление искусственным интеллектом - для обывателя эти темы балансируют на грани конспирологии и сценария голливудских боевиков.
Российский сегмент Всемирной паутины, довольно молодой, но чрезвычайно успешный, какое-то время жил будто онкилоны на Земле Санникова. В порочащих связях с государством замечен не был, традиций Большой Земли не ведал, рассчитывал лишь на свои силы. Европа, США, Китай шаг за шагом подминали интернет-индустрию, не только ограничивая отрасль законами, но и негласно выстраивая систему взаимовыгодных отношений.
Для некоторых государств интернет из инструмента контроля превратился в удобное оружие манипуляции общественным мнением, успешно опробованное в ряде информационных войн и «цветных» революций. В России тем временем по-прежнему «воевали с ванту» и «охотились на мамонтов». Лишь в последние годы государство стало активнее вмешиваться в работу Рунета, что после десятка лет безграничной вседозволенности было расценено как стремление к тотальному сетевому контролю.
В процессе этой борьбы вскрылись довольно интересные особенности функционала российской паутины. Выяснилось, что отечественные социальные сети годами хранят удаленную информацию с аккаунтов. Что пиратство не отличительная черта отечественного пользователя и борьба с ним может быть эффективной. Что новостной агрегатор «Яндекса» можно заподозрить в ангажированности - о чем и пойдет сегодня речь.
Оказалось, что писать о проблемах Рунета куда сложнее, чем о его достижениях. Поисковики и социальные сети обладают огромной рыночной силой и влияют на все сопряженные сферы - рекламу, ИТ, информацию и даже на политику. От лояльности интернет-гигантам зависит бизнес сотен компаний смежного профиля, а потому найти хороших информаторов непросто. Игроки не желают рисковать и выдавать махинации «семьи».
Без преувеличения, рынком правит омерта - «кодекс чести» и «заговор молчания» итальянских мафиози. Именно с молчанием или как минимум с желанием респондента остаться неназванным часто приходилось сталкиваться при подготовке этой статьи, написанной в основном по анонимным интервью.
Какой сайт вы открываете чаще всего? С высокой долей вероятности можно угадать: это либо поисковик, либо социальная сеть. В рейтинге самых популярных сайтов мира первое место занимает Google, а второе - Facebook. И если соцсеть дает возможность бултыхаться в «лягушатнике» для своих, то работа с поисковиком - профессиональный серфинг в океанических просторах. Что само по себе накладывает разные степени ответственности на профильные компании.
К концу 2013 года количество пользователей интернета в мире составило 2,7 млрд человек. Более трети населения планеты чаще всего ищет в сети какую-то информацию. И тот, в чьих руках находится механизм поиска, обладает огромным влиянием. Крупных поисковиков сегодня с десяток. По количеству уникальных посетителей лидирует четверка: американские Google и Bing, китайский Baidu и русский «Яндекс». И они контролируют практически весь рынок.
Любой поисковик работает в двух направлениях: не только позволяет источнику заявить о себе, но и приводит потребителя на этот источник. Щелчок тумблера - и сайт лишается потока посетителей. Продолжая существовать физически, готовится к сетевой смерти. Бизнес-проект проигрывает конкурентам, фильм не собирает кассу, СМИ теряет читателей и рекламу, магазин - покупателей и так далее.
Впрочем, пока подозрения в манипуляции поисковой выдачей необоснованны, что у нас, что за рубежом. Компании-поисковики имеют возможность вмешиваться в роботизированные алгоритмы, но предпочитают этим не заниматься. Непредвзятый поиск - основа их бизнеса в довольно конкурентном сегменте.
Даже отечественные интернет-гиганты давно перестали продавать первые строчки поисковой выдачи, ограничившись небольшими рекламными полосами. Во многом именно поэтому обвинения в ангажированности раздела «Яндекс.Новости» вызвали такое удивление и непонимание специалистов. А общественность посчитала эти претензии частью масштабного наступления государства на вседозволенность в интернете (антипиратские законы, придание блогерам-тысячникам статуса СМИ, контроль над анонимными платежами через электронные кошельки и т. д.).
Актуальности этой дискуссии придала многозначительная фраза Владимира Путина о том, что с компанией «Яндекс» «не все так просто» и ее «поддавили» из-за рубежа. А квинтэссенцией стал майский запрос в прокуратуру депутата от ЛДПР Андрея Лугового с просьбой определить, является ли поисковик средством массовой информации.
Думается, «Яндекс» был обречен столкнуться с такими претензиями с тех самых пор, как сделал принципиальную ставку на развитие новостного портала. Ни один другой крупный поисковик не решился играть столь заметную роль в информационной сфере.
В отличие от конкурентов «Яндекс» не просто подключил свой алгоритм поиска к новостным источникам. Программисты создали самостоятельный раздел с традиционным дизайном большого сетевого СМИ, в котором размещаются главные и второстепенные события дня, определяется их местоположение, подбираются фотографии, ранжируются источники, формируются разделы.
Как заявляют в компании, все эти действия совершают роботы, редакторского отдела просто не существует. Однако сам функционал страницы в полной мере соответствует работе средства массовой информации, притом что никакой собственной информации поисковик не производит.
Свои новостные разделы имеют и другие отечественные поисковые компании. Но Mail.ru и Rambler не скрывают редакторского вмешательства в работу агрегаторов, имеют штат сотрудников, редакции и, более того, продают место на своих новостных порталах. Впрочем, и доля этих ресурсов в потоке трафика невелика.
Однако совсем иная картина открывается, если посмотреть на статистику переходов пользователей интернета исключительно на новостные сайты. Такой возможностью ежедневно пользуются от 10 до 20 млн россиян (пик - украинские события).
Главные источники переходов - «Яндекс» и Google, по 15%. Это поиск с главной страницы. А вот новостные разделы компаний показывают другие результаты: 15% - «Яндекс.Новости» и лишь 3-4% - News Google. Переходы из социальных сетей и других поисковиков, как и собственный трафик, дают каждый не более 1-5%.
Ставка «Яндекса» на информационный сегмент сети сыграла. В мае этого года свыше 5 млн человек пользовались агрегатором «Яндекс.Новости». По сравнению с покрытием телевидения это очень немного. Компания не определяет новостную картину дня для всей страны, но претендует на роль «национального» ведущего поисковика.
А потому сегодня важно понять, есть ли основание обвинять агрегатор в какой-либо ангажированности. Почему вообще появились такие претензии? Сепаратисты или террористы? Боевики или ополченцы? Убийство или ликвидация?
Сегодня эти лексические приемы информационных войн хорошо известны пользователям Рунета. В полной мере россияне познакомились с пропагандистскими методами в 2008-м, после нападения Грузии на Южную Осетию. Доминирует мнение, что ту информационную войну мы проиграли и, что интересно, едва ли не на своей территории.
Тогда практически все отечественные издания (и проправительственные, и оппозиционные) довольно быстро определили истинного агрессора. Однако «Яндекс.Новости» в течение первых дней войны создавали диссонанс в поисковой выдаче, где соседствовали две точки зрения на инициатора конфликта.
Журналисты газеты «Труд» сделали подборку некоторых заголовков: «Русское варварство», «Российские оккупанты», «Абхазские бандформирования» и т. д. Ссылки чаще всего вели на малоизвестные мелкие ресурсы, либо на грузинские СМИ, либо на спешно созданные пропагандистские сайты. Кстати, нечто подобное можно было наблюдать и на фоне обострения российско-украинских отношений. На запрос «Украина» в новостном агрегаторе вместе с привычными отечественными СМИ на первой-второй страницах поисковой выдачи неизменно появлялись украинские ресурсы с предсказуемым антироссийским содержанием.
Притом что ранее информационные источники соседнего государства поисковик игнорировал. «Яндекс», правда, отреагировал на эти претензии: в новостном разделе появилась отдельная графа «Иностранные СМИ», куда теперь и попадают все украинские источники.
«Раздвоение» информационной политики «Яндекса» во время грузинской войны большинство россиян заметить не успели. Во-первых, сам конфликт был скоротечным, во-вторых, в компании быстро приняли меры для устранения проблемы. Однако ситуацию оценили в Кремле. Конфликт удалось замять благодаря вхождению в капитал компании Сбербанка с обширными полномочиями «золотой акции». (Кстати, тогда же было принято решение о разработке альтернативной национальной поисковой системы «Спутник», презентация которой прошла пару недель назад.)
Некоторое время к работе «Яндекса» не возникало никаких вопросов, однако с началом акций уличной оппозиции в декабре 2011 года претензии к поисковику возобновились. Действия были «на грани», так что обвинить компанию в чем-то напрямую сложно. Некоторые аналитики предполагают, что «Яндекс» чрезмерно активно включился в освещение протестного движения. Тогда же случился невообразимый медийный взлет никому не известного сайта телеканала «Дождь», неизменно попадавшего в топы новостной выдачи.
Нюансы подготовки оппозиционных мероприятий, заявления лидеров, работа Координационного совета оппозиции - эти темы выносились на главную страницу «Яндекс.Новостей» чрезмерно часто, как будто волновали большинство жителей страны (социологи уверяют, что это вовсе не так), как будто набирали большое количество переходов, а потому имели высокий рейтинг.
1 января 2013 года на первом месте в топ-5 главных новостей дня оказалась акция лимоновцев на Триумфальной площади. А в момент открытия Олимпийских игр - митинг в поддержку «узников Болотной площади». Будем откровенны: вряд ли пользователей действительно интересовал протестный сюжет именно в эти дни.
Ситуация с топ-5 интересна сама по себе. Если в обычной новостной выдаче вы встретите десятки заголовков по одному конкретному запросу и сможете выбрать подходящий, то первая страница вам такого выбора не предоставляет, новостной посыл отображен в нескольких словах. А все понимают, насколько могут различаться оценочные заголовки одного и того же события: от «Евросоюз отказался вводить санкции» до «Евросоюз отложил введение санкций», от «Путин популярен у 70% россиян» до «30% россиян не любят Путина».
«Яндекс» уверяет, что название статьи робот выбирает случайно: «Автоматический топ-5 новостей на главной странице является неотъемлемой частью автоматического агрегатора новостей». Мы перечислили эмпирические претензии к поисковой выдаче «Яндекса», которые во многом можно объяснить субъективным восприятием либо подгонкой задачи под ответ. Позволим себе конкретизировать претензии и вступим в заочную полемику с представителями поисковика.
Оказалось, что у большинства изданий значительную долю посещаемости (часто более 50%, а нередко и 70%) составляют переходы именно из службы «Яндекс.Новостей». В отношении 51 ресурса можно сказать определенно, что в их выходных данных нет информации о регистрации в качестве СМИ. Исследователи делают вывод: «"Яндекс", обладая монопольным положением на рынке поиска в России, создает иную медийную реальность, формируя новостные сюжеты из сообщений ресурсов, большинство из которых СМИ не являются».
«Яндекс» отвечает: «В выдаче "Яндекс.Новостей" появляются все источники, подключенные к сервису. Надеемся, вы не рекомендуете "давить" маленькие проекты и отдавать предпочтение большим или избранным». После другого исследования - газеты «Труд» в отношении заголовков «Яндекса» - у сайта этого СМИ, по заявлениям работников, начались проблемы: они исчезли из поисковой выдачи. Их статьи либо совсем не появлялись на релевантные запросы, либо находились в конце списка.
Тогда историю удалось замять, но спустя пять лет схожий сценарий изложил владелец медиапортала Pravda.ru Вадим Горшенин: «Проблемы у нашего портала начались давно - мы практически не попадали в поисковую выдачу "Яндекс.Новостей". Я писал письма в компанию, но ситуация не менялась. Последней каплей стала ситуация с резонансной статьей американского сенатора Джона Маккейна, которую он написал эксклюзивно для нашего сайта в феврале этого года. Оказалось, что поиск "Яндекса" приводил читателя на дубликат этой статьи, перепечатанной какой-то татарской газетой. Мы, как первоисточник, не получили ни одного перехода от поисковика. И после этого прервали всякое сотрудничество с компанией "Яндекс"».
Каким образом популярный сайт не индексируется поисковой машиной? Как уникальное интервью не появляется в первых строках поиска, а дается лишь через ссылку на стороннем ресурсе? Почему многие авторитетные издания никогда не встретишь в списке первых адресатов выдачи? Некоторые эксперты убеждены, что имеет место вмешательство сотрудников «Яндекса» в работу поисковых роботов. Тем более что для этого есть и техническая возможность, и практическая необходимость.
Однако в компании уверяют: «Поскольку "Яндекс.Новости" работают полностью автоматически, с нецензурными заголовками, спамом и накрутками борются не редакторы, а алгоритмы ранжирования, которые мы постоянно улучшаем». Тем не менее ряд специалистов считает, что работники поисковика обладают возможностью не только удалять проштрафившиеся ресурсы, но и определять частоту их ранжирования и место в поисковой выдаче.
Этот механизм нам описали несколько не связанных друг с другом людей - бывшие работники «Яндекса», редакторы новостных порталов, айтишники. После того как роботизированный алгоритм поиска проверяет сайт на соответствие заявленным условиям («принадлежность первоисточнику, оперативность, цитируемость, информативность»), ресурсу автоматически присваивается рейтинговый балл в диапазоне от плюс пяти до минус пяти.
Этот показатель и определяет частоту, порядок и место в списке поисковой выдачи «Яндекса». Все абсолютно роботизировано. Однако существует техническая возможность вручную присвоить определенному сайту более высокий или более низкий рейтинг. Таким образом, получив рейтинг «минус пять», Pravda.ru исчезает из новостной выдачи.
То есть напрямую попасть на сайт можно, но в «Яндексе» ссылок на него не обнаружишь. Таким же образом определенные издания могут получать преференции и подниматься в топ по новостным запросам. Доказать вмешательство человека очень сложно, кроме того, работники компании этим грешат нечасто.
Зачем - поговорим ниже. Можно лишь предполагать, что в некоторых случаях какие-то интернет-ресурсы или темы ненадолго получают привилегию в поисковой выдаче «Яндекс.Новостей» для актуализации определенной политической повестки.
Однако есть мнение, что некоторые ресурсы на продолжительное время занимают «не свое» место в поисковой выдаче.
Возможно ли, что определенные сайты получают преференции при ранжировании поисковой выдачи? Можно лишь догадываться, анализируя статистику, где отображена структура переходов с «Яндекс.Новостей» на новостные сайты в трех временных точках: в январе 2012 года (разгар уличных протестов), в январе 2013-го (период новостного спокойствия) и в мае 2014-го (разгар конфликта на юго-востоке Украины).
Как же радикально за три года изменились предпочтения алгоритма! За это время лидирующих позиций лишились сайты РБК, «Ленты» и «Эха Москвы». Сегодня в топе - новостные агентства «ИТАР-ТАСС», «РИА Новости» и «Интерфакс», и это - тенденция лишь последнего полугодия, ранее эти источники имели мизерные показатели в новостной выдаче.
Как объяснить такое резкое «огосударствление» поисковой выдачи «Яндекс.Новостей»? Пользователи интернета внезапно захотели получать информацию только из главных государственных источников? Или сами агентства, по материалам которых всегда работали СМИ, вдруг показали «высший пилотаж», стали еще оперативнее и информативнее?
Тем удивительнее падение рейтинга переходов на сайт Lifenews, основного поставщика «украинского» эксклюзива. Или на сайт «Вестей» - мощного агрегатора видеоконтента.
Зачем крупнейшей национальной поисковой компании в России компрометировать свой бизнес? Наши источники уверяют: руководство непричастно к махинациям с поисковыми алгоритмами. Проблема - в сложной кадровой обстановке внутри «Яндекса».
Специалисты и мелкие акционеры, пришедшие в компанию во второй половине нулевых, не разделяют принципы и жизненные установки команды основателей поисковика. Среди менеджеров и программистов достаточно сильны псевдолиберальные, протестные идеи. Многие из них остаются активными участниками «белоленточного» движения. Имея под рукой мощный механизм контроля новостной среды, сложно удержаться от соблазна осуществить тонкую наладку механизма поиска, акцентировать внимание населения на определенных проблемах общества, придать работе алгоритмов некоторую политизированность.
Если делать это аккуратно, доказать вмешательство человека в сложную схему непросто. Однако вполне вероятны и другие версии. Например, профессиональной некомпетентности ряда программистов и разработчиков алгоритмов. Говорят и о возможных конкурентных войнах.
По некоторым данным, руководство компании прекрасно знает о проблеме «Яндекс.Новостей». Но решить ее в одночасье не может. Выявить нарушителей в своих рядах сложно, назвать конкретных исполнителей невозможно. А полностью заменить среднее звено нереально: многих специалистов на российском рынке днем с огнем не сыщешь.
Как общество может наладить контроль за работой поисковиков? Скажем прямо: сегодня технических возможностей для этого нет. В целом это действительно независимая роботизированная система, которая время от времени требует наладки. Но ведь за спиной каждого программиста контролера не поставишь. Идея придать поисковикам статус СМИ, конечно, имеет определенные плюсы, но минусов куда больше.
Сегодня некоторые такие ресурсы имеют все возможности и признаки средств массовой информации, не являясь таковыми по сути. Новый статус заставит компании отфильтровывать сомнительные источники, отсеивать пропагандистские сайты и т. д. Но вместе с обязанностями придут и права. Например, право подавать ту информацию, которую редакторский коллектив считает единственно правдивой.
А значит, никто не запретит поисковику называть российских солдат оккупантами, а «узников болотного дела» политическими заключенными.
Будем ли мы рады такому СМИ с ежедневным трафиком в 60 млн россиян?
(процитровано частично)