Еще раз о рейтингах и опросах. И немного – о профессиональной этике

На претензии депутата О. Михеева по поводу рейтинга его партии отвечает президент ФОМ А. Ослон

01 Августа 2013

Парламентарий считает рейтинг «Справедливой России» недостоверным, поскольку он ниже результатов партии на выборах, спрашивает, на каких улицах ФОМ проводит опросы, и т. д. Возможно, не только О. Михееву неизвестно, что такое партийный рейтинг и почему он всегда значительно ниже прогноза и электорального результата партии. И наверняка не он один думает, что ФОМ проводит опросы на улицах. Поэтому рассказ обо всем этом – как и о нормах, которым ФОМ следует в своей работе, – заслуживает публикации.

Письмо депутата Госдумы РФ О. Михеева (с оригиналом письма можно ознакомиться здесь)

Уважаемый Александр Анатольевич!

18 июля 2013 года Фонд «Общественное мнение» опубликовал результаты социологического исследования, проведенного 13-14 июля в 204 населенных пунктов 64 субъектов РФ. Опрос был посвящен, в том числе, исследованию рейтингов политических партий накануне выборов 08 сентября 2013 года.

Согласно результатам исследования (http://bd.fom.ru/pdf/d28ind13.pdf) СПРАВЕДЛИВАЯ РОССИЯ получила поддержку 4% населения страны, что в 3,5 раза (!) ниже результатов, полученных партией на выборах в Государственную Думу VI созыва в 2011 году (13,24%).

Напомню, что результаты социсследований, публикуемые Фондом «Общественное мнение» в преддверии выборов, зачастую сильно расходятся с результатами самих выборов, при этом рейтинг СПРАВЕДЛИВОЙ РОССИИ до последнего момента исправно индексируется чуть ли не на уровне статистической погрешности: 2 октября 2011 - 4%, 13 ноября - 6%, 20 ноября сразу 9% (http://fom.ru/indikatory.html#?vt=166,170&s=170). Результаты голосования - 13,24%. Согласитесь, расхождения в 1,5 (!)раза между данными опросов накануне выборов и итоговыми результатами - серьезная ошибка, тем более для такой авторитетной организации.

Вам хорошо известно, что публикация результатов опросов общественного мнения не только оказывает влияние на сознание избирателей, но и используется в дальнейшем политическими партиями и кандидатами как инструмент борьбы со своими конкурентами. При этом ответственность за публикацию недостоверных данных для социологических центров российским законодательством не предусмотрена. Более того, отсутствие ответственности ведущих центров, к которым, безусловно, относится Фонд «Общественное мнение», подает плохой пример начинающим социологам, зачастую не только злоупотребляющим доверием избирателей, но и наносящим удар по авторитету всех институтов государственной власти.

Я не хочу Вас подозревать в ангажированности или непрофессионализме, но факты заставляют задуматься не только о качестве опросов, но и о самом факте их проведения. По этой причине прошу Вас предоставить подробную информацию о проведеином 13-14 июля 2013 года исследовании с указанием места, времени, методики проведения опроса, а также образец анкеты.

В дальнейшем для повышения прозрачности процедуры опросов, проводимых на улице, и для предоставления возможности общественности наблюдать за ходом исследования, настаиваю на необходимости заранее информировать заинтересованных лиц (население, СМИ, политические партии) о запланированных исследованиях. Для этого достаточно публикации на сайте Фонда информации с указанием места (точный адрес с указанием улиц и номеров домов), времени (начало и продолжительность), методики проведения опроса на улицах, а также образца анкеты и массива данных по итогам исследования для последующего доступа любого желающего к проверке результатов.

Уверен, данные меры не только повысят доверие к результатам проводимых исследований, но и к институтам государственной власти в целом.

С уважением, О.Л. Михеев

Ответ президента ФОМ А. Ослона депутату О. Михееву
(с оригиналом письма можно ознакомиться здесь)

Уважаемый Олег Леонидович!

В ответ на Ваше письмо (исх.№ мол-4/330 от 24 июля 2013), поступившее на мое имя (вх.№ 120 от 25.07.2013), считаю необходимым дать подробные пояснения.

1. В еженедельном Бюллетене ДОМИНАНТЫ от 18 июля 2013 (http://bd.fom.ru/pdf/d2813.pdf), на который Вы ссылаетесь, приведены динамические ряды рейтингов партий, в том числе партии СПРАВЕДЛИВАЯ РОССИЯ, с данными, усредненными по годам, кварталам и месяцам. Для детального разговора удобнее взять непосредственно данные еженедельных опросов. Вот они: http://fom.ru/indikatory.html#?vt=166,170&s=170:



Из приведенных данных видно, что позиция партии СПРАВЕДЛИВАЯ РОССИЯ весьма устойчива, и можно сказать, ее рейтинг – почти константа, особенно если учесть, что каждый еженедельный опрос – это 3000 разных случайно отобранных респондентов в городских и сельских поселениях 64 субъектов РФ.

Особый интервал в конце 2011 – начале 2012 года объясняется очень просто: выборы автоматически привлекают внимание избирателей, и этому в том числе способствуют избирательные кампании политических партий.

Что же стало реальной причиной Вашего письма, Олег Леонидович?

Надо сказать, что шесть лет назад со стороны партии СПРАВЕДЛИВАЯ РОССИЯ ФОМу были сказаны примерно те же слова, что и в Вашем письме. Это было интервью господина Н.В. Левичева «Независимой газете» 28 мая 2007 года (http://www.ng.ru/ideas/2007-05-28/1_levichev.html). Тогда – перед очередными парламентскими выборами – мы дали весьма подробный ответ: http://bd.fom.ru/report/map/prosr190607. Там мы объяснили, что такое рейтинг партии, чем он отличается от результата выборов, как проводятся опросы и как строятся прогнозы. Я мог бы ограничиться этой ссылкой, но решил, что сегодня, перед выборами мэра Москвы, где господин Н.В. Левичев участвует в качестве кандидата, надо попробовать еще раз обстоятельно ответить на те же явные и неявные вопросы.

2. Начну с Вашего Вопроса № 1: почему происходят значительные вариации результатов опросов?

В самом общем виде ответ таков: общероссийские репрезентативные опросы схватывают изменения в социальной атмосфере нашего общества, а эта атмосфера – весьма динамична.

Что же создает динамику социальной атмосферы и приводит к вариациям ре-зультатов опросов? Множество разнообразных факторов, в том числе

  • политические – публичные действия президента, правительства, Думы, органов власти, партий, лидеров и т. д.;
  • экономические – рост цен, невыплаты зарплат, рост безработицы, кризисные настроения и т. д.;
  • социальные – изменения и сдвиги в социальных сферах: суд, церковь, школа, законотворчество, семья, медицина, бизнес, медиа, коррупция и т. д.;
  • календарные – выборы, праздники, олимпиады, дачи, отпуска и т. д.;
  • событийные – происшествия, скандалы, преступления, открытия и т. д.;
  • международные – революции, войны, кризисы, переговоры, саммиты и т. д.;
  • медийные – «рукотворные» результаты усилий специалистов по рекламе, коммуникациям и политтехнологиям, добивающихся общероссийского признания («повышения рейтинга») для знаковых субъектов, в том числе партий, идей, лидеров, героев и т. д.

Но в каждый конкретный момент времени выявление причинно-следственных связей, объясняющих динамические колебания результатов опросов, и в том числе рейтингов, – это предмет сложной аналитической работы, которая называется производство интерпретаций и проводится после опросов.

Фактом является то, что опросы действительно отражают подвижки настроений людей, их оценок и предпочтений, степени готовности что-то делать и т. д. И это объясняет общепризнанную полезность и необходимость опросов как инструмента наблюдения и за социальной атмосферой и мониторинга ее состояния. Аналогично приборы метеорологов дают возможность наблюдать за физической атмосферой, понимать происходящие в ней процессы и строить прогнозы ее изменений.

Таким образом, динамические изменения в результатах опросов по одним и тем же вопросам – это норма! Они происходят потому, что жизнь не стоит на месте, а не из-за погрешности измерений, производимых посредством опросов (хотя, конечно, у опросов, как и у любого измерительного прибора, такая погрешность есть, и ее можно и нужно вычислять и учитывать).

Для иллюстрации можно сравнить динамические ряды рейтингов политических партий. Мы видим, что вариации рейтинга партии ЕДИНАЯ РОССИЯ весьма велики, особенно в 2011 году: в начале года он был более 50%, а в конце – менее 40% (http://fom.ru/indikatory.html#?vt=166,170&s=167,168,169,170).



3. Позвольте теперь перейти к Вопросу № 2, поставленному в Вашем письме. Он состоит в следующем: почему рейтинги партии СПРАВЕДЛИВАЯ РОССИЯ отличаются от результатов выборов?

Дело в том, что рейтинг партии – это отношение

числа людей, заявивших в ходе опроса о своем намерении голосовать за эту партию, если бы выборы состоялись в ближайшее воскресенье

к

числу опрошенных респондентов.

Если, например, при объеме выборки 3000 респондентов, партию СПРАВЕДЛИВАЯ РОССИЯ называют 125 человек, то ее рейтинг в этом опросе составляет

125 / 3000 = 0,042, или округленно 4%.

В ноябре 2011 года ее называли 270 человек, и рейтинг составлял

270 / 3000 = 0,09, или 9%.

Выразим то же самое в тысячах избирателей. Всего по данным ЦИК списочный состав избирателей составляет 109229,3 тыс. избирателей. Наша выборка его репрезентирует. Значит, каждый респондент в нашей выборке представляет

109229,3 тыс. / 3000 = 36,4 тыс. избирателей.

Рейтинг партии 9% (270 респондентов) означает, что на момент опроса намерение голосовать за партию СПРАВЕДЛИВАЯ РОССИЯ имели

36,4 тыс. х 270 = 9828 тыс. избирателей.

4 декабря 2011 г. явка на выборы составила, по данным ЦИК, 65648,7 тыс. человек (60,1%) от списочного числа избирателей. Значит, если бы все приверженцы партии пришли на выборы, она набрала бы

9828 тыс. / 65648,7 тыс. = 0,15, или 15%.

Вы видите? Рейтинг 9%, а результат на выборах мог бы быть 15%!!!

Но он оказался меньше: 13,25%. Почему? Да потому, что на выборы пришли не все сторонники партии. По данным ЦИК, пришли 8695,5 тыс. избирателей, или, с учетом опроса, 88% сторонников партии. Замечу, что такие же расчеты для ЕР дают 76% явки их сторонников.

Мы в нашем предвыборном прогнозе (официально сдан в ЦИК за три дня до выборов в запечатанном конверте) предполагали, что СПРАВЕДЛИВАЯ РОССИЯ наберет 13,8%. То есть дали блестящий по точности прогноз!

Откуда такая точность? Дело в том, что на основе опросов мы прогнозируем не только 1) явку сторонников каждой партии, но и 2) электоральное поведение тех избирателей, которые идут на выборы, но в предвыборных опросах на вопрос о голосовании отвечают «еще не решил» и «затрудняюсь ответить».

Вот эти данные http://fom.ru/Politika/10341:



Для иллюстрации нашего профессионализма привожу также сводку предвыборных опросов и прогнозов Фонда Общественное Мнение с 1995 года.

Когда-то – в начале 90-х годов – такая точность прогнозов выборов многим казалась чем-то мистическим. Сегодня все привыкли и удивляются, почему это прогнозы и данные ЦИК не совпадают?


Выборы в Думу 4 декабря 2011 года Опрос Прогноз Данные ЦИК
«Единая Россия» 40 47,0 49,3
КПРФ 12 17,9 19,2
«Справедливая Россия» 9 13,8 13,3
ЛДПР 11 15,1 11,7
«Яблоко» 1 2,7 3,4
«Патриоты России» <1 0,6 1
«Правое дело» <1 0,5 0,6
Недействительные бюллетени 1 2,4 1
Явка 81 63,6 60,2

Выборы в Думу 2 декабря 2007 года Опрос Прогноз Данные ЦИК
«Единая Россия» 50 63 64,3
КПРФ 6 10 11,6
ЛДПР 6 9 8,1
«Справедливая Россия: Родина / Пенсионеры / Жизнь» 4 7,5 7,7
Аграрная партия России 2 2,7 2,3
«Яблоко» 1 1,7 1,6
«Гражданская сила» 1 1 1,0
«Патриоты России» <1 1 0,9
Партия социальной справедливости <1 0,4 0,2
Демократическая партия России <1 0,4 0,1
Союз правых сил 1 1 0,1
Недействительные бюллетени 2 1,1
Явка 77 58,7 63,8

Выборы в Думу 7 декабря 2003 года Опрос Прогноз Данные ЦИК
«Единая Россия» 25,1 38 37,1
КПРФ 14,1 18 12,7
ЛДПР 6,5 11 11,6
«Родина» 3,3 9 9,1
Союз правых сил 3,5 5 4,0
«Яблоко» 2,5 5 3,9
Аграрная партия России 1,9 3 3,8
Партия пенсионеров и социальной справедливости 1,6 2 3,2
Партия возрождения – партия жизни 0,9 1 1,9
Народная партия 0,6 1 1,2
Против всех 5,4 4 4,6
Явка 75 62–63 57

Выборы в Думу 19 декабря 1999 года Опрос Прогноз Данные ЦИК
КПРФ 21 28 24,3
«Единство» («Медведь») 16 20 23,3
«Отечество – вся Россия» 10 16 13,3
СПС 7 10 8,5
ЛДПР 5 9 6,0
«Яблоко» 5 7 5,9
Явка 82 65 61,2

Выборы в Думу 17 декабря 1995 года Опрос Прогноз Данные ЦИК
КПРФ 14 22,6 22,3
ЛДПР 6 7,6 11,2
«Наш дом – Россия» 5 9,9 10,1
«Яблоко» 7 10,4 6,9
«Женщины России» 5 14,7 4,6
Коммунисты СССР <1 4,5
Объединение «Конгресс русских общин» 7 5,7 4,3
Партия самоуправления трудящихся 3 4,5 4,0
«Демократический выбор России» 3 5,3 3,9
Аграрная партия России 1,5 5,3 3,8
Явка 74 61 64,4

4. Далее в своем письме Вы пишете о том, что «… публикация результатов опросов общественного мнения не только оказывает влияние на сознание избирателей, но и используется политическими партиями и кандидатами как инструмент борьбы с конкурентами».

Вы затрагиваете очень сложный вопрос, с которым мы имеем дело ровно 21 год, то есть с первого дня существования Фонда Общественное Мнение.

С одной стороны, публикация опросов – это один из важных элементов демократического общества. Общество должно знать самого себя! Профессиональные репрезентативные опросы – это зеркало, и любой сознательный гражданин имеет право в него заглянуть, независимо от того, что он в нем увидит! Общество без такого зеркала, без обратной связи обречено на деградацию, так как в таком случае ни руководители, ни граждане не понимают реального устройства социального мира, и стало быть, рискуют действовать неадекватно.

С другой стороны, Вы правы, у некоторых политических партий и лидеров возникает соблазн «подкрутить» результаты опросов в свою пользу, объявить через фальшивые опросы реальным то, что им выгодно в сиюминутной борьбе за место под солнцем, за ресурсы, за признание. И для этого втянуть в свой «окоп» социологов, добиться их лояльности, сервильности, соблазнить их, «купить» и подтолкнуть к «нужным» результатам.

Чтобы осознать два указанных полюса и сформулировать для себя свою жизненную позицию, у нас было достаточно времени: все-таки 21 год непрерывных опросов – срок немалый. И эта позиция состоит из двух простых пунктов.

Пункт первый – ремесло.

Дело в том, что выполнение репрезентативных опросов населения – очень не-простое дело и требует высокого профессионального умения. После распада Союза мы были пионерами в этой профессии, и потребовалось много лет на-пряженной работы, чтобы овладеть своим ремеслом. Но даже сегодня можно по пальцам одной руки пересчитать тех, кто умеет проводить массовые опросы по правильным методикам, качественно, без халтуры, кто способен предъявить все необходимые доказательства своего профессионализма, кто заслужил своим многолетним трудом признание и уважение.

Вот это и есть пункт второй – уважение. Чье?

Конечно, заказчиков. Да-да, именно заказчиков… но не всех, а только тех, кому нужна достоверная информация, а не «лажа», изготовленная по принципу «чего изволите». Как это ни странно, таких заказчиков – большинство.

Честно говоря, я вообще не припомню, чтобы кто-то обращался в ФОМ с предложением «сварганить» какую-то «инфу», чтобы выплеснуть ее через СМИ кому-то на голову. Может, нам повезло, может, мы каким-то образом отпугиваем таких «дельцов», но факт есть факт: от самого лобового и тупого варианта Бог нас избавил. Я так думаю, что «дельцам» жалко было тратить на «туфту» такие же средства, какие необходимы для нормального исследования. И они – из экономии – шли не к нам, так как чего-чего, а цены мы не снижали никогда.

А вот недоуменно вскинутые брови по поводу чем-то не понравившихся дан-ных я видел много раз. Ну и что? Если обладатель таких бровей – умный, то он подумает и разберется, почему видит в зеркале то, что видит, а не то, что хочет видеть. И уж конечно, умный не будет пытаться на свой лад рихтовать зеркало. Если же он не умный, то расстроится и… больше не обратится в ФОМ. Таких было немного, но даже им не приходила в голову идея что-то поправить в результатах.

Мы ведь не с любыми заказчиками имеем дело. Есть такой миф: кто платит, тот и заказывает. В нашей практике ровно наоборот: кто заказывает, тот и платит. Но вот чтобы стать заказчиком, надо пройти наш фильтр – с глупыми заказчиками много рисков, скучно и хлопотно.

У нас же не лавка ширпотреба, чтобы радоваться каждому, кто заглянул за «товаром». У нас высокоинтеллектуальное производство, научные технологии, исследовательский интерес, репутация, самоуважение, мы не поклоняемся идолу прибыли, для нас деньги пахнут. И поэтому даже у самого глупого из глупых заказчиков хватает ума обходить нас стороной.

За два десятка лет эта наша позиция известна всем, кто интересуется профессиональными опросами. В том числе коллегам-социологам, консультантам, аналитикам, управленцам, политикам, бизнесменам, начальникам и прочим серьезным людям. Они уважают нашу позицию и доверяют нам ровно потому, что мы делаем свое дело, исходя из этой позиции, независимо от того, нравится это кому-то или нет.

Неужели Вы предполагаете, что можно променять это уважение, заработанное многолетним упорным трудом, на «ангажированность» чьими-то сиюминутными интересами и где-то за кулисами подкручивать циферки под чью-то диктовку?! Помилуйте, да за кого Вы нас принимаете, когда пишете «Я не хочу Вас подозревать в ангажированности или непрофессионализме, но факты заставляют задуматься…»?!

Добавлю, что ФОМ с первых дней своего существования стремится как можно больше всего публиковать. Тут и результаты опросов – это святое. Тут и тексты, описывающие наши методики, интерпретации, инновационные проекты и, конечно, наша жизненная позиция, о которой я пишу в данном тексте, поверьте, далеко не в первый раз.

Вот и этот текст, я конечно, опубликую! Ведь вопросы, поставленные Вами, Олег Леонидович, как и, я надеюсь, мои ответы на них, интересны многим, особенно молодежи, которая не очень любит читать старые публикации.

5. Относительно заинтересовавшего опроса, выполненного 13–14 июля 2013 года, сообщаю:

  • в сегодняшнем формате ФОМ проводит еженедельные общероссийские репрезентативные опросы населения России с весны 2000 года;
  • ранее этот проект назывался ПЕНТА, в последние три года он носит название ФОМнибус;
  • методика этого рода опросов много раз описана и опубликована на сайте ФОМа, в том числе везде и всегда подчеркивается, что эти опросы:
    • проводятся по месту жительства респондента в режиме работы интервьюера с респондентом face-to-face;
    • основаны на многоступенчатой стратифицированной террито-риальной случайной выборке, описанной, например в http://bd.fom.ru/report/map/penta;
    • представляют собой многотемные исследования по заказам многих заказчиков (известный во всем мире омнибус-подход с заказными блоками вопросов);
    • включают в себя собственные вопросы, которые ФОМ ставит по своей исследовательской инициативе, в том числе вопросы для «замера» многолетних трендов в отношении населения к политическим институтам, лидерам и партиям
  • неэксклюзивные результаты опросов ФОМнибус отражаются в открытом Бюллетене ДОМИНАНТЫ и публикуются на сайте www.fom.ru;
  • заинтересованным лицам и организациям ФОМ предоставляет массивы первичных данных в формате SPSS по договорам на коммерческой или на некоммерческой основе.

Обращаю внимание: в технологии ФОМнибус (ранее ПЕНТА) никогда не используются опросы на улицах.

Что же касается персональных данных наших респондентов, то они, в том числе их адреса, защищены Законом о персональных данных.

Тематические анонсы предстоящих опросов мы даем на нашем сайте. Но темы, связанные с электоральными рейтингами, никогда не анонсируются – по той причине, что они проходят в еженедельных опросах ФОМа каждую неделю более двадцати лет.

С уважением, Александр Ослон, президент ФОМ
материалы
ФОМ провёл опрос на выходе с избирательных участков – exit-poll. Каждому его участнику задали вопрос «За какого кандидата на выборах Президента Российской Федерации Вы проголосовали?»
Знают или что-то слышали о президентском послании Федеральному собранию 76% россиян. Смотрели выступление В. Путина 60% опрошенных, из них 40% – целиком, 20% – частично
Расчет результатов президентских выборов: явка и результаты голосования
Как изменился уровень информированности респондентов о дате проведения выборов президента России и сколько россиян собираются принять участие в выборах
Об интервью Владимира Путина американскому журналисту Такеру Карлсону знают большинство участников опроса (75%), 25% респондентов слышат об этом впервые. Четверть опрошенных смотрели или читали интервью целиком, 39% – только отдельные части и фрагменты в СМИ, 11% россиян интервью не смотрели
Комментарии
Добавить комментарий

Комментарии отсутствуют