И я благодарен за это представителю IREX Ане-Марии Ситин (Ana-Maria Sinitean), сотрудникам посольства США в России Питеру Экстрому (Peter Eckstrom) и Марии Львовой, а также руководителям представительства IRI Наталье Будаевой и Анастасии Сергеевой.

Мои выступления и дискуссии состоялись в Российском государственном гуманитарном университете (РГГУ), Московской высшей школе социальных и экономических наук, Фонде Карнеги, посольстве США в Москве, Фонде Общественное Мнение и ряде других организаций. Основное внимание на этих встречах было сосредоточено на вопросах методологии и технологии прогнозирования итогов президентских выборов в США 2012 года.

Среди тем, представлявших особый интерес для российских специалистов, был комплекс вопросов о точности измерения электоральных предпочтений в США. Обращение к статистике американских выборов, и не только президентских, за период 2000–2010 годов дает возможность дополнительно осветить указанную тематику.

Дело профессиональной ответственности

Поскольку отношение политиков, журналистов, бизнеса, общества к результатам опросов общественного мнения в значительной мере определяется качеством работы полстеров, еще в 1969 году, то есть больше сорока лет назад, в стране был создан Национальный совет по опросам общественного мнения (The National Council on Public Polls; NCPP), являющийся ассоциацией американских полстерских организаций. Его цель – выработка высоких стандартов изучения общественного мнения и содействие лучшему пониманию результатов опросов журналистами, политиками и различными активными группами населения. Организации, входящие в NCPP, добровольно принимают на себя обязательства по предоставлению экспертному совету данных о проведенных опросах в полном объеме.

Осенью 2009 года президент NCPP Эванс Уитт (Evans Witt) следующим образом сформулировал свое понимание ответственности исследователей общественного мнения за распространяемую в обществе информацию: «Когда полстерские организации оглашают результаты опроса, они предлагают общественности считать, что опрос точен и ему можно доверять. Представление ключевой информации об опросе позволяет людям сделать подобный вывод, основываясь на фактах. Отказ в предоставлении сведений об опросе лишает общественность такой возможности и оставляет открытым вопрос о достоверности опроса».

По мнению Уитта, только наличие информации об опросе делает его «научным», и только «научным» опросам можно доверять. При его участии были разработаны 20 вопросов, которые следует задавать полстерам перед сообщением о результатах проведенного исследования. Опрос – инструмент власти, и журналисты должны воздерживаться от публикации недостоверной, ошибочной информации.

Перечень необходимых сведений об опросе начинается с указания его спонсоров, то есть структур, финансировавших работу; далее должны быть названы организация, осуществлявшая сбор данных, время опроса, тип выборки и основные параметры генеральной совокупности, метод опроса и другое. В некоторых случаях могут быть затребованы дополнительные данные. Это, к примеру, оценка достижения генеральной совокупности, технология отбора респондента в семье, максимальное количество попыток при достижении респондента, попавшего в выборку, формулировка обращения к респонденту, предшествующая началу опроса, полный перечень вопросов на всех иностранных языках, использовавшихся в исследовании, исходные и «взвешенные» объемы подгрупп населения, описываемых в отчете о результатах исследования, минимальное количество ответов на вопросы, позволяющее точнее оценить работу интервьюеров. Соответственно, жестко стандартизована и процедура анализа сотрудниками NCPP полученной информации.

Так, Pew Research Center приводит следующие данные, характеризующие методическую сторону своего исследования знаний респондентов о Демократической и Республиканской партиях. Телефонный опрос был проведен с 29 марта по 1 апреля 2012 года по общенациональной выборке 1000 взрослых американцев (18 лет и старше), проживающих в континентальной части США. При этом 599 человек были проинтервьюрованы по стационарному телефону, 401 – по мобильному (включая 180 респондентов, не имеющих домашнего телефона). Опрос проводился интервьюерами Princeton Data Source под руководством Princeton Survey Research Associates International. Выборка комплектовалась Survey Sampling International на основе случайного набора телефонных номеров (домашних и мобильных); интервью велось на английском языке. По мобильному телефону опрос проводился с тем, кто отвечал на звонок, если этот человек был не моложе 18 лет. Выборка взвешивалась по полу, возрасту, образованию, расе; также принимались во внимание факт рождения в испаноговорящей семье и регион проживания. Использовались данные за март 2011 года, полученные Census Bureau’s Current Population Survey, и материалы переписи населения, проводимой раз в десять лет. Кроме того, выборка была взвешена на основе данных National Health Interview Survey за 2011 год о том, как распределены у населения домашние и мобильные телефоны.

С учетом взвешивания для разных подгрупп выборки определялись максимальные статистические погрешности при доверительной вероятности 95%. Приведу здесь эти данные (см. табл. 1) в качестве примера того, насколько конкретной и детализированной была информация Pew Research Center о проведенном исследовании.

Погрешность измерения для разных подгрупп выборки в опросе Pew Research Center (29 марта – 1 апреля 2012 года)

Аналогично все полстеры, публикуя результаты своих опросов, описывают метод сбора информации и приводят важнейшие характеристики выборки.

О точности электоральных опросов. Историко-методологическое отступление

Можно утверждать, что тема точности электоральных измерений возникла и была осознана американским обществом еще в конце XIX века, то есть в эпоху соломенных опросов [1]. Но научное восприятие соответствующего круга методологических и технологических проблем стало формироваться во второй половине 1930-х годов, когда в политику, журналистику и общественную практику начали входить выборочные (современные) опросные методы. Комплекс математико-статистических вопросов, связанных с оценкой того, насколько точны результаты изучения мнений электората, особенно актуализировался после так называемого «фиаско-1948», когда Гэллап, Роупер и Кроссли неверно предсказали имя победителя президентских выборов. Их опросы показывали, что президентом станет республиканец Дьюи, но большинство избирателей проголосовали за Трумэна (см. табл. 2).

Прогнозы и итоги президентских выборов в 1948 году, %[2]

Прогнозы Гэллапа и Кроссли фактически совпали и в количественном отношении мало отличались от итогов голосования: погрешность составила около 5 процентных пунктов. Но «арифметика» мало кого интересовала, первостепенным был сущностный момент: президентом страны стал не тот, кого предсказывали всем известные оракулы. Прогноз Роупера оказался наименее точным: ошибка составила более 12 пунктов. Через два дня после выборов Роупер заметил: «Ошибиться сильнее было просто невозможно», – и добавил, что не знает причин произошедшего [3].

Роупер прогнозировал в 1948 году лишь итоги общенациональных выборов, Гэллап и Кроссли предсказывали победителей и в отдельных штатах. Гэллап дал верный прогноз для 30 штатов из 44, Кроссли – для 32 из 47. Погрешности в предсказании голосования за Трумэна по штатам представлены в таблице 3. Добавлю, что объемы выборок при опросах, проводившихся Гэллапом и Кроссли в штатах, варьировались в диапазоне от 200 до 3000 респондентов.

Погрешности прогнозов голосования за Трумэна в отдельных штатах, %[2]

В первые послевыборные недели и сами исследователи, и те, кто с пониманием и доверием относился к их методам измерения электоральных установок, кто начинал видеть в исследованиях общественного мнения новый инструмент демократии, испытали шок, пессимизм и недоумение. Наоборот, те, кто не верил в возможность изучения электоральных установок, не понимал политического значения подобных исследований, считал их «игрой», получили, по их представлениям, доказательство своей правоты.

Через восемь дней после президентских выборов 1948 года Американская ассоциация исследователей общественного мнения (American Association for Public Opinion Research) создала Комитет по анализу предвыборных опросов и прогнозов, в который вошли представители многих организаций, изучавших политические установки и потребительские предпочтения населения страны. Гэллап, Кроссли и Роупер согласились сотрудничать с этим комитетом и предоставить ему необходимую информацию. Сразу же была образована группа по анализу материалов, отражающих все стадии и процедуры выработки электорального прогноза. Ее возглавил молодой, но уже опытный статистик, профессор Гарвардского университета Фредерик Мостеллер (Frederick Mosteller). Общий контроль над работой группы осуществлялся признанными специалистами Самуэлем Стауффером (Samuel Stouffer) и Самуэлем Уилксом (Samuel Wilks). Работа проводилась быстро. Уже через полтора месяца, к концу декабря 1948 года, отчет был завершен и представлен Комитету.

В процессе этой работы Мостеллер предложил восемь методов оценки точности предвыборных опросов, фиксирующих разные грани качества измерения. С тех пор прошло более шести десятилетий, но оценки Мостеллера продолжают использоваться и рассматриваются как эффективный инструмент анализа деятельности полстеров.

Вместе с тем продолжается поиск новых показателей точности опросов, и один из них был предложен в 2003 году Майклом Трауготтом (Michael Traugott) и его коллегами. Для не занимающихся целенаправленно проблемами методологии электоральных исследований и приемами математической статистики введенная мера точности может показаться достаточно сложной, поэтому я не привожу формулу ее исчисления. Отмечу лишь, что значение статистики Трауготта равно 0, если финальный опрос верно предсказывает соотношение голосов электората в пользу республиканского и демократического кандидатов. Значительная отрицательная / положительная величина статистики указывает на то, что результаты опроса были серьезно смещены в сторону кандидата от Демократической / Республиканской партии [4]. В таблице 4 приведены суммарные оценки точности (по Трауготту) финальных опросов разных полстерских организаций для четырех последних президентских выборов и для президентской избирательной кампании 1948 года. Напомню, в данном случае точность прогноза тем выше, чем меньше абсолютная величина вычисляемой по Трауготту статистики.

Точность финальных опросов перед президентскими выборами(по Трауготту)[5]

В свете сказанного выше легко интерпретируются положительный знак и низкая на фоне других точность в опросах 1948 года: речь идет о переоценке шансов на победу республиканского кандидата Дьюи. В 1996 году, когда переизбирался демократический президент Клинтон, опросы заметно завысили размеры его электората. В 2000 году полстеры немного переоценили победу республиканца Буша-мл.: в действительности он по числу голосов избирателей проиграл выборы демократу Гору и стал президентом лишь после пересчета голосов во Флориде; на его стороне оказалось большинство коллегии выборщиков. Через четыре года жесткую конкуренцию переизбиравшемуся на второй срок президенту Бушу-мл. составил кандидат от Демократической партии Керри. Но в целом опросы оказались весьма точными. Еще лучшей была работа полстеров в 2008 году, хотя многое осложняло их деятельность. Характеризуя условия, в которых приходится изучать мнения электората, Трауготт и его соавтор цитируют начало «Повести о двух городах» Чарльза Диккенса: «Это было лучшее из времен, это было худшее из времен. Это было возраст мудрости, это был век глупости... » [5].

Общенациональные президентские опросы 2000 года

С 1997 года NCPP ежегодно публикует отчеты о точности общенациональных опросов, а с 2002 года стал делать отчеты и о точности опросов, проводившихся в различных штатах. Начнем наш анализ с рассмотрения данных о точности президентских опросов 2000 года, когда за Белый дом боролись республиканец Буш-мл. и демократ Гор. Кроме них в президентских выборах участвовал независимый кандидат Надер (Ralph Nader).

В таблице 5 представлены результаты выборов и данные финальных опросов. В тот год 10 организаций проводили телефонный опрос, в котором интервью брали интервьюеры. Rasmussen использовал технологию автоматического телефонного интервью (Interactive Voice Response, IVR), когда вопросы задаются в автоматической записи, а респондент отвечает, указывая на наборной панели телефона номер ответа. Harris Interactive проводил онлайновый опрос, формируя выборку из пользователей электронной почты.

Результаты финальных опросов перед президентскими выборами 2000 года, %

В случае двух главных кандидатов NCPP применяет следующую трехшаговую методику измерения точности: 1) определяется абсолютная величина процентной разности долей электоратов каждого из этих кандидатов в финальных опросах; 2) по результатам выборов вычисляется абсолютная величина процентной разности долей этих электоратов; 3) находится абсолютная величина разности двух описанных величин и делится на два. Описанную оценку точности называют «разностью разностей», или «погрешностью кандидата».

Опираясь на данные таблицы 5, проиллюстрирую сказанное примерами. Согласно результатам телефонного опроса Harris, за Буша и Гора должно было проголосовать по 47% электората, абсолютная разность этих значений равна 0. В ходе голосования каждый из них получил по 48%, абсолютная разность – тоже 0. Легко понять, что вычисленная погрешность при определении размеров электоратов Буша и Гора равна 0 (см. табл. 6). Финальный опрос Battleground давал Бушу и Гору 50% и 45% электората соответственно. Абсолютная разность этих оценок составляет 5 пунктов. Таким образом, погрешность определяется как (5% – 0%) / 2 = 2,5%.

«Погрешность кандидата» при определении долей электората Буша, Гора и Надера по результатам выборов 2000 года, %

Поскольку по материалам всех опросов доля не решивших, за кого из кандидатов голосовать, невелика, то погрешность в определении размеров электората Надера измерялась как абсолютная процентная разность результата голосования за него и данных финального опроса. К примеру, по итогам опроса ICR/Politics Now, за Надера должны были проголосовать 7% электората; в действительности его поддержали 3% избирателей – следовательно, как видно из таблицы 6, погрешность в этом случае составляет 4%.

Средняя «погрешность кандидата» для традиционных в 2000 году схем телефонного опроса равна 1,1% при определении пропорций электоратов Буша и Гора и 1,3% – в прогнозе уровня поддержки Надера. Для вычисления аналогичного усредненного показателя, относящегося к новым на тот год опросным методикам, имеющегося статистического материал оказалось недостаточно.

Разного уровня электоральные опросы 2004 года

В итоговом отчете NCPP, посвященном анализу мониторинга президентской избирательной кампании 2004 года, отмечается успешная работе полстеров. В ходе этой избирательной кампании шла жесткая борьба между республиканцем Бушем-мл. и демократом Керри; за переизбрание Буша проголосовало тогда 50,7% электората, Керри поддержали 48,3% избирателей. Средняя «погрешность кандидата» для 16 организаций, проводивших общенациональные опросы по заказам СМИ, составила 0,9%. Только две опросные организации допустили ошибку, превышавшую 2 п.п. Одиннадцать финальных опросов выводили в победители Буша, четыре – Керри, в одном случае электорат делился между ними поровну.

В 2004 году, в преддверии дня голосования, в различных штатах было проведено 198 опросов, относящихся к президентским, губернаторским и сенатским выборам, из них 131 – с помощью обычных телефонных процедур, 67 – на базе автоматического телефонного интервьюирования или онлайновых технологий. Общая погрешность в этих опросах составила в среднем 1,7%, причем в традиционных телефонных опросах – 1,8%, при автоматическом интервьюировании – 1,5%, в онлайновых зондажах – 2,9%.

Из упомянутых 198 опросов 165 пришлось на 12 организаций, каждая из которых провела не менее трех замеров (остальные – меньше). Соответствующие данные представлены в таблице 7. В первом столбце таблицы указывается не только название полстерской организации, но и (в скобках) использованный ею метод проведения опроса. Если метод не назван, это значит, что использовался телефонный опрос.

Точность опросов, проведенных в штатах перед разного уровня выборами 2004 года

В 165 опросах 19 раз (12%) были неверно названы имена победителей, хотя во многих случаях величина погрешности находилась в рамках доверительных интервалов. Причины ошибок – в очень упорном соперничестве кандидатов и в некоторых перекосах при формировании выборки.

Общенациональные президентские опросы 2008 года

По оценкам NCPP, средняя «погрешность кандидата» в общенациональных президентских опросах 2008 года равнялась 0,9%, как и в 2004 году. Согласно финальным опросам, за Обаму должно было проголосовать от 50% до 55% электората, за Маккейна – от 42% до 48%. В действительности Обама получил поддержку 52,9% избирателей, на стороне Маккейна было 45,6% голосов. Все опросы фиксировали ожидаемую победу Обамы, и в среднем его отрыв от Маккейна оценивался в 7,5%, а, по итогам выборов, составил 7,3%.

Выводы NCPP о качестве работы полстеров в 2008 году делались на основе вычисления статистик погрешности в общенациональных финальных опросах 19 организаций. Рассмотрение других информационных источников позволило мне собрать данные 23 итоговых опросов. Они представлены в таблице 8. Преобладающее число организаций проводили телефонные интервью на базе CATI, но использовались и другие методы. Rasmussen Reports применял систему IVR, три организации – Harris Interactive, YouGov/Polimetrix и KnowledgeNetworks – использовали различные схемы онлайнового опроса.

В первых двух столбцах таблицы размещены данные о голосовании за Обаму и Маккейна. Поскольку не приводится статистика голосов, которые респонденты предполагали отдать другим кандидатам, а также не указана доля сомневавшихся в своем выборе, то сумма чисел в двух первых столбцах составляет менее 100%.

Результаты и точность финальных опросов перед президентскими выборами 2008 года, %[6],[7],[8]

Лишь в опросах GWU/Battleground-Tarrance, Организации Гэллапа и Reuters/C-SPAN/Zogby исчисляемая погрешность оказалась достаточно заметной (2,0–2,5%). В трех случаях она равняется нулю, а в остальных – не превосходит единицу. Среднее значение «погрешности кандидата» составило, как видно из таблицы, 0,8%.

В целом электоральные опросы 2008 года имели ту же степень точности, которая была достигнута в ходе двух предыдущих президентских кампаний. Финальные опросы всех известных организаций верно указали имя победителя, и величины погрешностей в основном не превышали теоретически допустимых. Принципиально отметить, что в равной мере эффективно работали как ставшие уже классическими методы телефонного интервьюирования, так и новые схемы, учитывающие тот факт, что в последние годы значительно выросла доля семей, которые отказались от домашнего телефона и пользуются лишь мобильной телефонной связью. Вновь доказали свою работоспособность онлайновые электоральные опросы.

Подробнее эта тематика рассмотрена в моей книге о презедентских выборах 2008 года ,[9].

Разного уровня электоральные опросы 2002–2010 годов

В ходе промежуточных выборов 2010 года шла борьба за 435 мест в Палате представителей, за 37 мест (из 100) в Сенате и за губернаторские позиции в 38 штатах и территориях. В отчете NCPP о точности осуществленных электоральных опросов) приведены обобщенные данные по 295 финальным опросам, состоявшимся в различных штатах во второй половине октября – начале ноября 2010 года. Опросы начались 13 октября или позже и проводились на протяжении периода в 20 дней, предшествовавших дню голосования в том или ином штате. Отдельно анализировалось качество финальных замеров электоральных предпочтений, выявленных почти накануне дня голосования – 24 октября или позже. Если в указанный период кто-либо из полстеров проводил более одного исследования, то в анализ включалось последнее.

Как обычно для практики NCPP, при оценке точности опросов использовалась статистика «разность разностей». В целом для 295 финальных опросов года (137 – традиционных телефонных, 122 – по технология IVR, 7 – комбинация двух названных методов, 27 – онлайновых, 2 – почтовых) «погрешность кандидата» составила 2,4%, а для 210 замеров, проведенных вплотную к дню голосования, она была еще меньше: 2,1%. Наиболее точными оказались онлайновые опросы (1,7%), точность традиционного телефонного опроса и IVR, то есть автоматического телефонного, равнялась, соответственно, 2,6% и 2,4%. Замечу для сравнения, что в 2004 году аналогичные показатели для трех видов опросов составляли 2,9%, 1,8% и 1,5% соответственно.

Информация, характеризующая точность замеров, осуществленных полстерами осенью 2010 года, представлена в таблице 9, где суммированы данные об электоральных опросах, проводившихся и в годы избрания президента США, и в годы промежуточных выборов.

Точность электоральных 2002–2010 годов

Таблицадает ответ на вопрос о точности опросов, проводившихся в 2002–2010 годах. Опуская детали, можно сказать, что погрешность в определении уровня поддержки кандидатов, борющихся за пост президента США, за право представлять население штатов в Палате представителей и Сенате страны, за пост губернатора штата в среднем равна 2–2,2% – в зависимости от времени проведения финальных опросов. Подобная величина погрешности детерминируется многими обстоятельствами и согласуется с выводами теории вероятности.

* * *

Возможно ли увеличение точности результатов электоральных опросов, то есть уменьшение «погрешности кандидата»? Возможно, но это потребует значительного увеличения размеров выборок, усложнения организации сбора данных и в конечном счете связано с значительным ростом финансовых затрат на проведение опросных исследований. На вопрос о необходимости и целесообразности большей точности при проведении электоральных измерений может ответить только политическая, социальная практика общества. Что же касается науки, то в принципе она способна решить эту задачу.