Предварительные итоги Турецкой кампании

[kouprianov]

На прошлой неделе войска союзников подошли к границам Турции. q_uadrat обнаружил расположение основных сил противника, но разведка показала, что моя армия неспособна решать боевые задачи такой степени сложности. podmoskovnik нашел создателя настоящих боевых роботов в лице Александра Шпилькина, который создал боевую машину, повергнувшую к нашим стопам 1055 файлов с таблицами по ТИКам. Несколько дней ушло на выравнивание таблицы, понимание того, что семь ТИКов не вывешены на сайт, и данные по ним потеряны для нас, но, к счастью, составляют доли процента. Вчера вечером закончил ровнять таблицу для скармливания в R. Независимых кандидатов, которые образуют отдельную партию, считать не стал (они перечислены в таблицах поименно, и их надо было бы выравнивать еще несколько дней).

Когда я нарисовал первые картинки (их можно видеть во втором ряду рис. 1 -- особенно впечатлила красующаяся там посередине первая версия диаграммы рассеяния явка~размер участка), то пришел в полный ужас. Турция настолько не походила на все, что мы видели, что было совершенно не ясно, чем она вообще может быть полезна. Сделав пару вдохов и выдохов, однако успокоился. Да, участки маленькие (видимо, есть законодательное ограничение около 300 человек). Да, на ряде участков наблюдается явка выше 100% (что неудивительно при участках такого размера -- достаточно приехать нескольким чужакам с какими-нибудь турецкими открепительными и явка, и без того высокая, порядка 80+%, зашкалит). Но явка и доля голосов за партию должны варьировать в каких-то разумных пределах, да и корреляции между ними никуда не денутся. Так и оказалось. Итак -- две серии картинок по Турции.

Рис. 1. Размеры избирательных участков и явка. Внизу -- в том виде, в котором я их изначально увидел и мне стало плохо. Вверху -- при тех же масштабах осей, что и на графике для России, Болгарии, Чехии и Польши. Обратите внимание на то, что, несмотря на аномальный характер явки (зашкаливающей за 100%, в основном на малых участках), форма распределения такая же, как и во всех остальных странах, кроме России (одногорбая, довольно симметричная, с низким правым плечом).



Рис. 2. Партии, прошедшие в Меджлис. Их всего три. Порог высокий -- 10%. Тут -- никаких сюрпризов. Незатейливые распределения долей проголосовавших за партию, практически никакой зависимости доли проголосовавших от явки. Посчитал для всех пятнадцати партий параметры линейной регрессии, R^2 не превышает 0.008.

Comments

[barouh.livejournal.com]

Удивляет облако участков, где Cumhuriyet получила более 85% голосов. Интересно, что это за участки.

И удивляет обилие участков с нулевой поддержкой Cumhuriyet и особенно с нулевой поддержкой MHP. Неужели это такой сильный раскол между городом и селом?

Эхх, нужен специалист по турецкой электоральной географии

[kireev.livejournal.com]

Это явно национальные и этнические меньшинства, и прежде всего алавиты, в меньше степени армяне. А с другой стороны, нулевая поддержка других партий на целой куче участков связана с тем, что курды дружно голосовали за своих независимых кандидатов.

[barouh.livejournal.com]

Ага. Признаюсь, я изначально зашорено предположил, что участки с нулями для левых и ультраправых - это разные участки. Я не подумал, что это могут быть одни и те же - курдские - участки

Дальше правда возникает любопытство - а почему-то у правящей партии почти нет участков с нулями? Мало участков с чисто курдским населением (а турецкое меньшинство в условиях этнической поляризации в курдских районах голосует только за одну партию)? Или даже в самых глухих деревнях находится некоторое количество курдов-"коллаборционистов", голосующих за турецкую партию?
(понятно, что это уже спекуляции и предположения, и касаются они деталей, а не главной "идеи" представленных графиков)

[kireev.livejournal.com]

Почему нет? Есть и как раз немало.

[spectat.livejournal.com]

**Это явно национальные и этнические меньшинства**

корреляция с уровнем доходов и обоазования намного сильнее. т.е. чем богаче/образованнее регион, тем меньше % голосов за АКП.

я как-то перепечатывал интересную карту по итогам референдума http://spectat.livejournal.com/44318.html , но, к сожалению, она пропала с сайта http://www.habermedyaturk.com/

[mikev.livejournal.com]

На графике для Adalet... всплеск около 50% , но только другого "не нашего" знака?
Или мне кажется?

[kouprianov.livejournal.com]

Вроде да. Однако я бы в Турции придавал меньшее значение зубчатости -- при таких маленьких участках вся Турция находится в артефактоопасной зоне (см. левый фестончатый край на первой картинке в записи http://kouprianov.livejournal.com/196075.html ). В Турции для AK эта же картинка выглядела бы иначе (она есть, но сейчас вывесить не могу, может быть, как-нибудь потом) -- фестончатый край занимает половину ширины (примерно до 150 человек на участке при максимуме около 300) и в нем нет ничего особенного -- глубокие врезки вокруг 50%, тонкий однопиксельный пик на 50% и так на всех остальных простых дробях. Я не могу с моим уровнем овладения R совсем произвольно менять размеры бинов и сдвигать их границы с той же легкостью, с которой это делают знатоки математики в своих матлабах и прочих неведомых мне программах, но думаю, что этот провал ушел бы, если немного сместить границы бинов.

[q-uadrat.livejournal.com]

То есть заголовков "Россия: независимый эксперт обвиняет правящую партию Турецкой республики в гнусных и неприкрытых фальсификациях" не будет :) Вообще очень впечатляет. Нет корреляции с явкой. Распределение по явке симметричное. С ума сойти.

Стыд и позор. Даже турки (простите меня, турки, за это "даже") умеют проводить выборы честнее, чем мы.

[kouprianov.livejournal.com]

Да, я, признаться, ждал результатов по Турции с замиранием сердца, поскольку как раз опасался появления мощных корреляций из-за возможной пространственной неоднородности. Грубо говоря, если некая партия более популярна в районах с высокой явкой, а другая -- в районах с низкой явкой, что, как я подозреваю, может иметь место в Польше (увы, для проверки этого предположения мне надо осмыслить еще пару глав из учебника по R), то по стране в целом появится корреляция между долей голосов за эти партии и явкой, которая никак не связана со вбросами (при этом она, как мне представляется, должна быть заметно ниже, чем "вбросовая").

[q-uadrat.livejournal.com]

В этом бонус Турции, мы точно знаем, что Стамбул — город-контраст. Значит даже в такой стране закон больших чисел работает. Он и в Польше работает, вообще говоря, если говорить только о корреляциях и явке.

[q-uadrat.livejournal.com]

Я вот еще чего подумал. Это же все отрицательные контроли, нужен положительный. То есть выборы, про которые точно известно, что они сфальсифицированы. Соответственно, для них должны обнаруживаться те же аномалии, что и у нас — методы же везде одни и те же, хоть в пустыне, хоть в тайге.

[barouh.livejournal.com]

Не соглашусь. Даже внутри России между разными регионами есть существенные различия по "моделям" фальсификаций: где-то только ПРИписывали голоса, где-то только ПЕРЕписывали, где-то баловались и так, и так, а где-то и вовсе заполняли протоколы "от балды". На одних участках объем фальсификаций исчисляется несколькими десятками, максимум сотней-другой голосов - а где-то речь идет о четырехзначных числах. Где-то фальсификации затронули только отдельные участки, где-то - большинство УИКов города или района, а есть и территории, где искажению подверглись результаты по всем участкам

И у каждого из этих вариантов свои статистические проявления

[q-uadrat.livejournal.com]

И что это доказывает? Да, ассиметрия распределений по явке и гребенка Чурова — это разные типы нарушений. Но мы же их видим уже на всем массиве собранных данных. Значит мы вправе ожидать этого и от положительного контроля.

[barouh.livejournal.com]

Мне наиболее перспективным кажется путь выделения внутри России корпуса территорий (в первую очередь, городов), для которых нет оснований предполагать существенные фальсификации - с последующим выделением стабильных электоральных характеристик этих территорий и участков и "тестирования" по этим же характеристикам результатов по остальным территориям

[q-uadrat.livejournal.com]

А какой критерий отбора? Если та же статистика, то это ad hoc гипотеза, любой грамотный оппонент вам на это сразу укажет.

Другие страны хороши как раз тем, что про них может быть точно установлено, честные они были или нет.

[kouprianov.livejournal.com]

Мне кажется, что наша ситуация уникальна: масштабные фальсификации при полной открытости детальной статистики. Такого мы, видимо, нигде не найдем. Даже в благополучных странах легко доступны только агрегированные данные. Детальный расклад до уровня УИК -- редкость.

[q-uadrat.livejournal.com]

Ну, скорее всего, все не так плохо, как вам кажется. Требование публикации результатов голосование стандартное для международных организаций, наблюдающих за выборами.

Легко предположить, что найдется достаточно коррумпированных стран, которые хотят казаться демократическими. Там эти требования будут скурпулезно выполняться, а основные нарушения будут там, куда европейский наблюдатель просто не доедет.

Вот, полюбуйтесь (вам придется эту статью как-то обходить, если будете писать свою):
http://arxiv.org/PS_cache/arxiv/pdf/1201/1201.3087v1.pdf

Там есть Уганда до уровня ТИКов и ведет она себя в точности как мы.

[q-uadrat.livejournal.com]

Вот они, наши угандийские друзья:
http://www.ec.or.ug/eresults.html

[q-uadrat.livejournal.com]

там даже до УИКов есть, только я тупо не могу скачать, видимо там все в одном гигантском pdf-файле. Африка :)
http://www.ec.or.ug/Elec_results/2011_Pres_Pstn.pdf

[q-uadrat.livejournal.com]

Кстати, если хотите сделать положительный контроль, очень рекомендую обратить внимание на Мексику. В конце 80х в Мексике были выборы президента, где кандидат от власти выиграл благодаря фальсификациям (чуть больше 50% ему смогли нарисовать). Тоже начались массовые протесты после чего оппозиция последовательно давила 12 лет, пока их кандидат не смог наконец победить на выборах президента (перспектива безрадостная, конечно). Я вот эту статью просмотрел, она дает общее представление о масштабе проблем:
http://dev.wcfia.harvard.edu/sites/default/files/jd_mexicans_react.pdf

Бонус в том, что правящая партия PRI признала, что выборы 88 года были сфальсифицированы — это сделало бы их идеальным положительным контролем. К сожалению, сайт ЦИК Мексики не содержит записи о тех выборах, но есть все основания утверждать, что и следующие выборы тоже прошли с нарушениями. Эти выборы в базе есть начиная с 91 года (очень симпатичный у них сайт, с графиками, красота, можно даже csv скачивать, как я понял).
http://www.ife.org.mx/portal/site/ifev2/Estadisticas_y_Resultados_Electorales/

Но даже современные выборы вряд ли целиком честные: есть целые штаты, которые находятся под контролем картелей (Мичоакан, Синалоа, Баха Калифорния и пр)
http://www.washingtonpost.com/world/americas/mexico-2012-vote-vulnerable-to-narco-threat/2011/12/21/gIQAny4i1P_story.html

[jemmybutton.livejournal.com]

здорово!
прикольные распределения голосов за партии и прикольные выбросы в район 100на100 у действующей и у давно и долго бывшей правящих партий

[kouprianov.livejournal.com]

Ну, я бы сказал, (1) что при средней по больнице явке за восемьдесят, сто уже не выглядит так одиозно. (2) что 100х100 вообще-то довольно мало -- во всяком случае, выброс с околонулевым голосованием при сто и более процентной явке впечатляет меня гораздо больше. У нас почти нет участков, где ЕР получила менее 20%, а в Турции таких -- тысячи, да еще и с околонулевыми значениями полно.

[ashipunov.myopenid.com (from livejournal.com)]

Можно непрошенный совет?
Не могли бы Вы выкладывать данные вместе со скриптами R, которые бы загружали эти данные и делали соответствующие графики? Это очень поможет всем, кто хочет сделать что-то подобное, а кроме того, даст возможность выявить ошибки (если они есть) и оптимизировать расчеты. В общем, такой open source approach.
Если проблемой является размер данных, то учтите, что R, начиная с версии 2.10.0, без проблем читает сжатые данные. Например, команда read.table("data.txt.bz2") будет работать так, как будто в аргументе текстовый файл, а не архив, и при этом распознает формат архива. А с bzip2-компрессией громадные текстовые файлы уменьшаются в тысячи раз.

[kouprianov.livejournal.com]

Я почти за, но, среди прочего, пока не понимаю, как заставить R работать со скриптами. т. е., я могу сделать savehistory и почистить ее, но почему-то в тот единственный раз, когда я попробовал попросить ее прочесть такую редактированную history и что-то сделать в автоматическом режиме и посохранять в некие файлы, у меня ничего не вышло. Лучшее, что у меня пока выходило, это loadhistory, а потом по ней полазать. Я, возможно, в ближайшее время опишу все, что делал, неким серьезным образом, после чего и перейду если не к opensource, то к friendly peer-review фазе.

[ashipunov.myopenid.com (from livejournal.com)]

Ну, этому горю нетрудно помочь. Попробуйте, например, так:

> print("Hello, world!")
> savehistory("hello.r")
> file.edit("hello.r") # уберите там лишние строчки
> source("hello.r")

file.edit() вызовет умалчиваемый редактор. Если vim Вам не нравится, можно задать любой другой редактор при помощи

> options(editor="gedit")