Оцінка зв'язаності подій за допомогою Байєса

Оцінка зв'язаності подій за допомогою Байєса

У своїй книзі Нейт Сільвер наводить такий приклад: припустимо потрібно розмістити інвестиції в декількох підприємствах, які можуть збанкрутувати з імовірністю. Потрібно оцінити свої ризики. Чим вища ймовірність банкрутства, тим менше ми будемо вкладати грошей. І навпаки, якщо ймовірність банкрутства прагне до нуля, то можна інвестувати без обмежень.


Якщо є 2 підприємства, тоді ймовірність того, що вони обидва збанкрутують, і ми втратимо всі вкладення. Так вчить стандартна теорія ймовірності. Але що буде, якщо підприємства пов'язані, і банкрутство одного веде до банкрутства іншого?

Крайнім випадком є ситуація, коли підприємства повністю залежні. Ймовірність подвійного банкрутства (банкрутство 1 & банкрут2) = (банкрут1), тоді ймовірність втрати всіх вкладень рівна. Методика оцінки ризику має великий розкид від 0.05 до 0.0025 і реальне значення залежить від того, наскільки правильно ми оцінили пов'язаність двох подій.

При оцінці інвестицій у підприємств маємо від до. Тобто максимальна можлива ймовірність залишається великою, і стара приказка «не клади яйця в один кошик» не спрацює, якщо впаде прилавок з усіма кошиками відразу.

Таким чином наші оцінки мають колосальний розкид, і скільки куди вкладати залишається питанням. Адже треба добре рахувати, перш ніж вкладати. Нейт Сільвер каже, що незнання цих простих законів аналітиками призвело до кроків фондового ринку в 2008 році, коли рейтингові агенства США оцінювали ризики, але не оцінювали пов'язаність ризиків. Що зрештою призвело до ефекту доміно, коли спочатку звалився великий гравець і захопив за собою інших.

Спробуємо розібрати цю проблему, вирішивши просту математичну задачу після ката.

Давайте вирішимо спрощену задачу, щоб навчитися оцінювати пов'язаність двох подій методом Байєса на простому прикладі двох монет. Далі математика... Постараюся розжувати, щоб самому аж зрозуміло стало.

Нехай є 2 монети і, які видають 0 або 1 при киданні і можлива одна з 4х комбінацій на один кидок:

комбінація 1: 00

комбінація 2: 01

комбінація 3: 10

комбінація 4: 11

Тут перша цифра відноситься до першої монети, а друга до другої. Я ввів такі позначення для зручності викладу.

За умовою завдання нехай перша монета незалежна. Тобто і. А друга може бути залежна, але ми не знаємо наскільки сильно. Тобто залежить від.

Може є якийсь магніт, який притягує монети, або кидає є шулером і прохіндеєм, який ставить ставком ставки. Наше незнання ми будемо оцінювати у вигляді ймовірності.

Щоб оцінити пов'язаність потрібен фактичний матеріал і модель, параметри якої будемо оцінювати. Давайте використовуємо найпростіші припущення, щоб відчути тему і побудувати модель.

Якщо монети незв'язні, то всі чотири комбінації будуть рівномовірні. Тут виникає поправка зі стандартної теорії ймовірності - такого результату можна досягти при нескінченній кількості кидань. Але оскільки на практиці кількість кидань звичайно, то ми можемо потрапити в відхилення від середнього. Наприклад, можна отримати ненавмисно серію трьох або п'яти орлів при підкиданні монет, хоча в середньому при нескінченному киданні буде точно 50% орлів і точно 50% решок. Відхилення можна інерпретувати як прояв зв'язаності, а можна інерпретувати як звичайне відхилення статистики від середнього. Чим менше вибірка, тим більше можливе відхилення, і тому можна сплутати різні допущення.

Ось тут і приходить на допомогу теорія Байєса, яка дає можливість оцінити ймовірність тієї чи іншої гіпотези по кінцевому набору даних. Байєс проводить зворотний процес від того, з яким ми звикли мати справу в теорії ймовірності. По Байєсу оцінюється ймовірність що наші домисли збігаються з реальним станом справ, а не ймовірність результатів.

Переходимо до творчого процесу побудови моделі. До моделі пов'язаності пред'являється вимога, - вона як мінімум повинна охоплювати можливі варіанти. У нашому випадку крайніми варіантами є повна пов'язаність або повна незалежність монет. Тобто модель повинна мати як мінімум один параметр k, що описує зв'язаність.

Опишемо її у вигляді коефіцієнта. Якщо друга монета завжди повністю збігається з першою, то 1. Якщо друга монета завжди має протилежні значення, то. Якщо монети незв'язні, тоді. Виходить непогано - одним числом описуємо безліч варіантів. До того ж сенс цієї змінної визначаємо як ймовірність збігу.

Спробуємо оцінити це число за фактичними даними.

Нехай є конкретний набір даних, який складається з результатів:

результат 1: 00

результат 2: 01

результат 3: 11

результат 4: 00

результат 5: 11

На перший погляд ні про що не говорить. Кількість комбінацій:

Неспішно розберемо, що означає формула Байєса. Використовуємо стандартний запис, де знак означає ймовірність виконання події, якщо вже відомо, що інша подія виконалася.

У даному випадку маємо комбінацію безперервних і дискретних розподілів. і є безперервними розподілами. А і є дискретними. Для формули Байєса така комбінація можлива. Для економії часу не розписую всі тонкощі.

Якщо ми будемо знати цю ймовірність, то можна знайти значення, при якому ймовірність нашої гіпотези максимальна. Тобто знайти найбільш вірогідний коефіцієнт.

У правій частині маємо 3 члени, які потрібно оцінити. Проаналізуємо їх.

1) Потрібно знати або обчислити ймовірність отримання таких даних при тій чи іншій гіпотезі. Адже навіть якщо об'єкти незв'язні (), то отримати серію можна, хоча складно. Набагато ймовірніше отримати таку комбінацію, якщо монети пов'язані (). - найбільш важливий член і нижче розберемо як його обчислювати.

2) Необхідно знати. Ось тут натикаємося на тонкий момент моделебудування. Ми не знаємо цю функцію і будемо будувати припущення. Якщо немає додаткових знань, то будемо вважати, що рівномовірно в діапазоні від 0 до 1. Якби ми мали інсайдерську інформацію, то більше знали б про пов'язаність і будували б більш точний прогноз. Але оскільки такої інформації немає, то покладемо. Оскільки величина не залежить від, при обчисленні вона не матиме значення.

3) - це ймовірність мати такий набір даних, якщо всі величини випадкові. Ми можемо отримати даний набір при різних з різною ймовірністю. Тому враховуються всі можливі шляхи отримання набору. Так як на цьому етапі ще невідомо значення, то треба проінтегрувати по. Що б це краще зрозуміти, треба вирішити елементарні завдання, в яких будується байєсовський граф, а потім перейти від суми до інтеграла. Вийде такий вираз wolframalpha, який на пошук максимуму не вплине, оскільки ця величина не залежить від.

Розберемо, як обчислювати. Пам'ятаємо, що перша монета незалежна, а друга залежна. Тому ймовірність значення для першої монети буде виглядати якось так, а для другої монети так. Ймовірність збігу з першою монетою рівна, а ймовірність неспівпадіння рівна.

Розберемо можливі випадки для одного результату:

Для перевірки складемо ймовірності, повинна вийти одиниця. Це радує.

Тепер можна перейти до пошуку найбільш ймовірного значення за вигаданим набором даних, який вже наводився вище.

Ймовірність мати такий набір

,

розкриваємо

,

спрощуємо

,

узагальнюємо для довільного набору даних

,

.

Позначимо кількість збігів, а кількість неспівпадінь.

Отримуємо таку узагальнену формулу

.

Бажаючі можу погратися з графіком, вводячи різні показники ступеня:посилання на wolframalpha.

Оскільки в цьому прикладі, то працюємо безпосередньо з.

Для пошуку максимуму диференціюємо і прирівнюємо до нуля:

.

Щоб твір був рівний нулю треба, щоб один з членів дорівнював нулю.

Нас не цікавлять і, так як в цих точках немає локального максимуму, а третій множник вказує на локальний максимум, тому

.

Отримуємо формулу, яку можна використовувати для прогнозів. Тобто після додаткового кидка першої монети намагаємося передбачити поведінку другої через.

результат 6: 1¿

При отриманні нових даних формулу коригуємо і уточнюємо. При отриманні інсайдерських даних ми будемо мати більш точне значення, і можна додатково уточнити весь ланцюжок розрахунків.

Оскільки ми обчислюємо ймовірність, то для бажано проаналізувати середнє і дисперсію. Середнє можна підрахувати за стандартною формулою. А ось про дисперсію можна сказати, що при збільшенні кількості даних - пік на графіку (посилання вище) стає більш гострий, що означає більш однозначний прогноз значення.

У наведеному вище наборі даних маємо 4 збіги і один неспівпадання. Тому. У додатковому шостому киданні з імовірністю 80% відбудеться збіг другої монети з першою. Припустимо ми отримали на першій монеті 1, тоді маємо 80%, що «результат 6» буде «11» і інші 20%, що «результат 6» буде «10». Після кожних кидків коригуємо формулу і прогнозуємо ймовірність ще недосконалих збігів на крок вперед.

На цьому я б хотів закінчити свій пост. Буду радий вашим коментарям.

PS

Цей приклад описано для демонстрації алгоритму. Тут багато чого не враховано того, що буває в реальності. Наприклад, при аналізі подій з реального світу треба буде аналізувати тимчасові інтервали, проводити факторний аналіз і багато іншого. Це вже турбота професіоналів. Так само слід філософськи зазначити, що все в цьому світі взаємопов'язане, тільки ці зв'язки іноді проявляються, а іноді ні. Тому повністю все врахувати на сто відсотків не вийде, бо довелося б у формулу включати всі об'єкти цього світу, навіть ті, які ми не знаємо, і обробляти дуже великий обсяг фактичного матеріалу.

Джерела інформації:

1. https://ru.wikipedia.org/wiki/Теорема _ Байєса

2. https://ru.wikipedia.org/wiki/Байесівський _ висновок

3. Нейт Сільвер, «Сигнал і шум»

Рибаков Д.А. 2017

- мої подяки тим, хто відгукнувся: Arastas, AC130, koldyr