Category: наука

Category was added automatically. Read all entries about "наука".

Цифровой путь в светлое будущее

Верховный алгоритм. Педро Домингос.


На этой неделе (а на самом деле ещё осенью) я прочитал удивительную книгу - наверное, лучшее введение в машинное обучение, которое я встречал. Книга написана для самой что ни на есть широкой аудитории: в ней всего две формулы и ни одной строчки кода. Но автор умудряется за 300 страниц дать очень хорошую интуицию об основных направлениях и алгоритмах машинного обучения. Как ему это удаётся? За счёт огромного, просто неприличного количества ярких метафор и ассоциаций, одновременно и связывающих у вас в мозгу воедино отдалённые области знаний и факты, и просто доставляющих удовольствие. Зачем автор это делает? Чтобы у вас загорелись глаза и вы тоже начали заниматься машинным обучением. Чего автор хочет добиться в итоге? Создать "верховный алгоритм", универсальный "решатель проблем", способный обучаться на любых данных. Если такой алгоритм будет создан, он изменит мир - например, сможет победить рак; без машинного обучения решить такую задачу невозможно.

Collapse )

Праздник воинствующего байесианства (2/2)

Продолжаю обсуждать книгу Probability theory: the logic of science.

Collapse )

Общие выводы, которые можно сделать после прочтения:
  1. Теории вероятностей действительно достаточно для хорошего описания любой человеческой интуициию. Если качественного описания не получается - значит, и интуиция была плохой.
  2. Теорвер даёт оптимальный ответ для любой поставленной задачи. Но чтобы её поставить, надо сформулировать целевую функцию и априорные распределения. Если ты не можешь их сформулировать, тогда твоя задача не задача - уникального решения у неё просто не может быть.
  3. К счастью, для формулировки логичных априорных вероятностей есть ряд техник, таких, как максимзиация энтропии. Но чтобы их осознанно и свободно применять, нужно ботать матан.
  4. К счастью, в век компьютеров можно минимизировать количество матана, используя методы Монте-карло. Поэтому применять байесовские методы может любой тупой кодер.
  5. Но теорию вероятностей всё равно лучше ботать, ибо самое сложное - это правильная постановка задачи, а для неё нужна мощная интуиция. Работа с фундаментальным теорвером эту интуицию хорошо развивает.

Желаю вам хорошей интуиции и счастья!

Праздник воинствующего байесианства (1/2)

Probability theory: the logic of science. E.T. Jaynes.

После трёх месяцев молчания (о, поверьте, это были весьма насыщенные месяцы!) я решил вернуться к бложику и рассказать о книге, которую дочитал сегодня. Это довольно математически нагруженный труд, повествующий о байесовском подходе к теории вероятностей. Это не учебник, т.к. содержит мало "рецептов" решений задачи, и много личных эмоций автора по поводу того, что правильно и неправильно в математике. Книга формирует много полезной интуиции, но, наверное, её стоит читать уже после ознакомления с "классическим" курсом теорвера и статистики.



Collapse )