( Collapse )

Верховный алгоритм. Педро Домингос.

На этой неделе (а на самом деле ещё осенью) я прочитал удивительную книгу - наверное, лучшее введение в машинное обучение, которое я встречал. Книга написана для самой что ни на есть широкой аудитории: в ней всего две формулы и ни одной строчки кода. Но автор умудряется за 300 страниц дать очень хорошую интуицию об основных направлениях и алгоритмах машинного обучения. Как ему это удаётся? За счёт огромного, просто неприличного количества ярких метафор и ассоциаций, одновременно и связывающих у вас в мозгу воедино отдалённые области знаний и факты, и просто доставляющих удовольствие. Зачем автор это делает? Чтобы у вас загорелись глаза и вы тоже начали заниматься машинным обучением. Чего автор хочет добиться в итоге? Создать "верховный алгоритм", универсальный "решатель проблем", способный обучаться на любых данных. Если такой алгоритм будет создан, он изменит мир - например, сможет победить рак; без машинного обучения решить такую задачу невозможно.

( Collapse )

Сегодня я снова побывал на своей липовой родине - в селе Ивашково Шаховского района Московской области. Об этом и рассказ.

( Collapse )

Продолжаю обсуждать книгу Probability theory: the logic of science.

( Collapse )

Общие выводы, которые можно сделать после прочтения:

1. Теории вероятностей действительно достаточно для хорошего описания любой человеческой интуициию. Если качественного описания не получается - значит, и интуиция была плохой.
   
2. Теорвер даёт оптимальный ответ для любой поставленной задачи. Но чтобы её поставить, надо сформулировать целевую функцию и априорные распределения. Если ты не можешь их сформулировать, тогда твоя задача не задача - уникального решения у неё просто не может быть.
   
3. К счастью, для формулировки логичных априорных вероятностей есть ряд техник, таких, как максимзиация энтропии. Но чтобы их осознанно и свободно применять, нужно ботать матан.
   
4. К счастью, в век компьютеров можно минимизировать количество матана, используя методы Монте-карло. Поэтому применять байесовские методы может любой тупой кодер.
   
5. Но теорию вероятностей всё равно лучше ботать, ибо самое сложное - это правильная постановка задачи, а для неё нужна мощная интуиция. Работа с фундаментальным теорвером эту интуицию хорошо развивает.
   

Желаю вам хорошей интуиции и счастья!

( Collapse )

Завершился ШАДик, выпустились птенчики-Фениксы, построена модель NCL, и даже на диссер уже получен отзыв рецензента. Наступили выходные, и Давид, как и все, решил отдохнуть. А какой отдых самый радикальный? Правильно, 24 часа лежать на диване и ничегошеньки не делать. С одним только условием: диван должен находиться в Девятовской каменоломне, и мимо не должно пролетать ни одного фотона света - ни электрического, ни пламени, ни какого-либо ещё. А что? Все познают Будду как могут, я выбрал один из наименее трудозатратных вариантов. Говорят, современной молодёжи, как правило, после суток без гаджетов и без социализации становится хреновенько - посмотрим, насколько это применимо ко мне. Да и пожить вслепую хотелось уже очень давно, но всё никак руки не доходили.
( Collapse )

Я бегу по Коломенской набережной, таращусь на песчаный берег обмелевшей ещё осенью Москвы-реки, и мне хорошо.
Существует неортодоксальная точка зрения, что человек произошёл от обезьян, которым надоели джунгли и которые пришли на пляж гулять по мелководью и питаться ракушками. Это многое объясняет: и зачем понадобилось прямохождение (в воде достаточно двух конечностей, чтобы сохранять равновесие, а руками можно шарить по дну), и куда делась шерсть (в воде она мешает), и как мы приучились создавать орудия труда (ракушку существенно проще обработать, чем камень), и кучу других особенностей рода homo. Но мне, как совсем небиологу, больше всего нравится, что эта теория объясняет, почему мы так любим воду.

Как только у современного человека находятся время и деньги, он собирает манатки и едет к воде - в Крым, в Турцию, на Багамы, в сплав на байдарках, в круиз на теплоходе. Бродяга хиппи добирается автостопом до Байкала, мафиозные шишки состязаются размерами своих яхт, ботаник покидает пыльный кабинет в старом здании РАН и уходит работать в палаточный коворкинг на берегу водохранилища. Даже те, кто умеют подогнать по себе небо, отдают предпочтение водной стихии. И даже не важно почему, важен сам факт - около воды человеку хорошо.

Химический супчик, по старой привычке называемой рекой, несёт свои воды мимо мегаполиса, и мимо Коломенского парка, который древнее, чем мегаполис. Мне хочется покидать в воду камни, закопаться руками в песок, сплавать до того берега и обратно, спуститься вниз по этой реке на каком-нибудь судёнышке. Но я бегу дальше до конца набережной. В ШАДе накопилось слишком много хвостов, в Альфе скоро внедрять обновлённую стратегию, Феникс меняет бизнес-модель, диплом нависает всё неотвратимее, данные разным хорошим людям обещания ждут выполнения. В конце парка я всё-таки не выдерживаю и на пару минут окунаюсь в холодную реку. Оказывается, она не только мелкая, но и быстрая - течение успело снести меня довольно далеко. Выхожу на каменистый берег, и весенний ветер высушивает меня почти моментально. Бегу вдоль набережной обратно, заниматься делами человека современного, но несу с собой частичку того, что заложила в нас когда-то природа и чем продолжает щедро одаривать тех, кто готов принимать такие подарки.

Собственно да, неделя на удивление задалась. А неделя у меня, как у Никиты Т. и у работников НИИЧАВО, начинается в субботу. В субботу моя команда в Фениксе защищала свой первый учебный кейс. Защитила на "зачёт" - но хуже, чем все остальные команды. Ребятам не хватило широты мысли, дерзости, умения оформить свои результаты красиво, отработанности выступления и, кажется, свободного времени. Одним словом, яблочко от яблони недалеко падает... Но, так или иначе, защитились и отправились покорять кубок России. Надеюсь, хоть чему-то годному я научил их.
Далее последовал чудесный упоротый вечер со всей атрибутикой - гитарными песнями, отравлением организма, вкусной праздничной пищей (эти подмножества пересекаются, но не совпадают), откровенными разговорами с несчастными гениями. Суббота постепенно, но неотвратимо перешла в воскресенье. И тут началось.
Полдня я провел, постигая модели миграции кредитных рейтингов, алгоритмы разбиения длинных молекул на участки, и прочие ХММ. ХММ покорялись моей воле на удивление легко. Еще полдня - впервые за последние месяцы проведя урок математики с частными учениками (когда твой баланс в глубоком минусе, привередничать не приходится). Потом и воскресенье как-то закончилось.
В понедельник, придя на работу, я впервые воспользовался мудростью одного из моих учеников - завёл себе почасовой дневник. И начал честно хронометрировать свою деятельность. Деятельность была, как обычно, низкопродуктивной, но, по крайней мере, более осознанной, чем всегда. Придя домой, я твердо наказал себе доделать домашку по символьным последовательностям - не сдав ее, я рисковал завалить весь курс. Но после ужина меня начало клонить в сон... И тяжелым, но гениальным решением стало честно рано лечь спать, поставив будильник на полшестого. А за час до солнышка я встал и действительно всё заботал. Более того - вечером нашел в себе дерзость уехать с работы рано и впервые за календарный год появиться в ШАДе. Там я чувствовал себя немножко лохом, но радость была больше - по его атмосфере я соскучился. Ну и осознание, что мозги надо поддразнивать, чтобы они работали, грело.
В среду я снова встал рано (хоть и не так) и пришел на работу в восьмом часу. Впервые за две недели с открытия этого проекта провел несколько часов над эконометрикой временных рядов, моделируя зависимость своего родного проекта от макроэкономики. Мда, несмотря на свой ник в ЖЖ, тонкости VECM я серьезно подзабыл...
На работе я пробыл до 9 вечера, за эти 13 часов успев более-менее утвердиться в выводах по стресс-тестированию, сдать модель EAD валидаторам, и за последние пару часов поднять одобрение в картах ещё на три процента (правда, ценой серьезного ухудшения - завтра надо пересмотреть этот результат).
Выстроил режим дня, вернулся в ШАД, поднял перформанс на работе. Почему всё так хорошо и продуктивно? Причина один - портфельный менеджер почти освободил меня от текучки по аналитике для разных боссов, заменив, правда, эту текучку необходимостью тестировать внедрение трех моделей с тремя разными технологами. Причина два - у меня завершилась работа с фениксокомандой, и это заметно развязало руки. В общем, у меня внезапно пропала необходимость заниматься тем, чем я заниматься не умею. И это сразу заметно отразилось на всей жизни.
Ну, а если формулировать более образно, у меня просто открылось второе дыхание. Потому что если у того же Никиты, например, жизнь - это танец, то у меня - забег на длинную дистанцию. И я знаю, что мчаться меня никто не заставляет, и что в любой момент можно перейти на шаг. Но мне просто хочется это делать, и я добегу до конца.
P.S. Моя подруга как-то справедливо заметила, что переводя лозунг Nike как "просто сделай это", люди теряют серьезную смысловую компоненту, в него заложенную. Правильнее говорить в несовершенном виде "просто делай это" - не думая о моментальном результате. Как будто бы впереди вечность. Просто делай правильные  вещи.

Вот говорят, что надо беречь честь смолоду, а платье снову. Про платье я абсолютно не согласен - чего его беречь, оно же платье. Если жалко денег, на него потраченных, так просто купите дешёвые шмотки, и носите, не напрягаясь! А вот с честью всё куда сложнее.

( Collapse )

Только что натолкнулся на ещё одно подтверждение того, что заметки в формате твитов - лучше, чем отсутствие заметок.

А обитающая уже чуть больше суток в моей голове мысль навеяна удивительнейшим человеком Дэном Левитиным (много ли вы знаете типов, являющихся одновременно музыкантами, продьюсерами и нейропсихологами?). И мысль вот в чём. Как всегда, элементарная.

В идеальном мире я могу вести себя совершенно спонтанно - заниматься ровно тем, чем мне хочется в данный момент, не слишком задумываясь о проблемах из будущего и прошлого. Без необходимости что-либо запоминать и что-либо планировать. В этом мире было бы очень классно жить. Но, к сожалению, реальность не такова - есть ряд вещей, которыми не заплатишь даже ради свободы.

И вот новая мысль в том, что если первая наилучшая альтернатива недоступна, то второй наилучшей может быть как раз использование планирования. Но не в смысле постановки сложной системы целей и вознаграждений за них (это обычно только усложняет жизнь без видимой отдачи), а в смысле разграничения собственной жизни на сегменты. Раз уж не удаётся быть спонтанным в целом, можно быть спонтанным в рамках каждого отдельного кусочка. И это уже неплохо.

На практике попробовать это очень просто, хоть и не легко. Достаточно чуть-чуть изменить постановку задач самому себе. Не "сяду и напишу эссе", а "сяду и буду 2 часа работать над эссе, ни на что не отвлекаясь". И с этого момента я знаю, что в эти два часа мне не нужно беспокоиться НИ О ЧЁМ БОЛЬШЕ, кроме этого эссе. Уложусь быстрее - оставшееся время проведу так, как мне хочется. Не уложусь - отправлю работу, как есть, или вернусь к ней завтра. А пока что я на два часа окунаюсь в эссе и творю в нём, что хочу, не отвлекаясь ни на какие посторонние заботы.

В каждом из нас есть прокачанная эволюцией и воспитанием машинка-для-достижения-целей. Она может работать очень эффективно - в том смысле, что мы умеем достигать невозможного. Но когда нужно достигать чего-то нетривиального изо дня в день, машинка довольно быстро изнашивается и начинает работать хреново. И, возможно, лучшее, что можно сделать, чтобы поберечь свой ресурс воли - это использовать встроенный целедостигатель только для того, чтобы правильно сегментировать свою повседневность на потоки. А внутри каждого потока быть свободным.

Прочитаю The organized mind - вернусь к этой теме.