staerum: (Default)
[personal profile] staerum
Интересная инфа по брутфорсу задач распознавания нейронными сетями (обученными без учителя, что занятно).


"Авторы провели широкомасштабный эксперимент по построению детектора человеческих лиц на основании огромного количества изображений, не маркированных никаким образом. Была построена 9-слойная нейронная сеть со структурой разреженного автоэнкодера с локальными рецептивными полями. Нейронная сеть реализована на кластере из 1000 компьютеров, по 16 ядер в каждом, и содержит 1 миллиард связей между нейронами. Для обучения сети использовали 10 миллионов кадров 200х200 пикселов, случайным образом полученных из роликов YouTube. Обучение методом асинхронного градиентного спуска заняло 3 дня.

В результате обучения на немаркированной выборке, без учителя, вопреки интуиции, в выходном слое сети был выделен нейрон, селективно реагирующий на присутствие лица на изображении. Контрольные эксперименты показали, что этот классификатор устойчив не только к смещению лица на поле изображения, но и к масштабированию и даже к 3D-вращению вне плоскости изображения. Оказалось, что эта нейронная сеть способна обучаться распознаванию разнообразных высокоуровневых понятий, например человеческих фигур или кошек."

Исходная публикация.

Вот еще про автоэнкодеры интересное.

Date: 2012-06-20 07:04 pm (UTC)
From: [identity profile] troizkiy.livejournal.com
ух ты. круто, мне понравилось. Жалко, что я на этот курс по Machine Learning забил.

Date: 2012-06-20 07:05 pm (UTC)
From: [identity profile] staerum.livejournal.com
Вот, да. По обоим пунктам.

Date: 2012-06-20 08:20 pm (UTC)
From: [identity profile] staerum.livejournal.com
Вот еще рефлексия нейронных сетей.

Чорт, чорт, может мы правда в выч. мощности упираемся, а не в алгоритмы?

Date: 2012-06-20 09:39 pm (UTC)
From: [identity profile] troizkiy.livejournal.com
ну автор явно романтик, но эффект интересный. То что полбеды в мощностях это наверняка так. Взять тот же анализ текста на естественном языке. Пока не подключили 10 стоек самых навороченных серваков результат не впечатлял. Зато теперь, IBM Watson - наше все :)

Date: 2012-06-20 09:54 pm (UTC)
From: [identity profile] staerum.livejournal.com
Романтик, конечно. Тут сразу на ум пришли 60-е годы XX столетия: ну вот еще чуть-чуть и будет нам ИИ, буквально двадцать лет осталось.

Ладно, молимся на экспоненту и ждем. Ватсон уже жжот, что будет дальше интересно. Даешь полноценного философского зомби.

До кучи - http://plakhov.livejournal.com/178916.html

Date: 2012-06-20 10:30 pm (UTC)
From: [identity profile] troizkiy.livejournal.com
хм. Ну как-то в посте явный батхерт у человека.
Хоткинс молодец - свежая струя в немного застоявшуюся область machine learning. И те же результаты автоэнкодеров косвенно его мысли подтверждают.

Date: 2012-06-20 11:01 pm (UTC)
From: [identity profile] staerum.livejournal.com
А ты самого Хоткинса читал? У меня так руки и не дошли, лежит в стеке.

Date: 2012-06-21 09:50 am (UTC)
From: [identity profile] troizkiy.livejournal.com
ну я читал обзор, но более нейтральный :)

Date: 2012-06-21 04:13 pm (UTC)
From: [identity profile] plakhov.livejournal.com
О, я понял, что ещё у меня вызывает батхерт.

Употребление слова "батхерт", словосочетания "немного застоявшуюся" по отношению к machine learning'у, "не читал, но одобряю" и ошибка в фамилии одобряемого, и всё в одном и том же комментарии. Это какое-то факин смертельное комбо просто.

Date: 2012-06-21 05:26 pm (UTC)
From: [identity profile] staerum.livejournal.com
Мне, кстати, кажется, что когда критическая статья мотивирует на прочтение книги - это хорошая критическая статья.

Кстати, раз уж вы зашли на огонёк, хотел у вас спросить, вы когда проводили "мысленный эксперимент в стиле Хокинса" умозрительно показывали фразу человеку целиком или по отдельным словам?

А то одну фраза можно посчитать иероглифическим целым, в котором ошибка находится простым механизмом коррекции, не зависимо от положения. Если же разделить целое на слова-сигналы, то ошибка будет как раз на елочке, с реакцией "какая нафиг ёлочка в хлеву, и чего там дальше?". Вот, только что на жене проверил.

Date: 2012-06-21 07:47 pm (UTC)
From: [identity profile] plakhov.livejournal.com
На самом деле мы устно потом обсуждали ровно тот эксперимент с [livejournal.com profile] _foreseer (который относится к Хокинсу гораздо лучше меня), и пришли к выводу, что он в такой постановке не доказывает, что грамматика требует наличия правых/двусторонних контекстов, а не только левых, как у Хокинса. На самом деле важно не наше умение определить, что p(в хлеву родилась елочка) < p(в лесу родилась елочка), с этим справится и N-граммная модель, а умение мгновенно понять, в каком именно слове ошибка в первой фразе, и что должно стоять вместо него (очевидно, как это сделать с двусторонними контекстами, а с левосторонними это, по-моему, невозможно).

Date: 2012-06-21 08:42 pm (UTC)
From: [identity profile] staerum.livejournal.com
Мысль весьма интересная. То, что большую часть данных мы воспринимаем, принимая во внимание двусторонний контекст, а не только левый - кажется верно, но я вижу две гипотезы

это верно для достаточно коротких наборов литералов, которые принципиально могут быть свернуты (и получена чисто "левосторонняя грамматика" [мне все же кажется, что тут есть некоторая натяжка с терминологией]), или

это по сути ветвление с отсечением (предсказатель переходов своего рода), то есть наше постоянное "предсказывание" это как раз достраивание чисто левостороннего контекста до полного. Ну а там, где можно дождаться полного контекста без потери качества - можно и не предсказывать, а просто подождать (прочитать всю фразу целиком и там уже решить, как со славами и ашипками, не по буквам же читаем).

В общем стоит мне все-таки книжку почитать, а то я что-то загоняюсь.

Date: 2012-06-21 04:25 am (UTC)
From: [identity profile] dgies.livejournal.com
Да, любопытно. Но как-то сомнительно ;)

Date: 2012-06-21 08:26 am (UTC)
From: [identity profile] staerum.livejournal.com
Да сомнительно, конечно. С другой стороны когда б мы знали из какого сора растет ИИ не ведая стыда.

Date: 2012-06-21 08:47 am (UTC)
From: [identity profile] staerum.livejournal.com
Вот еще из ленты -
к вопросу о том, что разделение сознания на сознательное и бессознательное это ложная дихотомия
"На самом деле наше мышление нелинейное само по себе. Оно массивно-параллельно. В нас одновременно уживается много стратегий, много субъектов, много маленьких человечков. Модифицированный клеточный автомат для описания мышления вполне подойдет."
http://minski-gaon.livejournal.com/63609.html#cutid1

И еще кусок
http://progenes.livejournal.com/7338.html
"С этим осознанием жить нелегко. Мы единстенный вид животных, который имеет встроенную проблему. Во-первых, наша модель самоосознания имеет пространственно-закодированную деталь - представление о собственном теле, а с другой стороны как-бы внешнюю деталь - сознание. Таким образом мы с вамии интуитивные дуалисты. Во-вторых, внутри нашей модели самоосознания пропечатан биологический императив: ты должен выжить. В-третих, никто нас не спрашивал, хотим ли мы существовать с этим мозгом, с этой формой самоосознания и в конце нас также никто не спрашивает, хотим ли мы уходить. Мы первые животные, которые осознанно это переживают. Именно на этих всей проблемах и возникла религия для компенсации эмоционального стресса, вызванного подобным осознанием. И вероятно именно это имел в виду Докинз в книге "Эгоистичный ген" когда говорил, что возникновение религии имеет в себе эволюционный смысл для выживания человечества. "

Profile

staerum: (Default)
staerum

September 2012

S M T W T F S
      1
23 45678
9101112131415
1617181920 2122
23242526272829
30      

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 26th, 2017 09:18 am
Powered by Dreamwidth Studios