Популярные лет пятнадцать назад и затем исчезнувшие компьютерные клубы возвращаются: менее чем за год только в Москве открылось три крупных заведения общей площадью более 8 тыс. кв. м

Фото: Арсений Несходимов для РБК

В Южной Корее около 30 тыс. компьютерных клубов, в России вряд ли наберется 300», — рассказывает Ярослав Комков, управляющий партнер киберспортивного агентства Winstrike. Он только что вернулся из Азии под впечатлением: клубы расположены почти в каждом здании — вся Корея играет. Комков собирается открыть сеть компьютерных клубов в США, Европе и Азии, уже привлек инвестиции, но деталей пока не раскрывает.

Новую волну популярности клубам обеспечивает сегодня развитие киберспорта. Не у всех молодых людей есть необходимое для современных игр «железо» и тем более VR-девайсы, поясняет руководитель направления цифрового контента J’son & Partners Consulting Роберт Меликсетян. В 2016-м мировой рынок киберспорта достиг $463 млн, до 2019-го ежегодно он будет добавлять в среднем по 32,3%, следует из исследования компании Newzoo.

Россия — лидер этого движения в европейском регионе как по объему рынка ($35,4 млн), так и по аудитории (2,2 млн человек). Более того, российский сегмент индустрии в ближайшие два года будет расти в среднем на 11% в год в денежном выражении и почти на 40% по числу участников, по данным J’son & Partners Consulting. Отчасти именно поэтому компьютерные клубы в России получили вторую жизнь. Правда, для этого их пришлось перепридумать.

В клуб по записи

«В 2008 году мы внезапно обнаружили, что в клуб больше нет очереди», — вспоминает Денис Богуш, председатель Белорусской федерации киберспорта и владелец старейшего в Белоруссии компьютерного клуба «Тарантул». Рассчитанный на 40 машин, «Тарантул» был открыт в Минске в 2001-м, тогда «это было модно».

Еще в 2006-2007 годах люди записывались в «Тарантул» по телефону и стояли в очередях, с ностальгией рассказывает Богуш. «У нас существовали карты, которые мы выдавали клиентам. Чем дольше он ждал, тем больше была скидка: час ждешь — 10%, два часа — 20%. Мы знали заранее, что в 8:45 утра, после первого урока, последует куча звонков от школьников», — смеется Богуш.

В кризис 2009-го предприниматель не воспользовался тем, что клиенты утратили возможность апгрейдить свои домашние машины, так как не хватило денег на плановое обновление «железа» в клубе — тем самым он не смог привлечь в клуб новую публику. А после того как экономическая ситуация начала выправляться, у людей массово появился высокоскоростной интернет и они начали реже выбираться из дома.

Общая площадь двухэтажного здания Yota Arena составляет 5 тыс. кв. м

Богуш тогда даже хотел закрыть бизнес, но сегодня «Тарантул» не просто окупает себя, но и приносит прибыль в размере около $3 тыс. в месяц. Для сравнения, в пиковые 2002-2003 годы клуб приносил по $1,5 тыс., говорит Богуш. За 2016 год чистая прибыль составила около $30 тыс., в предыдущие годы — на $5-6 тыс. меньше. «Люди наигрались с плохой графикой, теперь им хочется достигать результатов в игре, а без мощного компьютера сделать это невозможно», — объясняет предприниматель новый виток популярности своего детища.

Под первые компьютерные клубы в 1990-е годы их владельцы арендовали любые помещения, ставили в ряд 40 компьютеров и сдавали их по 20 руб. в час, рассказывает Никита Бокарев, руководитель медианаправления холдинга ESforce (ранее — Virtus.pro). Бокарев вспоминает, что количество таких заведений исчислялось сотнями. «Твориться в них могло все что угодно, в помещениях было постоянно накурено и никакой охраны».

С Бокаревым мы общаемся, прогуливаясь по зданию Yota Arena, открывшемуся 19 мая 2017 года. За полтора года до церемонии открытия USM Holding Алишера Усманова и партнеров пообещал инвестировать в Virtus.pro $100 млн. Топ-менеджер киберспортивного холдинга ESforce уверен: «Сегодня компьютерный клуб старого формата не выжил бы». По его мнению, людям нужны новые развлечения — возможность пользоваться VR, поесть в кафе, нужна особая атмосфера, которая создается киберспортивной атрибутикой, и все это в одном месте.

«Мекка киберспорта»

Общая площадь Yota Arena — около 5 тыс. кв. м. Помимо большого пространства для проведения киберспортивных соревнований здесь работают ресторан с копией трона из «Игры престолов» и магазин атрибутики и сувениров для геймеров FragStore. Также в Yota Arena на 216 кв. м открыт компьютерный клуб на 90 мест. Создание комплекса обошлось в $10 млн, сколько из них ушло непосредственно на компьютерный клуб, в компании не раскрывают.

Yota Arena задумана в первую очередь как площадка для встреч геймеров и проведения киберспортивных турниров, но тогда она была бы активна только в период проведения соревнований, поясняет Бокарев. Компьютерный клуб позволяет создать в Москве место для тренировок киберспортсменов. Он показывает несколько отдельных залов. Один из них спрятан за дверью убежища из игры Fallout. Внутри у входа стоят две статуи из World of Warcraft. Несмотря на геймерскую атрибутику, зал не производит впечатления места для молодежного отдыха. Посередине стоит стол с белой скатертью, красивой посудой и подсвечниками, на стене — большая «плазма» для просмотра трансляций, есть и выделенный для обслуживания гостей официант. Все рассчитано на взрослых, состоявшихся людей, потому что «портрет киберспортсмена» изменился: взрослеет и аудитория поклонников, и сами игроки. А на рынок приходят все большие деньги.

Геймеры приходят в клуб даже летом: днем — подростки, а вечером — люди старше 35 лет (Фото: Арсений Несходимов для РБК)

«К нам любят приехать бывшие игроки, которые были чемпионами в начале 2000-х», — объясняет Бокарев. Они уже не так часто играют сами, но продолжают следить за турнирами, добавил он. Бокарев сам профессионально играл в Counter-Strike в 2005‒2011 годах и руководил киберспортивной командой forZe. В 2007-м он был креативным директором компьютерного клуба в Москве, но тот не окупился.

Впрочем, основная масса посетителей клуба Yota Arena — участники молодых киберспортивных команд, которые еще не играли на турнирах: им важно получить быстрый интернет, современные компьютеры и сидеть рядом друг с другом, чтобы общаться. Фанаты турниров и соревнований — ядро клуба. «Они считают Yota Arena своеобразной меккой киберспорта», — гордится топ-менеджер ESforce.

Происходящее сейчас чем-то похоже на то, что было полтора десятка лет назад, считает Бокарев: игроки вновь стихийно объединяются и основывают кланы, им нужно место, где можно собраться и не только поиграть, но и обсудить что-то. В среднем игрок проводит в клубе четыре-пять часов, хотя одна игра, например в Dota, занимает около полутора.

В современный компьютерный клуб придет не только геймер, но и человек, не знакомый с индустрией, уверен топ-менеджер ESforce Никита Бокарев (Фото: Арсений Несходимов для РБК)

В Yota Arena круглосуточно дежурит охрана, всегда чисто, мониторы с максимальной диагональю, удобные геймерские кресла, мышки и клавиатуры, хвалятся в холдинге. Впрочем, любители и старожилы киберспорта — вовсе не единственная аудитория, которую можно заманить в компьютерные клубы нового поколения.

Спасение от шопинга

Андрей Комогоров, экс-сотрудник «Евросети», в октябре 2015 года помогал оператору Tele2 выйти в Москву: его компания Clover Estate нашла помещения для открытия более 250 салонов связи. А уже в начале 2016 года он арендовал почти 1,3 тыс. кв. м в торговом центре (ТЦ) «Авиапарк» и открыл киберспортивный клуб Gamer Stadium. Идея пришла неожиданно. «Я увидел потенциальных клиентов: мужчины и подростки, которые скучают, пока женщины занимаются шопингом. Им уже неинтересно идти в «Кидзанию», а кино — это долго». Комогоров называет Gamer Stadium стадионом.

В открытие Gamer Stadium он вложил $500 тыс. личных сбережений. Они пошли на строительство площадки, закупку компьютеров и мебели. Выйти в операционный ноль удалось в первый месяц работы. Комогоров хотел сократить часть расходов и получить компьютеры в обмен на продвижение производителей в клубе, но план не сработал и закупка «железа» обошлась в 5 млн руб. Стоимость оборудования одного места для профессионального игрока начинается от 100 тыс. руб., уточняет Комогоров.

Игроки проводят в клубе в среднем четыре-пять часов. Формат заведений изменился: в них есть еда, напитки, охрана и техподдержка (Фото: Арсений Несходимов для РБК)

В рознице игровой комплект из компьютера и монитора может стоить от нескольких тысяч до сотен тысяч рублей, рассказывает генеральный директор Acer в России Дмитрий Кравченко. В 2017 году компания поставила компьютеры и мониторы для клуба Cyberspace на «несколько десятков тысяч долларов», оборудовав большую часть мест (их общее число — 97). Клуб «на специальных условиях» закупил десктопы Acer GX 781 и мониторы Predator XB241 — их рекомендованная розничная цена составляет 99,9 тыс. и 37,9 тыс. руб. соответственно, добавляет Кравченко.

Через два года клуб Gamer Stadium должен окупить вложения. Тогда Комогоров начнет расширять сеть на российские города-миллионники: фокусироваться предприниматель планирует на образовательных лекциях и проектах, связанных с ИТ. К примеру, Комогоров ведет переговоры с Microsoft и Mail.Ru Group об организации обучающих курсов. Уже сейчас одну из комнат с компьютерами в Gamer Studium арендует школа «Алгоритм».

«Одиночки» — посетители ТЦ и игроманы — приносят Gamer Stadium свыше 500 тыс. руб. в месяц, рассказывает Комогоров. «В ретейле лето — мертвый сезон, но даже в июне дела шли хорошо: плохая погода в Москве сыграла нам на руку», — радуется владелец компьютерного клуба.

При покупке клубной карты Gamer Stadium за 1 тыс. руб. все услуги заведения и товары в баре приобретаются с 50-процентной скидкой, например, час игры обойдется в 100 руб. вместо 200 руб. Для сравнения, 60 игровых минут в Yota Arena стоят 50 руб. (один из самых низких ценников на рынке), в Cyberspace — от бесплатного промо до 150 руб. в зависимости от времени суток.

Андрей Комогоров планирует открывать компьютерные клубы в торговых центрах в каждом городе-миллионнике (Фото: Арсений Несходимов для РБК)

Впрочем, большую часть выручки Gamer Stadium получает с корпоративных клиентов: стоимость аренды клуба с услугами персонала на целый день начинается от 118 тыс. руб. Только в мае 2017 года в заведении Комогорова прошло семь мероприятий. Ставку на корпоративных клиентов делает и клуб Yota Arena. Площадка может достаться компании бесплатно, главное — оплата обслуживания в ресторане, еда и алкоголь, рассказывает Бокарев. Средний чек в ресторане составляет 1,5-2 тыс. руб. на человека, пока прошло три крупных мероприятия. На быструю окупаемость в Yota Arena не рассчитывают: весной 2017 года управляющий партнер ESforce Holding Антон Черепенников рассказывал, что горизонт планирования — семь лет.

В Сyberspace, принадлежащем ИТ-дистрибьютору Pronet и заработавшем в ТЦ «Ривьера» в июле 2017 года на площади в 2 тыс. кв. м, решили не зацикливаться на корпоративных клиентах. За месяц работы доходы делятся поровну — от посетителей и организации мероприятий, рассказала представитель компании Мария Королева. Кроме того, у Сyberspace появился крупный «стратегический партнер» — российская киберспортивная компания Vega Squadron. Если на тренировочной базе в Подмосковье не хватает места, игроки приезжают в «Ривьеру», рассказал создатель и владелец Vega Squadron Алексей Кондаков. Сyberspace так получает дополнительную аудиторию: фанаты команды приходят пообщаться со своими кумирами в клуб и тратят там деньги, отметил Кондаков.

«Есть несколько громких открытий [компьютерных клубов в Москве], но это вряд ли станет массовым явлением», — сомневается в перспективности тренда основатель издания про игры Kanobu Гаджи Махтиев. Впрочем, очереди выстраиваются, а значит, уже что-то в реинкарнации клубов напоминает посетителям о прошлом, рассуждает он.

Рассказал, как устроены искусственные нейронные сети, чем они отличаются от традиционных компьютерных программ и почему этот тренд останется с нами надолго.

Что такое deep learning?

Впервые об успехах глубокого обучения (deep learning) стало слышно в 2012 году, а через три года уже все только о нем и говорят. Так же было с интернетом в эпоху надувания инвестиционного пузыря. А поскольку в нейронные сети делаются сейчас немаленькие вложения, то смело можно говорить о новом пузыре .

Интернет было легко демонстрировать: сначала быстрая (по сравнению с бумажной) электронная почта, потом красочные вебсайты, доступные на любом подключенном к Сети компьютере. В глубоком обучении все не так: внимание к нему есть, а продемонстрировать что-то конкретное нельзя. Действительно, что связывает программы распознавания речи и программы автоматического перевода, программы определения неисправностей нефтегазового оборудования и программы синтеза текста, описывающего фотоснимки?

Это разнообразие не случайно: если интернет – это просто вид связи, то глубокие нейронные сети (deep neural networks, DNN) – по сути, новый тип программ, столь же универсальный, как и традиционные компьютерные программы. Эта универсальность доказана теоретически: нейронная сеть в теории может бесконечно точно аппроксимировать любую функцию многих переменных – а еще проводить вычисления , эквивалентные вычислениям машины Тьюринга .

Сети, которые нужно учить

Передавать информацию по интернету можно очень однообразно, унифицированными пакетами, на этой идее он и построен. А вот генерировать информацию и потреблять ее можно по-разному. Компьютерные программы, которые этим занимаются, очень разные. Нейронные сети такие же, они обеспечивают такое же разнообразие обработки.

Описывать сегодня, что такое нейронные сети – это описывать в конце пятидесятых годов, что такое традиционные компьютерные программы (а язык Фортран был выпущен в свет в 1957 году) – если бы вы начали бы рассказывать, что компьютеры будут управлять зажиганием в каждом автомобиле, а также показывать порнофильмы на экранах телефонов, вас бы подняли на смех.

Если сейчас вам рассказать, что вы будете беседовать с нейронной компьютерной сетью в вашем планшете, и нейронная сеть будет управлять автомобилем без водителя, вы тоже не поверите – а зря.

Кстати, «порнокартинки» в социальных сетях уже обнаруживают не люди, а сами сети . А ведь этим в мире занимались 100 тыс. человек, которые отсматривали терабайты и терабайты фото и видео. Мир обработки данных с появлением глубокого обучения вдруг начал меняться, и стремительно.

В отличие от традиционных компьютерных программ, нейронные сети не нужно «писать», их нужно «учить». И их можно научить тому, что бесконечно трудно (если вообще возможно) воплотить традиционной программной инженерией. Например, нейронные сети уже научились распознавать аудио и видео на уровне людей – и даже лучше них. Или наоборот, создавать аудио и видео – если у вас есть воплощенное в наученной глубокой нейронной сети понимание изображений каких-то объектов, это же понимание можно использовать и для создания изображений этих объектов. Синтез голоса, текста и изображений еще не появился на рынке, но эксперименты уже показывают успехи, раньше в этой области недостижимые . Более того, нейронные сетки могут не только анализировать данные, но и выдавать команды. Так, они научились играть в игры Atari 2600, причем во многие даже лучше человека, и их не пришлось специально для этого программировать .

Как это стало возможным только сегодня? Почему таких результатов не достигли давно, еще до появления того же интернета? Ведь рассуждения о возможностях нейронных сетей ведутся с тех же 50-х годов прошлого века!

Во-первых, стало понятно, как научить глубокие нейронные сети – какая там работает математика. Глубокая нейронная сеть – значит, с глубиной больше двух слоев. Если слоев меньше, то речь идет о мелком (shallow) обучении. Если число слоев больше десяти, то говорят об очень глубоком обучении, но пока что такое встречается редко. Раньше нейронные сети пытались учить методом проб и ошибок (он же – метод «научного тыка»), и так получалось обучать только мелкие сети. Со временем появилось понимание математики многослойных нейронных сетей, их стало возможно проектировать, пришло понимание, как создавать новые виды сетей и обеспечить их обучаемость .

Во-вторых, работает нейронная сеть быстро, но обучается очень медленно, и для этого требуются огромные объемы данных – big data . И чем больше слоев в нейронной сети, тем больше у такой сети запросы к вычислительной мощности при обучении. По факту, еще совсем недавно нейронные сети можно было научить чему-либо только на суперкомпьютере.

Сегодня ситуация изменилась, так как к работе с нейронными сетями подключили видеокарты – и это ускорило их обучение в десяток раз. Но даже настолько ускоренное обучение часто означает многие часы и даже дни, а иногда и недели, расчетов. Единственное, что утешает, это то, что в случае традиционного программирования для решения таких же задач потребовались бы не то что недели, а годы работы программистов.

Но после того, как глубокая нейронная сеть обучена, ее работа обычно в сотни и тысячи раз быстрее, чем у традиционных алгоритмов. Программа занимает и в сотни раз меньше оперативной памяти при лучшем качестве результатов.

« Нейросетьмастера»

Необычные свойства этих сетей привело к тому, что практически все международные соревнования по анализу данных выигрывают глубокие нейронные сети. И если у вас стоит какая-то задача анализа данных, а этих данных очень и очень много, то большой шанс, что в таком случае глубокие нейронные сети тоже выиграют.

Профессия тех, кто занимается нейронными сетями, даже пока не имеет названия. Если на заре интернета появилось понятие «вебмастер» (и просуществовало целых пять или шесть лет), то аналогичной «нейросетьмастер»-профессии пока нет. В области big data такие специалисты называют себя «учеными данных» (data scientists), но все-таки их работа имеет ту же инженерную природу, что и работа программистов. Инженеры измеряют, анализируют, проектируют, строят и целевые системы, и инструменты для инженерии. Программная инженерия (software engineering) отличается от компьютерной науки (computer science). С нейронными сетями то же самое: названия профессии пока нет, но уже есть инженеры, которые вам помогут их создать, обучить и использовать . По счастью, за последний год появилась развитая инфраструктура для новой профессии: университетские учебные курсы, десятки тьюториалов, книги, соревновательные и тренировочные площадки, огромное количество свободных программ. Только в русскоязычном сообществе глубокого обучения ВКонтакте сегодня

Искусственный интеллект, нейронные сети, машинное обучение — что на самом деле означают все эти нынче популярные понятия? Для большинства непосвященных людей, коим и являюсь я сам, они всегда казались чем-то фантастическим, но на самом деле суть их лежит на поверхности. У меня давно созревала идея написать простым языком об искусственных нейронных сетях. Узнать самому и рассказать другим, что представляют собой эта технология, как она работают, рассмотреть ее историю и перспективы. В этой статье я постарался не залезать в дебри, а просто и популярно рассказать об этом перспективном направление в мире высоких технологий.

Искусственный интеллект, нейронные сети, машинное обучение - что на самом деле означают все эти нынче популярные понятия? Для большинства непосвященных людей, коим являюсь и я сам, они всегда казались чем-то фантастическим, но на самом деле суть их лежит на поверхности. У меня давно созревала идея написать простым языком об искусственных нейронных сетях. Узнать самому и рассказать другим, что представляет собой эта технология, как она работает, рассмотреть ее историю и перспективы. В этой статье я постарался не залезать в дебри, а просто и популярно рассказать об этом перспективном направление в мире высоких технологий.

Немного истории

Впервые понятие искусственных нейронных сетей (ИНС) возникло при попытке смоделировать процессы головного мозга. Первым серьезным прорывом в этой сфере можно считать создание модели нейронных сетей МакКаллока-Питтса в 1943 году. Учеными впервые была разработана модель искусственного нейрона. Ими также была предложена конструкция сети из этих элементов для выполнения логических операций. Но самое главное, учеными было доказано, что подобная сеть способна обучаться.

Следующим важным шагом стала разработка Дональдом Хеббом первого алгоритма вычисления ИНС в 1949 году, который стал основополагающем на несколько последующих десятилетий. В 1958 году Фрэнком Розенблаттом был разработан парцептрон - система, имитирующая процессы головного мозга. В свое время технология не имела аналогов и до сих пор является основополагающей в нейронных сетях. В 1986 году практически одновременно, независимо друг от друга американскими и советскими учеными был существенно доработан основополагающий метод обучения многослойного перцептрона . В 2007 году нейронные сети перенесли второе рождение. Британский информатик Джеффри Хинтоном впервые разработал алгоритм глубокого обучения многослойных нейронных сетей, который сейчас, например, используется для работы беспилотных автомобилей.

Коротко о главном

В общем смысле слова, нейронные сети - это математические модели, работающие по принципу сетей нервных клеток животного организма. ИНС могут быть реализованы как в программируемые, так и в аппаратные решения. Для простоты восприятия нейрон можно представить, как некую ячейку, у которой имеется множество входных отверстий и одно выходное. Каким образом многочисленные входящие сигналы формируются в выходящий, как раз и определяет алгоритм вычисления. На каждый вход нейрона подаются действенные значения, которые затем распространяются по межнейронным связям (синопсисам). У синапсов есть один параметр - вес, благодаря которому входная информация изменяется при переходе от одного нейрона к другому. Легче всего принцип работы нейросетей можно представить на примере смешения цветов. Синий, зеленый и красный нейрон имеют разные веса. Информация того нейрона, вес которого больше будет доминирующей в следующем нейроне.

Сама нейросеть представляет собой систему из множества таких нейронов (процессоров). По отдельности эти процессоры достаточно просты (намного проще, чем процессор персонального компьютера), но будучи соединенными в большую систему нейроны способны выполнять очень сложные задачи.

В зависимости от области применения нейросеть можно трактовать по-разному, Например, с точки зрения машинного обучения ИНС представляет собой метод распознавания образов. С математической точки зрения - это многопараметрическая задача. С точки зрения кибернетики - модель адаптивного управления робототехникой. Для искусственного интеллекта ИНС - это основополагающее составляющее для моделирования естественного интеллекта с помощью вычислительных алгоритмов.

Основным преимуществом нейросетей над обычными алгоритмами вычисления является их возможность обучения. В общем смысле слова обучение заключается в нахождении верных коэффициентов связи между нейронами, а также в обобщении данных и выявлении сложных зависимостей между входными и выходными сигналами. Фактически, удачное обучение нейросети означает, что система будет способна выявить верный результат на основании данных, отсутствующих в обучающей выборке.

Сегодняшнее положение

И какой бы многообещающей не была бы эта технология, пока что ИНС еще очень далеки от возможностей человеческого мозга и мышления. Тем не менее, уже сейчас нейросети применяются во многих сферах деятельности человека. Пока что они не способны принимать высокоинтеллектуальные решения, но в состоянии заменить человека там, где раньше он был необходим. Среди многочисленных областей применения ИНС можно отметить: создание самообучающихся систем производственных процессов, беспилотные транспортные средства, системы распознавания изображений, интеллектуальные охранные системы, робототехника, системы мониторинга качества, голосовые интерфейсы взаимодействия, системы аналитики и многое другое. Такое широкое распространение нейросетей помимо прочего обусловлено появлением различных способов ускорения обучения ИНС.

На сегодняшний день рынок нейронных сетей огромен - это миллиарды и миллиарды долларов. Как показывает практика, большинство технологий нейросетей по всему миру мало отличаются друг от друга. Однако применение нейросетей - это очень затратное занятие, которое в большинстве случаев могут позволить себе только крупные компании. Для разработки, обучения и тестирования нейронных сетей требуются большие вычислительные мощности, очевидно, что этого в достатке имеется у крупных игроков на рынке ИТ. Среди основных компаний, ведущих разработки в этой области можно отметить подразделение Google DeepMind, подразделение Microsoft Research, компании IBM, Facebook и Baidu.

Конечно, все это хорошо: нейросети развиваются, рынок растет, но пока что главная задача так и не решена. Человечеству не удалось создать технологию, хотя бы приближенную по возможностям к человеческому мозгу. Давайте рассмотрим основные различия между человеческим мозгом и искусственными нейросетями.

Почему нейросети еще далеки до человеческого мозга?

Самым главным отличием, которое в корне меняет принцип и эффективность работы системы - это разная передача сигналов в искусственных нейронных сетях и в биологической сети нейронов. Дело в том, что в ИНС нейроны передают значения, которые являются действительными значениями, то есть числами. В человеческом мозге осуществляется передача импульсов с фиксированной амплитудой, причем эти импульсы практически мгновенные. Отсюда вытекает целый ряд преимуществ человеческой сети нейронов.

Во-первых, линии связи в мозге намного эффективнее и экономичнее, чем в ИНС. Во-вторых, импульсная схема обеспечивает простоту реализации технологии: достаточно использование аналоговых схем вместо сложных вычислительных механизмов. В конечном счете, импульсные сети защищены от звуковых помех. Действенные числа подвержены влиянию шумов, в результате чего повышается вероятность возникновения ошибки.

Итог

Безусловно, в последнее десятилетие произошел настоящий бум развития нейронных сетей. В первую очередь это связано с тем, что процесс обучения ИНС стал намного быстрее и проще. Также стали активно разрабатываться так называемые «предобученные» нейросети, которые позволяют существенно ускорить процесс внедрения технологии. И если пока что рано говорить о том, смогут ли когда-то нейросети полностью воспроизвести возможности человеческого мозга, вероятность того, что в ближайшее десятилетие ИНС смогут заменить человека на четверти существующих профессий все больше становится похожим на правду.

Для тех, кто хочет знать больше

• Большая нейронная война: что на самом деле затевает Google
• Как когнитивные компьютеры могут изменить наше будущее

» (Manning Publications).

Статья рассчитана на людей, у которых уже есть значительный опыт работы с глубинным обучением (например, тех, кто уже прочитал главы 1-8 этой книги). Предполагается наличие большого количества знаний.

Глубинное обучение: геометрический вид

Самая удивительная вещь в глубинном обучении - то, насколько оно простое. Десять лет назад никто не мог представить, каких потрясающих результатов мы достигнем в проблемах машинного восприятия, используя простые параметрические модели, обученные с градиентным спуском. Теперь выходит, что нужны всего лишь достаточно большие параметрические модели, обученные на достаточно большом количестве образцов. Как сказал однажды Фейнман о Вселенной: «Она не сложная, её просто много ».

В глубинном обучении всё является вектором, то есть точкой в геометрическом пространстве . Входные данные модели (это может быть текст, изображения и т. д.) и её цели сначала «векторизируются», то есть переводятся в некое первоначальное векторное пространство на входе и целевое векторное пространство на выходе. Каждый слой в модели глубинного обучения выполняет одно простое геометрическое преобразование данных, которые идут через него. Вместе, цепочка слоёв модели создаёт одно очень сложное геометрическое преобразование, разбитое на ряд простых. Эта сложная трансформация пытается преобразовать пространство входных данных в целевое пространство, для каждой точки. Параметры трансформации определяются весами слоёв, которые постоянно обновляются на основании того, насколько хорошо модель работает в данный момент. Ключевая характеристика геометрической трансформации - то, что она должна быть дифференцируема , то есть мы должны иметь возможность узнать её параметры через градиентный спуск. Интуитивно, это означает, что геометрический морфинг должен быть плавным и непрерывным - важное ограничение.

Весь процесс применения этой сложной геометрической трансформации на входных данных можно визуализировать в 3D, изобразив человека, который пытается развернуть бумажный мячик: смятый бумажный комочек - это многообразие входных данных, с которыми модель начинает работу. Каждое движение человека с бумажным мячиком похоже на простую геометрическую трансформацию, которую выполняет один слой. Полная последовательность жестов по разворачиванию - это сложная трансформация всей модели. Модели глубинного обучения - это математические машины по разворачиванию запутанного многообразия многомерных данных.

Вот в чём магия глубинного обучения: превратить значение в векторы, в геометрические пространства, а затем постепенно обучаться сложным геометрическим преобразованиям, которые преобразуют одно пространство в другое. Всё что нужно - это пространства достаточно большой размерности, чтобы передать весь спектр отношений, найденных в исходных данных.

Ограничения глубинного обучения

Набор задач, которые можно решить с помощью этой простой стратегии, практически бесконечен. И все же до сих пор многие из них вне досягаемости нынешних техник глубинного обучения - даже несмотря на наличие огромного количества вручную аннотированных данных. Скажем, для примера, что вы можете собрать набор данных из сотен тысяч - даже миллионов - описаний на английском языке функций программного обеспечения, написанных менеджерами продуктов, а также соответствующего исходного года, разработанного группами инженеров для соответствия этим требованиям. Даже с этими данными вы не можете обучить модель глубинного обучения просто прочитать описание продукта и сгенерировать соответствующую кодовую базу. Это просто один из многих примеров. В целом, всё что требует аргументации, рассуждений - как программирование или применение научного метода, долговременное планирование, манипуляции с данными в алгоритмическом стиле - находится за пределами возможностей моделей глубинного обучения, неважно сколько данных вы бросите в них. Даже обучение нейронной сети алгоритму сортировки - невероятно сложная задача.

Причина в том, что модель глубинного обучения - это «лишь» цепочка простых, непрерывных геометрических преобразований , которые преобразуют одно векторное пространство в другое. Всё, что она может, это преобразовать одно множество данных X в другое множество Y, при условии наличия возможной непрерывной трансформации из X в Y, которой можно обучиться, и доступности плотного набора образцов преобразования X:Y как данных для обучения. Так что хотя модель глубинного обучения можно считать разновидностью программы, но большинство программ нельзя выразить как модели глубинного обучения - для большинства задач либо не существует глубинной нейросети практически подходящего размера, которая решает задачу, либо если существует, она может быть необучаема , то есть соответствующее геометрическое преобразование может оказаться слишком сложным, или нет подходящих данных для её обучения.

Масштабирование существующих техник глубинного обучения - добавление большего количества слоёв и использование большего объёма данных для обучения - способно лишь поверхностно смягчить некоторые из этих проблем. Оно не решит более фундаментальную проблему, что модели глубинного обучения очень ограничены в том, что они могут представлять, и что большинство программ нельзя выразить в виде непрерывного геометрического морфинга многообразия данных.

Риск антропоморфизации моделей машинного обучения

Один из очень реальных рисков современного ИИ - неверная интерпретация работы моделей глубинного обучения и преувеличение их возможностей. Фундаментальная особенность человеческого разума - «модель психики человека», наша склонность проецировать цели, убеждения и знания на окружающие вещи. Рисунок улыбающейся рожицы на камне вдруг делает нас «счастливыми» - мысленно. В приложении к глубинному обучению это означает, например, что если мы можем более-менее успешно обучить модель генерировать текстовые описания картинок, то мы склонны думать, что модель «понимает» содержание изображений, также как и генерируемые описания. Нас затем сильно удивляет, когда из-за небольшого отклонения от набора изображений, представленных в данных для обучения, модель начинает генерировать абсолютно абсурдные описания.

В частности, наиболее ярко это проявляется в «состязательных примерах», то есть образцах входных данных сети глубинного обучения, специально подобранных, чтобы их неправильно классифицировали. Вы уже знаете, что можно сделать градиентное восхождение в пространстве входных данных для генерации образцов, которые максимизируют активацию, например, определённого фильтра свёрточной нейросети - это основа техники визуализации, которую мы рассматривали в главе 5 (примечание: книги «Глубинное обучение с Python »), также как алгоритма Deep Dream из главы 8. Похожим способом, через градиентное восхождение, можно слегка изменить изображение, чтобы максимизировать предсказание класса для заданного класса. Если взять фотографию панды и добавить градиент «гиббон», мы можем заставить нейросеть классифицировать эту панду как гиббона. Это свидетельствует как о хрупкости этих моделей, так и о глубоком различии между трансформацией со входа на выход, которой она руководствуется, и нашим собственным человеческим восприятием.

В общем, у моделей глубинного обучения нет понимания входных данных, по крайней мере, не в человеческом смысле. Наше собственное понимание изображений, звуков, языка, основано на нашем сенсомоторном опыте как людей - как материальных земных существ. У моделей машинного обучения нет доступа к такому опыту и поэтому они не могут «понять» наши входные данные каким-либо человекоподобным способом. Аннотируя для наших моделей большое количество примеров для обучения, мы заставляем их выучить геометрическое преобразование, которое приводит данные к человеческим концепциям для этого специфического набора примеров, но это преобразование является лишь упрощённым наброском оригинальной модели нашего разума, таким, какое разработано исходя из нашего опыта как телесных агентов - это как слабое отражение в зеркале.

Как практикующий специалист по машинному обучению, всегда помните об этом, и никогда не попадайте в ловушку веры в то, что нейросети понимают задачу, которую выполняют - они не понимают, по крайней мере не таким образом, какой имеет смысл для нас. Они были обучены другой, гораздо более узкой задаче, чем та, которой мы хотим их обучить: простому преобразованию входных образцов обучения в целевые образцы обучения, точка к точке. Покажите им что-нибудь, что отличается от данных обучения, и они сломаются самым абсурдным способом.

Локальное обобщение против предельного обобщения

Кажется, существуют фундаментальные отличия между прямым геометрическим морфингом со входа на выход, который делают модели глубинного обучения, и тем способом, как люди думают и обучаются. Дело не только в том, что люди обучаются сами от своего телесного опыта, а не через обработку набора учебных образцов. Кроме разницы в процессах обучения, есть фундаментальные отличия в природе лежащих в основе представлений.

Люди способны на гораздо большее, чем преобразование немедленного стимула в немедленный отклик, как нейросеть или, может быть, насекомое. Люди удерживают в сознании сложные, абстрактные модели текущей ситуации, самих себя, других людей, и могут использовать эти модели для предсказания различных возможных вариантов будущего, и выполнять долговременное планирование. Они способны на объединение в единое целое известных концепций, чтобы представить то, что они никогда не знали раньше - как рисование лошади в джинсах, например, или изображение того, что бы они сделали, если бы выиграли в лотерею. Способность мыслить гипотетически, расширять свою модель ментального пространства далеко за пределы того, что мы напрямую испытывали, то есть, способность делать абстракции и рассуждения , пожалуй, определяющая характеристика человеческого познания. Я называю это «предельным обобщением»: способность приспосабливаться к новым, никогда не испытанным ранее ситуациям, используя очень мало данных либо вовсе не используя никаких данных.

Это резко отличается от того, что делают сети глубинного обучения, что я бы назвал «локальным обобщением»: преобразование входных данных в выходные данные быстро прекращает иметь смысл, если новые входные данные хотя бы немного отличаются от того, с чем они встречались во время обучения. Рассмотрим, для примера, проблему обучения подходящим параметрам запуска ракеты, которая должна сесть на Луну. Если бы вы использовали нейросеть для этой задачи, обучая её с учителем или с подкреплением, вам бы понадобилось дать ей тысячи или миллионы траекторий полёта, то есть нужно выдать плотный набор примеров в пространстве входящих значений, чтобы обучиться надёжному преобразованию из пространства входящих значений в пространство исходящих значений. В отличие от них, люди могут использовать силу абстракции для создания физических моделей - ракетостроение - и вывести точное решение, которое доставит ракету на Луну всего за несколько попыток. Таким же образом, если вы разработали нейросеть для управления человеческим телом и хотите, чтобы она научилась безопасно проходить по городу, не будучи сбитой автомобилем, сеть должна умереть много тысяч раз в различных ситуациях, прежде чем сделает вывод, что автомобили опасны, и не выработает соответствующее поведение, чтобы их избегать. Если её перенести в новый город, то сети придётся заново учиться большей часть того, что она знала. С другой стороны, люди способны выучить безопасное поведение, не умерев ни разу - снова, благодаря силе абстрактного моделирования гипотетических ситуаций.

Итак, несмотря на наш прогресс в машинном восприятии, мы всё ещё очень далеки от ИИ человеческого уровня: наши модели могут выполнять только локальное обобщение , адаптируясь к новым ситуациям, которые должны быть очень близки к прошлым данным, в то время как человеческий разум способен на предельное обобщение , быстро приспосабливаясь к абсолютно новым ситуациям или планируя далеко в будущее.

Выводы

Вот что вы должны помнить: единственным реальным успехом глубинного обучения к настоящему моменту является способность транслировать пространство X в пространство Y, используя непрерывное геометрическое преобразование, при наличии большого количества данных, аннотированных человеком. Хорошее выполнение этой задачи представляет собой революционно важное достижение для целой индустрии, но до ИИ человеческого уровня по-прежнему очень далеко.

Чтобы снять некоторые из этих ограничений и начать конкурировать с человеческим мозгом, нам нужно отойти от прямого преобразования со входа в выход и перейти к рассуждениям и абстракциям . Возможно, подходящей основой для абстрактного моделирования различных ситуация и концепций могут быть компьютерные программы. Мы говорили раньше (примечание: в книге «Глубинное обучение с Python »), что модели машинного обучения можно определить как «обучаемые программы»; в данный момент мы можем обучать только узкое и специфическое подмножество всех возможных программ. Но что если бы мы могли обучать каждую программу, модульно и многократно? Посмотрим, как мы можем к этому придти.

Будущее глубинного обучения

Учитывая то, что мы знаем о работе сетей глубинного обучения, их ограничениях и нынешнем состоянии научных исследований, можем ли мы прогнозировать, что произойдёт в среднесрочной перспективе? Здесь несколько моих личных мыслей по этому поводу. Имейте в виду, что у меня нет хрустального шара для предсказаний, так что многое из того, что я ожидаю, может не воплотиться в реальность. Это абсолютные спекуляции. Я разделяю эти прогнозы не потому что ожидаю, что они полностью воплотятся в будущем, а потому что они интересны и применимы в настоящем.

На высоком уровне вот основные направления, которые я считаю перспективными:

• Модели приблизятся к компьютерным программам общего предназначения, построенных поверх гораздо более богатых примитивов, чем наши нынешние дифференцируемые слои - так мы получим рассуждения и абстракции , отсутствие которых является фундаментальной слабостью нынешних моделей.
• Появятся новые формы обучения, которые сделают это возможным - и позволят моделям отойти просто от дифференцируемых преобразований.
• Модели будут требовать меньшего участия разработчика - не должно быть вашей работой постоянно подкручивать ручки.
• Появится большее, систематическое повторное использование выученных признаков и архитектур; мета-обучаемые системы на основе повторно используемых и модульных подпрограмм.

Вдобавок, обратите внимание, что эти рассуждения не относятся конкретно к обучению с учителем, которое до сих пор остаётся основой машинного обучения - также они применимы к любой форме машинного обучения, включая обучение без учителя, обучение под собственным наблюдением и обучение с подкреплением. Фундаментально неважно, откуда пришли ваши метки или как выглядит ваш цикл обучения; эти разные ветви машинного обучения - просто разные грани одной конструкции.

Итак, вперёд.

Модели как программы

Как мы заметили раньше, необходимым трансформационным развитием, которое можно ожидать в области машинного обучения, является уход от моделей, выполняющих чисто распознавание шаблонов и способных только на локальное обобщение , к моделям, способным на абстракции и рассуждения , которые могут достичь предельного обобщения . Все нынешние программы ИИ с базовым уровнем рассуждений жёстко запрограммированы людьми-программистами: например, программы, которые полагаются на поисковые алгоритмы, манипуляции с графом, формальную логику. Так, в программе DeepMind AlphaGo бóльшая часть «интеллекта» на экране спроектирована и жёстко запрограммирована экспертами-программистами (например, поиск в дереве по методу Монте-Карло); обучение на новых данных происходит только в специализированных подмодулях - сети создания ценностей (value networks) и сети по вопросам политики (policy networks). Но в будущем такие системы ИИ могут быть полностью обучены без человеческого участия.

Как этого достичь? Возьмём хорошо известный тип сети: RNN. Что важно, у RNN немного меньше ограничений, чем у нейросетей прямого распространения. Это потому что RNN представляют собой немного больше, чем простые геометрические преобразования: это геометрические преобразования, которые осуществляются непрерывно в цикле for . Временной цикл for задаётся разработчиком: это встроенное допущение сети. Естественно, сети RNN всё ещё ограничены в том, что они могут представлять, в основном, потому что каждый их шаг по-прежнему является дифференцируемым геометрическим преобразованием и из-за способа, которым они передают информацию шаг за шагом через точки в непрерывном геометрическом пространстве (векторы состояния). Теперь представьте нейросети, которые бы «наращивались» примитивами программирования таким же способом, как циклы for - но не просто одним-единственным жёстко закодированным циклом for с прошитой геометрической памятью, а большим набором примитивов программирования, с которыми модель могла бы свободно обращаться для расширения своих возможностей обработки, таких как ветви if , операторы while , создание переменных, дисковое хранилище для долговременной памяти, операторы сортировки, продвинутые структуры данных вроде списков, графов, хеш-таблиц и многого другого. Пространство программ, которые такая сеть может представлять, будет гораздо шире, чем могут выразить существующие сети глубинного обучения, и некоторые из этих программ могут достичь превосходной силы обобщения.

Одним словом, мы уйдём от того, что у нас с одной стороны есть «жёстко закодированный алгоритмический интеллект» (написанное вручную ПО), а с другой стороны - «обученный геометрический интеллект» (глубинное обучение). Вместо этого мы получим смесь формальных алгоритмических модулей, которые обеспечивают возможности рассуждений и абстракции , и геометрические модули, которые обеспечивают возможности неформальной интуиции и распознавания шаблонов . Вся система целиком будет обучена с небольшим человеческим участием либо без него.

Родственная область ИИ, которая, по моему мнению, скоро может сильно продвинуться, это программный синтез , в частности, нейронный программный синтез. Программный синтез состоит в автоматической генерации простых программ, используя поисковый алгоритм (возможно, генетический поиск, как в генетическом программировании) для изучения большого пространства возможных программ. Поиск останавливается, когда найдена программа, соответствующая требуемым спецификациям, часто предоставляемым как набор пар вход-выход. Как видите, это сильно напоминает машинное обучение: «данные обучения» предоставляются как пары вход-выход, мы находим «программу», которая соответствует трансформации входных в выходные данные и способна к обобщениям для новых входных данных. Разница в том, что вместо значений параметров обучения в жёстко закодированной программе (нейронной сети) мы генерируем исходный код путём дискретного поискового процесса.

Я определённо ожидаю, что к этой области снова проснётся большой интерес в следующие несколько лет. В частности, я ожидаю взаимное проникновение смежных областей глубинного обучения и программного синтеза, где мы будем не просто генерировать программы на языках общего назначения, а где мы будем генерировать нейросети (потоки обработки геометрических данных), дополненные богатым набором алгоритмических примитивов, таких как циклы for - и многие другие. Это должно быть гораздо более удобно и полезно, чем прямая генерация исходного кода, и существенно расширит границы для тех проблем, которые можно решать с помощью машинного обучения - пространство программ, которые мы можем генерировать автомтически, получая соответствующие данные для обучения. Смесь символического ИИ и геометрического ИИ. Современные RNN можно рассматривать как исторического предка таких гибридных алгоритмо-геометрических моделей.

Рисунок: Обученная программа одновременно полагается на геометрические примитивы (распознавание шаблонов, интуиция) и алгоритмические примитивы (аргументация, поиск, память).

За пределами обратного распространения и дифференцируемых слоёв

Если модели машинного обучения станут больше похожи на программы, тогда они больше почти не будут дифференцируемы - определённо, эти программы по-прежнему будут использовать непрерывные геометрические слои как подпрограммы, которые останутся дифференцируемыми, но вся модель в целом не будет такой. В результате, использование обратного распространения для настройки значений весов в фиксированной, жёстко закодированной сети не может оставаться в будущем предпочтительным методом для обучения моделей - по крайней мере, нельзя ограничиваться только этим методом. Нам нужно выяснить, как наиболее эффективно обучать недифференцируемые системы. Нынешние подходы включают генетические алгоритмы, «эволюционные стратегии», определённые методы обучения с подкреплением, ADMM (метод переменных направлений множителей Лагранжа). Естественно, градиентный спуск больше никуда не денется - информация о градиенте всегда будет полезна для оптимизации дифференцируемых параметрических функций. Но наши модели определённо будут становится всё более амбициозными, чем просто дифференцируемые параметрические функции, и поэтому их автоматизированная разработка («обучение» в «машинном обучении») потребует большего, чем обратное распространение.

Кроме того, обратное распространение имеет рамки end-to-end, что подходит для обучения хороших сцепленных преобразований, но довольно неэффективно с вычислительной точки зрения, потому что не использует полностью модульность глубинных сетей. Чтобы повысить эффективность чего бы то ни было, есть один универсальный рецепт: ввести модульность и иерархию. Так что мы можем сделать само обратное распространение более эффективным, введя расцепленные модули обучения с определённым механизмом синхронизации между ними, организованном в иерархическом порядке. Эта стратегия частично отражена в недавней работе DeepMind по «синтетическим градиентам». Я ожидаю намного, намного больше работ в этом направлении в ближайшем будущем.

Можно представить будущее, где глобально недифференцируемые модели (но с наличием дифференцируемых частей) будут обучаться - расти - с использованием эффективного поискового процесса, который не будет применять градиенты, в то время как дифференцируемые части будут обучаться даже быстрее, используя градиенты с использованием некоей более эффективной версии обратного распространения

Автоматизированное машинное обучение

В будущем архитектуры модели будут создаваться обучением, а не писаться вручную инженерами. Полученные обучением модели автоматически работают вместе с более богатым набором примитивов и программоподобных моделей машинного обучения.

Сейчас бóльшую часть времени разработчик систем глубинного обучения бесконечно модифицирует данные скриптами Python, затем долго настраивает архитектуру и гиперпараметры сети глубинного обучения, чтобы получить работающую модель - или даже чтобы получить выдающуюся модель, если разработчик настолько амбициозен. Нечего и говорить, что это не самое лучшее положение вещей. Но ИИ и здесь может помочь. К сожалению, часть по обработке и подготовке данных трудно автоматизировать, поскольку она часто требует знания области, а также чёткого понимания на высоком уровне, чего разработчик хочет достичь. Однако настройка гиперпараметров - это простая поисковая процедура, и в данном случае мы уже знаем, чего хочет достичь разработчик: это определяется функцией потерь нейросети, которую нужно настроить. Сейчас уже стало обычной практикой устанавливать базовые системы AutoML, которые берут на себя большую часть подкрутки настроек модели. Я и сам установил такую, чтобы выиграть соревнования Kaggle.

На самом базовом уровне такая система будет просто настраивать количество слоёв в стеке, их порядок и количество элементов или фильтров в каждом слое. Это обычно делается с помощью библиотек вроде Hyperopt, которые мы обсуждали в главе 7 (примечание: книги «Глубинное обучение с Python »). Но можно пойти намного дальше и попробовать получить обучением соответствующую архитектуру с нуля, с минимальным набором ограничений. Это возможно с помощью обучения с подкреплением, например, или с помощью генетических алгоритмов.

Другим важным направлением развития AutoML является получение обучением архитектуры модели одновременно с весами модели. Обучая модель с нуля каждый раз мы пробуем немного разные архитектуры, что чрезвычайно неэффективно, поэтому действительно мощная система AutoML будет управлять развитием архитектур, в то время как свойства модели настраиваются через обратное распространение на данных для обучения, таким образом устраняя всю чрезмерность вычислений. Когда я пишу эти строки, подобные подходы уже начали применять.

Когда всё это начнёт происходить, разработчики систем машинного обучения не останутся без работы - они перейдут на более высокий уровень в цепочке создания ценностей. Они начнут прикладывать гораздо больше усилий к созданию сложных функций потерь, которые по-настоящему отражают деловые задачи, и будут глубоко разбираться в том, как их модели влияют на цифровые экосистемы, в которых они работают (например, клиенты, которые пользуются предсказаниями модели и генерируют данные для её обучения) - проблемы, которые сейчас могут позволить себе рассматривать только крупнейшие компании.

Пожизненное обучение и повторное использование модульных подпрограмм

Если модели становятся более сложными и построены на более богатых алгоритмических примитивах, тогда эта повышенная сложность потребует более интенсивного повторного их использования между задачами, а не обучения модели с нуля каждый раз, когда у нас появляется новая задача или новый набор данных. В конце концов, многие наборы данных не содержат достаточно информации для разработки с нуля новой сложной модели и станет просто необходимо использовать информацию от предыдущих наборов данных. Вы же не изучаете заново английский язык каждый раз, когда открываете новую книгу - это было бы невозможно. К тому же, обучение моделей с нуля на каждой новой задаче очень неэффективно из-за значительного совпадения между текущими задачами и теми, которые встречались раньше.

Вдобавок, в последние годы неоднократно звучало замечательное наблюдение, что обучение одной и той же модели делать несколько слабо связанных задач улучшает её результаты в каждой из этих задач . Например, обучение одной и той же нейросети переводить с английского на немецкий и с французского на итальянский приведёт к получению модели, которая будет лучше в каждой из этих языковых пар. Обучение модели классификации изображений одновременно с моделью сегментации изображений, с единой свёрточной базой, приведёт к получению модели, которая лучше в обеих задачах. И так далее. Это вполне интуитивно понятно: всегда есть какая-то информация, которая частично совпадает между этими двумя на первый взгляд разными задачами, и поэтому общая модель имеет доступ к большему количеству информации о каждой отдельной задаче, чем модель, которая обучалась только на этой конкретной задаче.

Что мы делаем на самом деле, когда повторно применяем модель на разных задачах, так это используем предобученные веса для моделей, которые выполняют общие функции, вроде извлечения визуальных признаков. Вы видели это на практике в главе 5. Я ожидаю, что в будущем будет повсеместно использоваться более общая версия этой техники: мы не только станем применять ранее усвоенные признаки (веса подмодели), но также архитектуры моделей и процедуры обучения. По мере того, как модели будут становиться более похожими на программы, мы начнём повторно использовать подпрограммы , как функции и классы в обычных языках программирования.

Подумайте, как выглядит сегодня процесс разработки программного обеспечения: как только инженер решает определённую проблему (HTTP-запросы в Python, например), он упаковывает её как абстрактную библиотеку для повторного использования. Инженеры, которым в будущем встретится похожая проблема, просто ищут существующие библиотеки, скачивают и используют их в своих собственных проектах. Таким же образом в будущем системы метаобучения смогут собирать новые программы, просеивая глобальную библиотеку высокоуровневых повторно используемых блоков. Если система начнёт разрабатывать похожие подпрограммы для нескольких разных задач, то выпустит «абстрактную» повторно используемую версию подпрограммы и сохранит её в глобальной библиотеке. Такой процесс откроет возможность для абстракции , необходимого компонента для достижения «предельного обобщения»: подпрограмма, которая окажется полезной для многих задач и областей, можно сказать, «абстрагирует» некий аспект принятия решений. Такое определение «абстракции» похоже не понятие абстракции в разработке программного обеспечения. Эти подпрограммы могут быть или геометрическими (модули глубинного обучения с предобученными представлениями), или алгоритмическими (ближе к библиотекам, с которыми работают современные программисты).

Рисунок: Метаобучаемая система, способная быстро разработать специфические для задачи модели с применением повторно используемых примитивов (алгоритмических и геометрических), за счёт этого достигая «предельного обобщения».

В итоге: долговременное видение

Вкратце, вот моё долговременное видение для машинного обучения:

• Модели станут больше похожи на программы и получат возможности, которые простираются далеко за пределы непрерывных геометрических преобразований исходных данных, с чем мы работаем сейчас. Возможно, эти программы будут намного ближе к абстрактным ментальным моделям, которые люди поддерживают о своём окружении и о себе, и они будут способны на более сильное обобщение благодаря своей алгоритмической природе.
• В частности, модели будут смешивать алгоритмические модули с формальными рассуждениями, поиском, способностями к абстракции - и геометрические модули с неформальной интуицией и распознаванием шаблонов. AlphaGo (система, потребовавшая интенсивного ручного программирования и разработки архитектуры) представляет собой ранний пример, как может выглядеть слияние символического и геометрического ИИ.
• Они будут выращиваться автоматически (а не писаться вручную людьми-программистами), с использованием модульных частей из глобальной библиотеки повторно используемых подпрограмм - библиотеки, которая эволюционировала путём усвоения высокопроизводительных моделей из тысяч предыдущих задач и наборов данных. Как только метаобучаемая система определила общие шаблоны решения задач, они преобразуются в повторно используемые подпрограммы - во многом как функции и классы в современном программировании - и добавляются в глобальную библиотеку. Так достигается способность абстракции .
• Глобальная библиотека и соответствующая система выращивания моделей будет способна достичь некоторой формы человекоподобного «предельного обобщения»: столкнувшись с новой задачей, новой ситуацией, система сможет собрать новую работающую модель для этой задачи, используя очень малое количество данных, благодаря: 1) богатым программоподобным примитивам, которые хорошо делают обобщения и 2) обширному опыту решения похожих задач. Таким же образом, как люди могут быстро изучить новую сложную видеоигру, потому что у них есть предыдущий опыт многих других игр и потому что модели на основе предыдущего опыта являются абстратктными и программоподобными, а не простым преобразованием стимула в действие.
• По существу, эту непрерывно обучающуюся систему по выращиванию моделей можно интерпретировать как Сильный Искусственный Интеллект. Но не ждите наступления какого-то сингулярного робоапокалипсиса: он является чистой фантазией, которая родилась из большого списка глубоких недоразумений в понимании интеллекта и технологий. Впрочем, этой критике здесь не место.

Об искусственных нейронных сетях сегодня много говорят и пишут – как в контексте больших данных и машинного обучения, так и вне его. В этой статье мы напомним смысл этого понятия, еще раз очертим область его применения, а также расскажем о важном подходе, который ассоциируется с нейронными сетями – глубоком обучении, опишем его концепцию, а также преимущества и недостатки в конкретных случаях использования.

Что такое нейронная сеть?

Как известно, понятие нейронной сети (НС) пришло из биологии и представляет собой несколько упрощенную модель строения человеческого мозга. Но не будем углубляться в естественнонаучные дебри – проще всего представить нейрон (в том числе, искусственный) как некий черный ящик с множеством входных отверстий и одним выходным.

Математически, искусственный нейрон осуществляет преобразование вектора входных сигналов (воздействий) X в вектор выходных сигналов Y при помощи функции, называемой функцией активации. В рамках соединения (искусственной нейронной сети — ИНС) функционируют три вида нейронов: входные (принимающие информацию из внешнего мира – значения интересующих нас переменных), выходные (возвращающие искомые переменные – к примеру, прогнозы, или управляющие сигналы), а также промежуточные – нейроны, выполняющие некие внутренние («скрытые») функции. Классическая ИНС, таким образом, состоит из трех или более слоев нейронов, причем на втором и последующих слоях («скрытых» и выходном) каждый из элементов соединен со всеми элементами предыдущего слоя.

Важно помнить о понятии обратной связи, которое определяет вид структуры ИНС: прямой передачи сигнала (сигналы идут последовательно от входного слоя через скрытый и поступают в выходной слой) и рекуррентной структуры, когда сеть содержит связи, идущие назад, от более дальних к более ближним нейронам). Все эти понятия составляют необходимый минимум информации для перехода на следующий уровень понимания ИНС – обучения нейронной сети, классификации его методов и понимания принципов работы каждого из них.

Обучение нейронной сети

Не следует забывать, для чего вообще используются подобные категории – иначе есть риск увязнуть в отвлеченной математике. На самом деле, под искусственными нейронными сетями понимают класс методов для решения определенных практических задач, среди которых главными являются задачи распознавания образов, принятия решений, аппроксимации и сжатия данных, а также наиболее интересные для нас задачи кластерного анализа и прогнозирования.

Не уходя в другую крайность и не вдаваясь в подробности работы методов ИНС в каждом конкретном случае, позволим себе напомнить, что при любых обстоятельствах именно способность нейронной сети к обучению (с учителем или «самостоятельно») и является ключевым моментом использования ее для решения практических задач.

В общем случае, обучение ИНС заключается в следующем:

1. входные нейроны принимают переменные («стимулы») из внешней среды;
2. в соответствии с полученной информацией изменяются свободные параметры НС (работают промежуточные слои нейронов);
3. в результате изменений в структуре НС сеть «реагирует» на информацию уже иным образом.

Таков общий алгоритм обучения нейронной сети (вспомним собаку Павлова – да-да, внутренний механизм образования условного рефлекса именно таков – и тут же забудем: все же наш контекст предполагает оперирование техническими понятиями и примерами).

Понятно, что универсального алгоритма обучения не существует и, скорее всего, существовать не может; концептуально подходы к обучению делятся на обучение с учителем и обучение без учителя. Первый алгоритм предполагает, что для каждого входного («обучающегося») вектора существует требуемое значение выходного («целевого») вектора – таким образом, два этих значения образуют обучающую пару, а вся совокупность таких пар – обучающее множество. В случае варианта обучения без учителя обучающее множество состоит лишь из входных векторов – и такая ситуация является более правдоподобной с точки зрения реальной жизни.

Глубокое обучение

Понятие глубокого обучения (deep learning ) относится к другой классификации и обозначает подход к обучению так называемых глубоких структур, к которым можно отнести многоуровневые нейронные сети. Простой пример из области распознавания образов: необходимо научить машину выделять все более абстрактные признаки в терминах других абстрактных признаков, то есть определить зависимость между выражением всего лица, глаз и рта и, в конечном итоге, скопления цветных пикселов математически. Таким образом, в глубокой нейронной сети за каждый уровень признаков отвечает свой слой; понятно, что для обучения такой «махины» необходим соответствующий опыт исследователей и уровень аппаратного обеспечения. Условия сложились в пользу глубокого обучения НС только к 2006 году – и спустя восемь лет можно говорить о революции, которую произвел этот подход в машинном обучении.

Итак, прежде всего, в контексте нашей статьи стоит заметить следующее: глубокое обучение в большинстве случае не контролируется человеком. То есть этот подход подразумевает обучение нейронной сети без учителя. Это и есть главное преимущество «глубокого» подхода: машинное обучение с учителем, особенно в случае глубоких структур, требует колоссальных временных – и трудовых – затрат. Глубокое же обучение – подход, моделирующий человеческое абстрактное мышление (или, по крайней мере, представляет собой попытку приблизиться к нему), а не использующий его.

Идея, как водится, прекрасная, но на пути подхода встают вполне естественные проблемы – прежде всего, коренящиеся в его претензии на универсальность. На самом деле, если на поприще распознавания образов подходы deep learning добились ощутимых успехов, то с той же обработкой естественного языка возникает пока гораздо больше вопросов, чем находится ответов. Очевидно, что в ближайшие n лет вряд ли удастся создать «искусственного Леонардо Да Винчи» или даже – хотя бы! — «искусственного homo sapiens ».

Тем не менее, перед исследователями искусственного интеллекта уже встает вопрос этики: опасения, высказываемые в каждом уважающем себя научно-фантастическом фильме, начиная с «Терминатора» и заканчивая «Трансформерами», уже не кажутся смешными (современные изощренные нейросети уже вполне могут считаться правдоподобной моделью работы мозга насекомого!), но пока явно излишни.

Идеальное техногенное будущее представляется нам как эра, когда человек сможет делегировать машине большинство своих полномочий – или хотя бы сможет позволить ей облегчить существенную часть своей интеллектуальной работы. Концепция глубокого обучения – один из шагов на пути к этой мечте. Путь предстоит долгий – но уже сейчас понятно, что нейронные сети и связанные с ними все развивающиеся подходы способны со временем воплотить в жизнь чаяния научных фантастов.