Что такое виртуальный контроллер. Эффективные устройства управления в VR. Ограничение пропускной способности для дисковых образов

Возможности пользователя при работе в режиме эмуляции ограниченны. Расширить их без подключения реального ПЛК позволяет использование виртуального контроллера 3 . Он устанавливается вместе с программной средой CoDeSys 3 и запускается с помощью Gateway -сервера. Gateway -сервер автоматически запускается в качестве сервиса при запуске системы. Убедитесь, что на панели задач есть иконка , указывающая на то, что сервер запущен. Иконка говорит о том, что gateway на данный момент остановлен. Эта иконка является частью программы GatewaySysTray , предназначенной для контроля и наблюдения за сервисом Gateway . Она включает в себя меню, содержащее команды start и stop , что позволяет пользователю останавливать и перезапускать сервис вручную. Меню также содержит команду Exit Gateway Control , которая закрывает только программу GatewaySysTray , но не сервис Gateway . Программа GatewaySysTray запускается автоматически при запуске Windows . Однако ее можно также запустить из меню Программы. ПЛК (CoDeSys SP Win V3 ) доступен в качестве сервиса после запуска системы. На панели задач он представлен иконкой: для состояния ‘остановлен’, для состояния ‘запущен’. ПЛК-сервис может автоматически запускаться при запуске системы, если это поддерживается самой системой. В противном случае для его запуска необходимо вручную применить команду ‘Start PLC’ из меню, которое открывается щелчком мыши по иконке.

Рисунок 1 Старт/стоп виртуального ПЛК

Для подключения виртуального контроллера в дереве проекта двойным щелчком по устройству Device (CoDeSys SP Win V3 ) откроем диалог PLCWinNT со вкладкой Communication settings . Если вы устанавливаете соединение в CoDeSys V3.x в первый раз, то сначала вам необходимо задать локальный Gateway -сервер. Для этого используйте кнопку Add gateway , после чего появится окно, вид которого представлен на рис.2. Если во время предыдущих сессий вы уже задавали сервер, он будет отображен в диалоге параметров соединения, как показано на рис.3. В таком случае вы можете пропустить этот шаг и перейти сразу к установке канала связи с устройством.

Рисунок 2 Окно добавления канала Gateway В диалоговом окне необходимо нажать кнопку Scan network для получения списка доступных сетевых устройств, как это показано на рис.3.4. В случае неудачного подключения необходимо проверить настройки целевой платформы.Рисунок 3.4 Поиск виртуального контроллера

Далее нажатием кнопкиSet active path произведем выбор используемого контроллера. Справа от имени устройства появится надпись active, как показано на рис.5.

Рисунок 5 Выбор активного контроллера

Виртуальный контроллер позволяет не только производить отладку программы, но и может быть использован как целевая платформа для подключения внешних устройств и взаимодействия с ними по Com — портам ПК.

Oculus Touch в продаже уже 2 месяца, и пора делать какие-то выводы. Как мы считаем, стал более мощной платформой виртуальной реальности, чем когда-либо прежде.

Touch не так просто стать успешными. Главный конкурент Рифта, на протяжении года был единственной VR гарнитурой для PC, со своими контроллерами для отслеживания движений рук. Теперь, Touch имеет возможность сравнять счет и сделать Oculus наиболее убедительным VR устройством на планете.

Давайте выясним, стали ли контроллеры от Oculus главным провалом компании, или же, наоборот, лучшим их решением.

Настройка

Настройка всегда была областью, в которой Oculus выигрывает. Несколько кликов в меню настроек и вы получаете вариант «добавить Touch» в раскрывающемся меню. После запуска, вам предлагается к просмотру очень полезный, анимированный туториал по настройке. Синхронизация беспроводных контроллеров с ПК очень простая — нужно зажать по кнопке на каждом контроллере менее чем на 30 секунд.

В отличие от гарнитуры Oculus, Touch требует наличия двух датчиков, чтобы нормально функционировать. Это означает, что вам нужно подготовить немного больше места, чем вы делали раньше и быть очень внимательными к размещению датчиков. Например, поставив камеры слишком близко друг к другу или слишком далеко друг от друга, возникнет ошибка во время установки, а для получения правильной конфигурации может потребоваться несколько попыток.

В большинстве случаев вы можете перейти от открытия контроллеров, до их использования, менее чем за пять минут, если сама гарнитура Rift уже готова к работе.

Туториал

После того, как вы закончили установку, вам предложиться туториал для Oculus Touch. Туториал состоит из двух простеньких игрушек, каждая из которых предназначена, чтобы вы привыкли к разнообразным возможностям ваших новых контроллеров.

Первым делом, вы окажетесь в эфирной бело-серой среде, в которой приятный женский голос расскажет вам про основные возможности Touch. Этот невидимый рассказчик покажет как использовать уникальные кнопки, аналоговые стики и так далее. Как только вы доказали вашему всевидящему наставнику, что можете манипулировать каждым контроллером, вы телепортируетесь в следующий туториал, где все становится по-настоящему интересно.

First Contact — это первый VR опыт, в котором можно будет должным образом оценить контроллеры Touch. Он бросает вас в научно-фантастическкую гостиную 80-ых, где находиться ваш собственный робот. Хотя First Contact проходится всего за пять минут, но учит всему необходимому: как бросать, хватать, размахивать, перестреливаться и так далее.

В целом, First Contact — хорошо продуманный туториал, который объяснит все даже самому неопытному новичку в виртуальной реальности. И он делает это со стилем.

Функциональность

Функциональность и эргономичность являются областями, где Oculus Touch заставляет своих конкурентов краснеть. Touch может сделать все, что контроллеры HTC Vive или PlayStation Move, и даже больше.

Так же, как палочки Vive, Touch позволяет подобрать виртуальные объекты с помощью кнопки сбоку, стрелять при помощи триггера, а вместо сенсорной панели палочек Vive, Touch предлагает несколько аналоговых стиков.

Touch является первым коммерчески доступным VR контроллером, включающим средства управления на основе движений пальцев. В основном, управление ограничивается подниманием большого м и указательного пальца, но варианты использования этих естественных жестов в различных игровых и социальных приложениях удивительно разнообразны. Например, вместо того, чтобы протягивать полную руку к кнопке лифта, теперь вы можете сделать это указательным пальцем, чтобы выбрать конкретную кнопку так же, как и в реальной жизни. Или, вы можете показать другу свое удовлетворение, подняв большие пальцы вверх во время перестрелки с зомби в кооперативе.

Возможность выполнять такие простые вещи может не вызвать удивления, но на самом деле это делает Touch очень ценным контроллером в отрасли.

Эргономика

Эргономичный дизайн контроллеров Touch не что иное, как шедевр. Эти маленькие красавицы настолько невероятно легкие и хорошо продуманы, что они просто тают в ваших руках. Они позволяют забыть о внешнем мире, и это именно то, что хочется для VR.

Из-за намеренно созданных формы и дизайна Touch, стрельба чувствуется очень реалистично и естественно. Другие контроллеры VR позволяют почувствовать, как палочки в руках становятся виртуальными объектами, но Touch дает почувствовать, как вы подбираете виртуальный объект сам по себе.

Триггеры, кнопки и аналоговые стики очень приятны. У них достаточно сопротивления, чтобы дать вам хорошую тактильную обратную связь, но не настолько, чтобы утомить ваши пальцы, когда вы стреляете либо совершаете любые другие вещи с контроллерами в течение длительных периодов времени.

Тактильная обратная связь Touch также впечатляет. Вибрация контроллеров способна обеспечить тонкие толчки, когда вы подбираете пулемет, и хорошо поколотить, когда вы начинаете стрелять из него. Единственный недостаток в том, что они являются шокирующе громкими для контроллеров их размера. Это не является проблемой, когда на вас надеты встроенные наушники Oculus, но мешает соседям по комнате.

Поведение

Это хитрая категория для оценки, когда речь идет про Touch. Поведение этих контроллеров непосредственно связано с работой самой позиционной системы слежения Oculus. Датчики Oculus размещены не только на гарнитуре, но также на контроллерах. До тех пор пока датчики могут «видеть» контроллеры, они работают абсолютно прекрасно. Проблема, однако, заключается в том, что датчики иногда «забывают свои очки». Когда датчики не установлены должным для полного охвата образом, отслеживание теряется и контроллеры исчезают. Этого не произошло, когда мы строго следовали инструкции Oculus, но что-то может пойти не так, если не установить датчики правильно.

В итоге, если у вас есть пространство и ресурсы для запуска идеальной установки, с датчиками, расположенными так, как Oculus рекомендует, тогда вы, вероятно, не будете иметь никаких проблем с Touch. Если вы можете раскошелиться на три камеры и , то еще лучше. Тем не менее, если вы попытаетесь использовать Touch с меньшим пространством, то поиск «сладкого пятна» без мертвых зон может занять некоторое время.

Контент

Как всегда, Oculus и доллары Facebook проделали невероятную работу в наполнении библиотеки для запуска Touch. Dead and Buried, Ripcoil и The Unspoken являются одними из лучших многопользовательских , которые мы видели до сих пор. Quill, Medium и позволяют побывать творцом захватывающем 3D искусства. Конечно же, есть еще Arizona Sunshine, I Expect You to Die, и Job Simulator, которые отлично играются с Touch.

Есть более 50 игр, поддерживающих контроллер Touch, доступных в Oculus Home Store. Это уже неплохая библиотека, но данный длинный список удивительных тайтлов это только начало. Не говоря уже о всех Steam VR играх, которые тоже иногда поддерживают Touch, хоть и с ошибками.

Окончательный вердикт

Oculus Touch — лучший VR контроллер на сегодняшний день.

Его дизайн как можно ближе приближен к идеальному, а контента в Oculus Home и Steam достаточно, чтобы держать человека в пленену в течение нескольких месяцев. Контроллеры отлично работают в рекомендуемых условиях, а их система управления движениями пальцев должна быть стандартом для всей отрасли.

Touch является важным шагом вперед для VR, и мы не могли не удивиться, когда увидели их конструкцию и основные характеристики. Конечно, Touch — еще не предел, и со временем мы надеемся получить что-то еще лучше!

Изобретение относится к виртуальным контроллерам для визуальных отображений. Технический результат заключается в повышении точности детектирования и отслеживания жестов и движений рук. Такой результат достигается благодаря тому, что камера захватывает изображение рук напротив фона, изображение сегментируется на области рук и области фона, различные жесты рук и пальцев изолируют части фона в независимые области, которым затем назначаются управляющие параметры для манипулирования визуальными отображениями. Несколько управляющих параметров могут быть ассоциированы с атрибутами нескольких независимых областей, образованных двумя руками, для расширенного управления, включающего в себя одновременные функции щелканья, выбора, выполнения, горизонтального перемещения, вертикального перемещения, прокручивания, перетаскивания, вращательного движения, изменения масштаба, развертывания, свертывания, выполнения функций работы с файлами и выполнения выбора из меню. 3 н. и 17 з.п. ф-лы, 5 ил.

Рисунки к патенту РФ 2439653

УРОВЕНЬ ТЕХНИКИ

Движения рук и сигналы руками являются естественными формами человеческого проявления и средства общения. Применение этого знания к взаимодействию человек-компьютер привело к развитию компьютерных методов, основанных на зрительном восприятии, которые предусматривают человеческую жестикуляцию в качестве компьютерного ввода. Компьютерное зрение - это методика, предусматривающая осуществление систем ввода человеческих жестов с целью фиксации свободных движений человеческих рук или тела. Многие основанные на зрительном восприятии методы, разработанные в настоящее время, однако, включают в себя неуклюжие упражнения, требующие неестественных жестов руками и дополнительного оборудования. Эти методы могут быть сложными и громоздкими, приводя к уменьшению эффективности вследствие повторяющихся движений руками в сторону от стандартных местоположений при использовании компьютера.

Современные компьютерные способы ввода обычно включают в себя как ввод текста с использованием клавиатуры, так и манипулирование курсором посредством мыши или стилуса. Повторяющиеся переключения между клавиатурой и мышью уменьшают эффективность для пользователей с течением времени. Методы компьютерного зрения пытаются улучшить несовершенства задач ввода человек-компьютер путем использования движений рук в качестве ввода. Такое использование было бы наиболее эффективным, если бы детектирование происходило при обычных положениях рук во время использования компьютера, таких как клавиатура. Многие из современных компьютерных методов, основанных на зрительном восприятии, применяют использование направленного или вытянутого пальца в качестве жеста ввода. Трудности детектирования такого жеста руки у местоположения клавиатуры или около него возникают вследствие сходства указывающего жеста с естественным расположением руки во время печатания.

Многие современные методы компьютерного зрения применяют парадигмы детектирования и отслеживания жестов для опознавания жестов и движений рук. Эти парадигмы детектирования и слежения являются сложными методиками, использующими замысловатое распознавание образов для восстановления формы и положения рук. Детектирование и слежение ограничено несколькими факторами, включающими в себя трудность в достижении разумной вычислительной сложности, проблемы с реальным детектированием из-за неопределенности в движениях человеческих рук и жестикуляции и отсутствие поддержки для методов, разрешающих взаимодействие более чем с одним пользователем.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Сущность этого изобретения предусматривает введение упрощенных признаков и понятий виртуальных контроллеров для видеотерминалов, которое также описывается ниже в Подробном описании. Эта сущность не предназначена для идентификации существенных признаков заявленного объекта изобретения, и она также не предназначена для использования в определении объема заявленного объекта изобретения.

В одном осуществлении виртуального контроллера для видеотерминалов камера или другое сенсорное устройство детектирует изображение одной или более рук на уровне фона. Изображение сегментируется на области рук и области фона, и с различными интервалами подсчитываются отдельные, независимые области фона - «дырки» - образованные на изображении большим пальцем и пальцем, составляющим замкнутое кольцо (например, одна дырка может быть создана каждой рукой). Большой палец и указательный палец, когда их используют таким образом, называются «интерфейс большого и указательного пальцев» (TAFFI). Возможны другие типы интерфейсов рук и пальцев. По меньшей мере один контрольный параметр присваивается тогда каждой распознаваемой дырке или независимой области фона в захваченном изображении, причем этот контрольный параметр обычно разрешает руке пользователя управлять некоторым аспектом отображаемого изображения на экране или мониторе. Например, функция щелканья мышью может быть назначена в качестве контрольного параметра, когда большой палец и указательный палец руки касаются друг друга и создают визуально независимую область фона. Контрольные параметры могут назначаться таким образом, что отображаемое изображение меняется в зависимости от каждого изменения формы и/или положения независимой области, ассоциированной с контрольным параметром, или в зависимости от формирования или расформирования независимой области (высокое состояние, когда большой палец и указательный палец касаются, и низкое состояние, когда большой палец и указательный палец разомкнуты).

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Повсюду на чертежах используются одинаковые цифры для ссылок на подобные признаки и компоненты.

Фиг.1 представляет собой схему примерной автоматизированной системы, в которой может быть осуществлен примерный виртуальный контроллер для визуального отображения.

Фиг.2 - блок-схема примерной системы виртуального контроллера.

Фиг.3 - схема сегментации изображения, использованной в примерном сегментаторе системы виртуального контроллера Фиг.2.

Фиг.4 - схема примерного управления интерфейсом большого и указательного пальцев.

Фиг.5 - схема последовательности операций примерного способа управления визуальным отображением с помощью жестов руки и пальцев.

ПОДРОБНОЕ ОПИСАНИЕ

Это раскрытие описывает виртуальные контроллеры для визуальных отображений. В одном варианте осуществления примерная система обеспечивает навигацию отображения, такого как визуальный пользовательский интерфейс, типичный для монитора компьютера, с использованием компьютерных методик, основанных на визуальном восприятии, в применении к жестам рук и пальцев. В одном варианте осуществления пользователь печатает на клавиатуре и затем, например, запускает «интерфейс большого и указательного пальцев» или «TAFFI», приостанавливая печатание на клавиатуре и просто соединяя вместе большой палец и указательный палец одной руки (словно держа маленький стилус). Примерная система считывает это событие и присваивает контрольные параметры для характерных признаков независимой области фона, образованной жестом пальцев, для того чтобы управлять изображением на видеотерминале.

«Виртуальный» в словосочетании «виртуальный контроллер» относится к отсутствию устройства в физическом контакте с рукой пользователя. Так, в одном варианте осуществления, виртуальный контроллер состоит из камеры, установленной над руками и клавиатурой, и ассоциированной логической схемы для извлечения одного или более интерфейсов из визуального изображения рук пользователя. Разбиение на сегменты выделяет объекты рук из фона (например, при включении клавиатуры). Если пользователь соединяет указательный палец с большим (TAFFI, вверху), система распознает и табулирует независимую область фона, созданную этим жестом руки. То есть система распознает, что часть фона была визуально изолирована от остальной части основного фона касанием большого и указательного пальцев, сделавших полное замкнутое «кольцо», которое замыкает «дырку от бублика» области фона эллиптической формы. Детектирование визуального изображения способом, отличным от компьютерной камеры, также возможно. Например, двумерная матрица электродов или антенн, внедренных в клавиатуру или стол, может «формировать изображение» жеста руки с использованием электростатического или радиочастотного методов и обрабатываться способом, аналогичным захвату изображения с камеры.

В одном варианте осуществления независимая область фона считается отдельным визуальным объектом, когда она визуально разъединена или изолирована от других частей фона областями рук, или, в одном варианте осуществления, областями рук на изображении и/или на границе изображения. Когда изображение(я) рук и пальцев являются ограничивающими объектами для определения границ независимой области фона, тогда эллиптическая область между большим пальцем и указательным пальцем руки, которая создается, когда большой палец и указательный палец «смыкаются» (касаются друг друга), подсчитывается как новая независимая область фона приблизительно в тот момент, когда большой палец и указательный палец касаются. Новая независимая область фона может считаться «связным компонентом» в области анализа связных компонентов. Такие связные компоненты или новые независимые области фона - «дырки» - будут называться здесь «независимыми областями фона» или просто «независимыми областями». Следует понимать, что эта терминология относится к визуальному объекту, который считается отдельным, например, в области анализа связных компонентов.

Когда большой палец и указательный палец «разомкнуты», вновь образованная независимая область фона исчезает и снова становится частью большей независимой области фона.

В терминах области анализа связных компонентов связный компонент представляет собой группу пикселей в бинарном изображении с одинаковыми характерными признаками, которые группируются вместе на основании подобия характерных признаков. Каждый связный компонент часто соответствует отдельному визуальному объекту, увиденному человеком-наблюдателем. Каждую часть фона, которая визуально обособлена от других частей фона частью областей руки или пальцев на изображении, можно определить как независимую область или, на языке анализа связных компонентов, как вновь образованный связный компонент, отдельный от связного компонента фона.

Конечно, другие варианты осуществления могут использовать движения или касания других пальцев руки, образующих «дырку» или «независимую область». Так, «TAFFI» следует толковать свободно, как конфигурацию пальцев(а) и рук(и), которая визуально изолирует часть фона от остального общего фона. Например, большой палец и любой другой палец человеческой руки, или просто два пальца без большого пальца, также могут сформировать интерфейс «TAFFI». Для упрощения описания, однако, варианты осуществления будут как правило описываться в терминах «большого и указательного пальцев».

Как только модуль детектирования отличает новую независимую область фона от общей области фона, система ассоциирует вновь распознаваемую независимую область с одним или более управляющими параметрами, которые позволяют пользователю манипулировать отображаемым изображением на визуальном пользовательском интерфейсе. Отображаемое изображение на визуальном пользовательском интерфейсе может меняться посредством управляющего параметра, поскольку положение, форма и даже существование независимой области фона отслеживаются.

В одном варианте осуществления примерная система обеспечивает детектирование более чем одной независимой области, разрешая пользовательское управление над отображаемым изображением посредством многочисленных управляющих параметров, в котором могут участвовать одна или обе руки. Ассоциация многочисленных управляющих параметров с многочисленными независимыми областями разрешает управление отображаемым изображением относительно изменений формы, положения и существования каждой детектированной независимой области. Так, управление отображаемым изображением может включать в себя управление щелканьем, выбором, выполнением, горизонтальным перемещением, вертикальным перемещением, прокруткой, перетаскиванием, вращательным движением, изменением масштаба, развертыванием и свертыванием, функциями работы с файлами, развертыванием и использованием меню и т.д. Дополнительно, управляющие параметры могут также присваиваться зависимостям между многочисленными распознаваемыми независимыми областями. То есть по мере того как две независимые области двигаются по отношению друг к другу, например, различные управляющие параметры могут приписываться к расстоянию между ними. Например, по мере того как независимые области каждой руки отодвигаются друг от друга, изображение может изменяться в масштабе или растягиваться или может растягиваться по размеру или задавать направление, в котором меняется расстояние между независимыми областями.

В то время как признаки и понятия описанных систем и способов для виртуальных контроллеров могут быть осуществлены во многих различных средах, варианты осуществления виртуальных контроллеров описываются в контексте следующих примерных систем и сред.

Примерная среда

Фиг.1 иллюстрирует примерную систему 100, в которой могут быть осуществлены интерфейсные методики виртуального контроллера, такие как интерфейс большого пальца и указательного пальца, TAFFI, введенный выше. Примерная система 100 включает в себя «отображаемое изображение» 102 на визуальном пользовательском интерфейсе (мониторе, экране или «отображении» 103), камеру 104 в сочетании с вычислительным устройством 105, мышь 106, клавиатуру 108, руки пользователя 110, показанные в контексте (не часть аппаратного обеспечения системы, конечно), и визуально независимую область 112, образованную рукой 110(1) пользователя, используемой как TAFFI. Камера получает захваченное изображение 114 рук, которое будет использоваться примерным устройством TAFFI 115. (Захваченное изображение 114 показано только для описательных целей, примерная система 100 не обязана отображать то, что захватывает камера.) Вычислительное устройство 105, размещающее механизм 115 TAFFI, может быть настольным устройством, переносным устройством, PDA или другим вычислительным устройством 105, которое может успешно регистрировать ввод от камеры 104, так что механизм TAFFI 115 может детектировать некоторые жесты рук и использовать их как ввод пользовательского интерфейса.

Камера 104 захватывает изображение одной руки 110(1), содержащее TAFFI, в то время как другая рука 110(2) остается в «традиционном» (не TAFFI) печатающем положении. Захваченное изображение 114 показывает детектирование независимой области 112 для руки 110(1), формирующей TAFFI, но не детектирование независимой области для руки 110(2), которая по-прежнему печатает или использует мышь для дополнительного ввода. Детектирование независимой области 112 камерой 104 отображается как затемненная область (112) в захваченном изображении 114. Это захваченное изображение 114 демонстрирует фазу в процессе, который будет описан дополнительно ниже, на которой примерная система 100 разделяет руки 110 и фон на непрерывные, сегментные области, такие как большая область фона, области рук и меньшие области фона, составляющие независимую область 112, образованную посредством TAFFI руки 110(1).

Система 100 может быть системой, основанной на визуальном восприятии («компьютерном зрении»), которая обеспечивает управление визуальным пользовательским интерфейсом посредством ввода жестом руки, детектированным камерой 104 или другим датчиком. Другими словами, примерная система 100 может управлять выводом отображения визуального пользовательского интерфейса многих различных типов программ или приложений, которые могут выполняться на вычислительном устройстве, включая отображения на основе Web. Так, примерная система 100 может заместить традиционные пользовательские устройства ввода, такие как мышь 106 и, при желании, клавиатура 108, включая их функции выбора, перемещения и изменения объектов, отображаемых на визуальном пользовательском интерфейсе 102, или даже ввода текста.

Виртуальный контроллер детектирует особенные жесты и движения рук как ввод пользователя. В иллюстрированном варианте осуществления камера 104, использованная для детектирования, помещена где-то над руками и клавиатурой, будучи прикреплена к монитору 103. Камера 104, помещенная в этом положении, обладает полем зрения, которое охватывает по меньшей мере большую часть клавиатуры 108 и приблизительно сфокусирована на плоскости рук 110 пользователя в нормальном положении печатания. В одном варианте осуществления могут быть помещены источники света, такие как инфракрасные или видимые LED, чтобы освещать руки 110 и клавиатуру 108, и могут также быть ориентированы для уменьшения эффектов переменного окружающего освещения. В некоторых случаях может быть достаточно окружающего света, так что для камеры не нужны дополнительные источники света, чтобы получить изображение. В разных вариантах камера 104 и/или дополнительные источники света могут быть помещены между различными клавишами клавиатуры 108, так что камера 104 обращена вверх и способна детектировать жесты рук и движения рук над клавиатурой 108.

Примером камеры 104, которая может быть использована в иллюстрированной примерной системе 100, является Web-камера 104 LOGITECH, которая получает полутоновые изображения с высоким разрешением на частоте 30 Гц (Фримонт, Калифорния). Камера 104 может быть прикреплена либо к клавиатуре 108, либо к монитору 103, либо куда-либо еще, где удобно.

В примерной системе 100 рука пользователя 110(1) может сформировать TAFFI, который создает визуальную область, независимую от остальной области фона, когда большой палец и указательный палец касаются. В одном варианте осуществления потенциальный TAFFI и присутствие или отсутствие одной или более независимых областей 112 детектируются процедурой обработки изображения в реальном времени, которая выполняется в вычислительном устройстве 105, чтобы постоянно следить и определять состояние обеих рук 110, например печатают ли руки 110 или формируют жест для ввода. Эта процедура обработки может вначале определять, находятся ли большой палец и указательный палец пользователя в контакте. Если пальцы находятся в контакте, вызывая независимую область 112 образования TAFFI, которую следует распознать, позиция контакта может быть прослежена двумерно. Например, позиция контакта большого пальца и указательного пальца может быть зарегистрирована в компьютере 105 как позиция указывающей стрелки или позиция курсора. Это распознавание позиции образования TAFFI и ассоциированной с ним независимой области 112 используется таким образом для установления позиции курсора и для управления отображаемым изображением, в одном варианте осуществления.

Быстрые движения рук, производящие независимую область 112, где независимая область 112 формируется, расформировывается и затем формируется снова внутри некоторого интервала времени, могут моделировать или имитировать «щелканье» мышью и позволять пользователю выбирать отображаемый элемент. Быстрое формирование, расформирование и формирование вновь независимой области 112 могут также позволять пользователю перетаскивать или прокручивать выбранные порции отображаемого изображения, перемещать объект в горизонтальном, вертикальном или диагональном направлениях, поворачивать, изменять масштаб и т.д. отображаемого изображения 102. Кроме того, в одном варианте осуществления перемещение TAFFI, который сформировал независимую область 112, ближе или дальше от камеры 104 может привести к увеличению и уменьшению отображаемого изображения.

Управление отображаемым изображением посредством многочисленных TAFFI может задействовать более одной руки 110. Проиллюстрированная примерная система 100 Фиг.1 является вариантом осуществления управления TAFFI, в котором управление изображением происходит от TAFFI одной руки 110(1), в то время как противоположная рука 110(2) печатает и выполняет другие задания ввода на клавиатуре 108. Но в другом варианте осуществления управления TAFFI обе руки 110 могут формировать соответствующие TAFFI, приводя к детектированию по меньшей мере двух независимых областей 112 камерой 104. Двуручное управление TAFFI может обеспечить управление вводом для точно настроенной навигации визуального пользовательского интерфейса. Двуручный подход обеспечивает многонаправленное манипулирование изображением в дополнение к увеличению, уменьшению масштаба и вращательным перемещениям, где манипулирование является более изощренным из-за взаимодействия независимых областей 112 нескольких TAFFI по отношению друг к другу.

Примерная система

Фиг.2 иллюстрирует различные компоненты примерной системы 100 виртуального контроллера. Проиллюстрированная конфигурация системы 100 виртуального контроллера является только одним примером расположения. Многие расположения проиллюстрированных компонент, или других подобных компонент, возможны внутри объема предмета изобретения. Примерная система 100 виртуального контроллера имеет несколько компонентов, таких как механизм TAFFI 115, которые могут быть выполнены в аппаратном обеспечении, программном обеспечении или комбинациях оборудования, программного обеспечения, встроенного программного обеспечения и т.д.

Примерная система 100 включает в себя аппаратное обеспечение 202, такое как камера 104 или другой датчик изображения, клавиатуру 108 и дисплей 103. Устройство 115 TAFFI включает в себя другие компоненты, такие как сегментатор 204 изображения, модуль 206 отслеживания независимых областей, механизм 208 управляющих параметров, включающий в себя модуль 210 связи.

В одном варианте осуществления камера 104 детектирует изображение, интерпретируемое как одна или более рук 110 на уровне фона. Пиксели захваченного изображения 114 включают в себя контрастные значения параметра, который будет использоваться для отличия рук 110 на изображении от области(ей) фона на изображении. Пригодные параметры для сопоставления рук и фона могут включать в себя яркость, оттенки серого цвета, насыщенность цветовых компонентов, значение цветовой плоскости, векторную величину пикселя, заданное значение таблицы компонентов цветов и т.д. В разных вариантах осуществления камера 104 может использовать один или другой из этих параметров для отличия пикселей руки от пикселей фона, например, в зависимости от того, используется ли инфракрасное освещение вместо обычного видимого спектра. Иногда получение захваченного изображения 114 с использованием инфракрасного света приводит к тому, что руки большинства людей различных оттенков кожи проявляются с одинаковым контрастом по отношению к фону независимо от вариаций цвета кожи и тона видимого спектра вследствие различия расы, загара и т.д. Таким образом, детектирование рук на фоне изображения может быть легко выполнено в инфракрасном свете безотносительно к видимым оттенкам кожи.

Сегментатор 204, таким образом, разделяет захваченное изображение 114 на одну или более областей рук 110 и область(и) фона, например, путем сегментации бинарного изображения в соответствии с параметрами контраста или яркости, описанными выше. Сегментация бинарного изображения отличает пиксели области фона от пикселей любого другого объекта (переднего плана) или области, присутствующей на захваченном изображении 114. В одном варианте осуществления сегментатор 204 разделяет изображение, определяя вначале пиксели, которые соответствуют области фона. Каждому пикселю области фона присваивается значение, такое как бинарные «единицы» (1). Всем оставшимся пикселям на захваченном изображении 114 присваиваются отличные значения, такие как «нули» (0).

Фиг.3 иллюстрирует пример 300 сегментации бинарного изображения, выполненного сегментатором 204. Захваченное изображение 114 включает в себя объект 302 фона и объект 304 руки на фоне. Существует ряд способов для получения сегментированных изображений, большинство из которых хорошо известны в технике. В одном варианте осуществления сегментатор 204 отличает пиксели области фона от пикселей любого другого объекта или области, которая присутствует на захваченном изображении 114 или в примере 300. Различение пикселей в бинарном изображении выполняется посредством рассмотрения каждого пикселя, соответствующего фону, как «включенного» или как фиксированного значения, такого как «единица». Каждое другое значение пикселя на изображении может затем сравниваться со значением сохраненного изображения фона. Любое другое значение пикселя, которое существенно ярче, чем соответствующее значение пикселя фона, считается частью новой области или объектом изображения и помечается «выключенный», или ему придается отличное значение, такое как «нуль».

Пример 300 может также иллюстрировать различение области 302 фона от других областей изображения в виде разницы цветов. Область 302 фона показана как более темный цвет, что уравнивается с первым значением. Объект 304 руки, показанный как более светлый цвет, уравнивается со вторым значением, отличающим его от области 302 фона.

Возвращаясь к Фиг.2, устройство 206 отслеживания независимых областей определяет, с фиксированными интервалами времени, количество независимых областей 112 фона. Каждая часть фона, которая визуально обособлена от других частей фона по меньшей мере частью нефоновых областей рук (или границей изображения), определяется как независимая область 112. Для каждой воспринятой независимой области 112 модуль 206 отслеживания независимых областей находит область пикселей «1», полностью окруженную пикселями «0» (т.е. не связанную более непрерывно с остальными пикселями «1», составляющими главный фон). Другими словами, устройство 206 отслеживания независимых областей находит области изолированного фона, которые очерчиваются жестом TAFFI касания большого пальца и указательного пальца.

Точное детектирование независимой области 112 как отдельной области фона, указывающее на намерение пользователя выбрать объект на дисплее 103, например, может быть гарантировано, что независимая область лежит полностью внутри захваченного изображения 114, воспринятого камерой 104, т.е. что никакая порция независимой области 112 не лежит на границе захваченного изображения 114.

Тем не менее, в одном варианте осуществления разновидность модуля 206 отслеживания независимых областей может воспринимать независимую область 112, даже когда часть независимой области 112 находится «вне экрана» - не включенная как часть захваченного изображения 114. Это может быть выполнено путем определения независимой области 112 в виде области фона, отрезанной от основного фона частью руки 110 или частью границы захваченного изображения 114. Но это только вариант того, как разграничить независимую область фона.

Как только существование одной или более независимых областей установлено, модуль 210 связи ассоциирует контрольный параметр для управления операциями визуального графического дисплея 102 на пользовательском интерфейсе с каждой подсчитанной независимой областью. Манипулирование может включать в себя ряд механизмов, включая управление курсором внутри визуального пользовательского интерфейса. Управление курсором визуального графического отображения 102 может быть выполнено, но только когда независимая область детектирована и ассоциирована с управляющим параметром. Если детектирование независимой области прекращается, ассоциация с управляющим параметром прекращается, и управление курсором и манипулирование отключаются. Управление курсором может включать в себя ряд манипуляций, включая действие «щелканья», имитирующее ввод от мыши. Действие щелканья обеспечивает выбор желаемой части визуального изображения на отображении 102, отслеживание и перетаскивание и многонаправленное перемещение и управление курсором.

Модуль 210 связи обеспечивает ассоциацию заданного управляющего параметра с жестом руки или пальца или с изменением жеста. Как только управляющий параметр присвоен или ассоциирован с жестом руки или пальца, то механизм 208 управляющих параметров может далее различать, как жест руки и управляющий параметр связаны друг с другом. Например, простое касание большого пальца с указательным пальцем может быть использовано в качестве «включения-выключения», бинарного интерфейса или переключателя высоких-низких или других двух состояний. Хотя атрибут жеста руки может меняться непрерывно, может назначаться обеспечение переменного управления над манипулированием отображаемого изображения, таким как постепенные перемещения отображаемого изображения 102 через континуум.

Когда модуль 210 связи присваивает переменный управляющий параметр для управления отображаемым изображением 102, например, в зависимости от изменений формы или положения соответствующей независимой области, аспект переменности может быть выполнен путем расчета среднего положения всех пикселей, принадлежащих каждой независимой области, и затем отслеживания изменений в положении формы, создаваемой, когда рука формирует TAFFI. Перемещение рук меняет ориентацию эллиптической формы независимых областей и вынуждает соответствующие изменения в атрибуте элемента изображения, ассоциированного с присвоенным управляющим параметром.

Управление отображаемым изображением

Фиг.4 показывает пример TAFFI 400, иллюстрированный в контексте захваченного изображения 114. Иллюстрированная часть захваченного изображения 114 включает в себя область 302 фона, область 110 объекта руки, независимую область 112 и границу 408 изображения. Каждая из областей 302, 110 и 408 могут быть описаны как отдельные связные области или связные компоненты. Механизм 115 TAFFI отличает независимую область 112 от других связных компонентов, 302 и 110.

Механизм 115 TAFFI может, таким образом, использовать подсчет связных компонентов изображения как основу для осуществления виртуального котроллера для видеотерминалов. Подробнее, связные компоненты являются подмножеством пикселей или участком изображения, на котором каждый пиксель «связан» с каждым другим пикселем в подмножестве. Термин «связный» обозначает множество пикселей, для которого является возможным достичь каждого пикселя из любого другого пикселя путем пересечения пикселей, которые принадлежат этому множеству. В настоящее время существуют эффективные методы для расчета множества связных компонентов на изображении. Методы связных компонентов могут быть эффективными направлениями для определения свойств форм на изображении, так как они допускают исследование малых множеств компонентов, состоящих из многих пикселей внутри пикселей целого изображения.

Процесс расчета связных компонентов может привести к детектированию посторонних связных компонентов. Эти ненужные детектирования могут запутать определение релевантных независимых областей, образованных TAFFI или другими примерными интерфейсами, и поэтому затруднить осуществление виртуального контроллера. В одном варианте осуществления постороннее детектирование внешних связных компонентов может быть преодолено путем отбрасывания связных компонентов, которые имеют меньшее количество пикселей, чем в заранее определенном допустимом граничном значении.

В одном варианте осуществления механизм 115 TAFFI подтверждает, что выявленная независимая область 112 лежит полностью внутри границ изображения, т.е. полностью в пределах области 302 фона. Иногда это ограниченное детектирование независимой области 112, которое имеет достаточный размер и не включает в себя пикселей на границе 408 изображения, подкрепляет достоверную идентификацию ожидаемых независимых областей 408. В этом одном варианте осуществления надлежащее детектирование выполняется путем отказа от ложных кандидатов в связные компоненты или тех, которые не лежат полностью внутри изображения и которые содержат участки на границе 408 изображения.

Все же, в другом варианте осуществления механизм 115 TAFFI детектирует независимую область 112 путем выявления участка независимой области 112 внутри захваченного изображения 114 и участка, лежащего вне экрана за границей 408 изображения. В этом варианте осуществления анализ связных компонентов продолжается до тех пор, пока независимая область 112 не является смежной с точкой столкновения и/или не выходит за пределы границы 408 изображения. Это может произойти, когда рука, формирующая TAFFI и независимую область 112, только частично находится в поле зрения камеры и поэтому только частично внутри детектируемого изображения.

В одном варианте осуществления механизм 115 TAFFI использует центр независимой области 112 для установления позиции курсора и управления курсором внутри отображаемого изображения 102. Механизм 115 TAFFI может выполнять статистический анализ для каждой распознаваемой независимой области 112, где модуль отслеживания 206 независимых областей вычисляет «центроид» или среднее положение пикселей из всех пикселей, принадлежащих к каждой независимой области 112. Это вычисленное положение является суммой многих положений пикселей, приводя к стабильности и прецизионности для этого осуществления. Среднее положение пикселей может быть вычислено на том же этапе, что и подсчет связных компонентов, приводя к эффективному методу, который обеспечивает быстрые результаты с низкими затратами на обработку.

Рассматривая появление и исчезновение независимых областей 408 как средства управления визуальным отображением, в одном варианте осуществления среднее положение пикселей из всех пикселей, принадлежащих к независимой области 112, устанавливает положение курсора и управление, только когда независимая область 112 вновь детектируется в течение одного интервала повторяющегося процесса детектирования.

Управление курсором с детектированием независимых областей 408 может имитировать устройство 106 ввода мышь. Аналогично мыши 106, относительное движение для управления курсором может быть рассчитано из текущего и прошлого положения детектируемой независимой области 112, образованной TAFFI 400. Соединение вместе большого пальца и указательного пальца является естественным движением, которое предусматривает не требующего усилий защелкивающего действия, как с устройством ввода мышью. Использование фильтра Калмана с детектированием TAFFI может сгладить перемещение курсора по визуальному отображению 103.

Примерное устройство 115 TAFFI поддерживает выбор объектов отображаемого изображения 102 путем быстрого формирования, расформирования и нового формирования независимой области 112 с пороговым временным интервалом. Эти действия имитируют «щелканье» кнопкой мыши для функций «выбора» или «выполнения» и могут также поддерживать переход от отслеживания к перетаскиванию выбранного объекта. Например, перетаскивание может быть осуществлено путем имитирования события «мышь-вниз», следующего немедленно за последним формированием независимой области 112. Соответствующее событие «мышь-вверх» генерируется, когда независимая область 112 исчезает при разжимании большого пальца и указательного пальца. Например, в момент формирования независимой области на визуальном отображении пользовательского интерфейса может быть выбран объект, такой как зона прокрутки в документе. Сразу же за этим выбором положение руки, формирующее независимую область 112, может переместиться тем же способом, каким могла бы перемещаться мышь 106 для прокрутки вниз в документе.

Механизм 115 TAFFI может обеспечить большее управление визуальным отображением 102, чем простое имитирование обычной функции, основанной на мыши. Среднее значение и ковариация положений пикселей независимой области 112 (связного компонента) могут быть соотнесены с ориентированной эллиптической моделью формы независимой области 112 путем расчета собственных векторов ковариационной матрицы положений пикселей. Квадратный корень из абсолютной величины собственных значений дает их пространственную протяженность, в размерах основной и дополнительной осей, в то время как ориентация эллипса определяется как арктангенс одного из собственных векторов, с точностью до неопределенности в 180 градусов. Получающаяся в результате неопределенность может быть устранена путем выбора вычисленной ориентации или ориентации, повернутой на +180 градусов, с тем чтобы минимизировать разницу в ориентации из предыдущего кадра.

Механизм TAFFI 115 может вычислять одновременные изменения в положении, ориентации и масштабе из эллиптической модели независимой области 112, созданной примерным TAFFI 400. В разных вариантах осуществления изменения в масштабе могут быть также использованы для детектирования перемещения руки по направлению к камере и от камеры. Это предполагает, что рука пользователя, образующая независимую область 112, как правило, удерживается внутри фиксированного диапазона расстояний от камеры 104, так что размер и форма независимой области 112 меняются только внутри допусков, так что видимые изменения в ориентации отчасти ограничены плоскостью области 302 фона или клавиатурой. В одном варианте осуществления важным фактором является то, что на всем протяжении взаимодействия пользователь должен поддерживать размер независимой области - размер эллиптической дырки, образованной TAFFI 400 - по мере того как пользователь перемещает руки вверх и вниз по отношению к камере или клавиатуре (т.е. в некоторых вариантах осуществления изменение по высоте смешивается с реальным изменением формы независимой области). В других вариантах осуществления устройство 115 TAFFI компенсирует изменения в размере независимой области, по мере того как рука перемещается вверх и вниз, используя логическую схему компьютерного зрения.

В одном примере осуществления устройство 115 TAFFI использует эллиптическую модель независимой области 112 для навигации одной рукой аэрофотоснимков и спутниковых изображений, например, таких, которые предоставляются web-службой WINDOWS ® LIVE VIRTUAL EARTH® или другими подобными картографическими службами Интернет (Редмонд, штат Вашингтон). Навигация путем перемещения поперек всего поля зрения виртуальной карты может быть выполнена TAFFI 400 с независимой областью 112, которая перемещается поперек области 302 фона, такой как стол или клавиатура. Вращение всей карты может быть выполнено путем вращения руки, образующей независимую область 112 внутри двумерной плоскости клавиатуры, в то время как функции увеличения и уменьшения в масштабе достигаются перемещением руки ближе или дальше от камеры 104.

Устройство 115 TAFFI может осуществить применение двух или более рук для управления курсором и навигации. Стратегия покадрового соотнесения позволяет непрерывно отслеживать каждую независимую область 112, либо как первую, либо как вторую, третью и т.д. область, детектируемую камерой для ввода. Помещение обеих рук на уровне области 302 фона для детектирования камерой и последующее перемещение рук по отношению к области 302 фона меняют ориентацию эллиптической модели независимых областей 408 и вынуждают перемещение визуального отображения пользовательского интерфейса, ассоциированного с позицией и локализацией перемещений рук через посредство управляющих параметров, присвоенных модулем 210 связи.

Одновременное отслеживание нескольких управляющих параметров, соответствующих нескольким жестам рук или пальцев, дает возможность осуществлять множество двуручных взаимодействий. Обращаясь вновь к примеру виртуальной карты Интернет, двуручный ввод для навигации виртуальной карты допускает одновременные изменения во вращении, трансляции и изменении масштаба поля зрения карты на дисплее 103. Так как оценки местоположения для независимых областей 408 извлекаются из положения рук, двуручный метод может обеспечить более устойчивые оценки перемещения, чем оценки метода одной руки. Двуручный метод, таким образом, обеспечивает: вращение по часовой стрелке и против часовой стрелки, где обе руки одновременно перемещаются в направлении вращения; перемещение всего визуального отображения пользовательского интерфейса в вертикальном или горизонтальном направлениях, где обе руки перемещаются в требуемом направлении; и функции изменения масштаба, где увеличение визуального отображения пользовательского интерфейса выполняется, когда обе руки начинают от совместного близкого расположения и затем отодвигаются друг от друга, и уменьшение визуального отображения пользовательского интерфейса совершается сведением рук вместе из разведенного начального положения.

Одновременные изменения в положении, ориентации и масштабе, вычисленные из эллиптической модели независимой области 112, могут быть использованы в вариантах осуществления, иных, чем стандартные среды вычислительных устройств. Например, механизм 115 TAFFI может управлять интерактивными системами на поверхности стола, которые включают в себя камеру и проектор на столе, а не традиционные устройства ввода, такие как мышь, сенсорный экран или клавиатура. Пользователь размещает руки над поверхностью стола, образуя независимые области 408, чтобы обеспечить манипулирование и взаимодействие с поверхностью стола и с материалом, отображаемым на поверхности. Похожее осуществление может включать в себя систему, которая проектирует изображение отображения на стену, где пользователь может взаимодействовать и управлять изображением отображения посредством рук и пальцев, действующих как TAFFI 400. Например, устройство 115 TAFFI может позволять пользователю менять слайды в течение проекторной презентации.

Примерный способ

Фиг.5 показывает примерной способ 500 управления визуальным отображением посредством жеста руки или пальца. На блок-схеме последовательности операций операции сведены в индивидуальных блоках. В зависимости от варианта осуществления примерный способ 500 может быть выполнен аппаратным обеспечением, программным обеспечением или комбинациями оборудования, программного обеспечения, встроенного программного обеспечения и т.д., например компонентами примерной системы 100 виртуального контроллера и/или примерным механизмом 115 TAFFI.

В блоке 502 захватывается изображение одной или более рук 110 на уровне фона посредством камеры 104. Контрастность, цвет или яркость могут быть атрибутами пикселей, которые позволяют различить руки и окружающую область фона. Руки распознаются более легко на контрастном фоне. Один сценарий распознавания рук работает во время печатания на клавиатуре 108. Камера 104 захватывает изображение рук 110 и клавиатуры 108, воспринимаемой как часть области фона. Инфракрасное освещение LED также может использоваться для этого способа, который предлагает управляемую подсветку, заставляя большинство рук выглядеть похожими для камеры 104 в оттенке кожи.

В блоке 504 изображение сегментируется на объекты рук и области фона посредством бинарной сегментации. Например, пиксели области фона идентифицируются и отделяются от пикселей любого другого объекта или области на изображении. Пиксели области фона затем помечаются некоторым значением. Пиксели других объектов или областей на изображении в дальнейшем идентифицируются и сравниваются со значением пикселей сохраненного изображения фона. Любое значение пикселя, существенно более яркое, чем соответствующее значение пикселя фона, помечается частью новой области или изображения, и ему придается значение, отличное от пикселей области фона. Это разграничение и пометка различающихся областей изображения является бинарной сегментацией изображения.

В блоке 506 количество независимых областей фона подсчитывается с повторяющимися интервалами детектирования. Независимые области 408 определяются как каждая часть 302 фона, которая визуально изолирована от других частей фона по меньшей мере частью одного из объектов рук 110. Например, когда рука действует как интерфейс большого и указательного пальцев, или TAFFI, большой и указательный пальцы руки создают замкнутую область, независимую от остальной части общей области фона. Эта замкнутая область формирует новую независимую область 112, к которой может быть прикреплен управляющий параметр для управления визуальным отображением. В одном варианте осуществления способ тестирует, являются ли детектируемые независимые области действительно независимыми, т.е., в одном случае, имеет ли независимая область пиксели на границе изображения.

В блоке 508 управляющий параметр для управления изображением на дисплее ассоциируется с каждой подсчитанной независимой областью или ее атрибутом. Например, независимая область 112, созданная рукой, использованной как TAFFI, воспринимается камерой 104 и сопоставляется с управляющим параметром, разрешающим пользователю выбрать объект на отображении пользовательского интерфейса. Впоследствии вторая воспринимаемая независимая область 112 соотносится с управляющим параметром пользовательского интерфейса, позволяя пользователю переместить выбранный ранее объект в другое местонахождение на дисплее пользовательского интерфейса. Эта быстрая последовательность распознавания первой и второй независимых областей 112 может происходить в результате быстрого формирования, расформирования и нового образования независимых областей 408, приводя к функции «щелканья» типа мыши, ассоциированной с обнаруженной независимой областью 112.

В блоке 510 отображаемое изображение изменяется посредством управляющего параметра по отношению к каждому изменению атрибута независимой области, которая присваивается управляющему параметру. Например, положение независимой области 112 может перемещаться налево или направо по отношению к считывающей камере 104 и отображаемое изображение 102 может следовать соответственно. Ассоциация воспринимаемой независимой области 112 с управляющим параметром разрешает управление отображаемым визуальным изображением 102 соответственно перемещению, положению и взаимосвязи рук, используемых как TAFFI.

Вышеупомянутый способ 500 и другие родственные способы могут быть осуществлены в общем контексте исполняемых команд компьютера. В общем случае, исполняемые команды компьютера могут включать в себя подпрограммы, программы, объекты, компоненты, структуры данных, процедуры, модули, функции и тому подобные элементы, которые выполняют специальные функции или осуществляют специальные типы абстрактных данных. Способы могут также применяться на практике в распределенной вычислительной среде, где функции выполняются удаленными обрабатывающими устройствами, которые связаны посредством коммуникационной сети. В распределенной вычислительной среде исполняемые команды компьютера могут быть локализованы как в местных, так и в удаленных накопителях компьютера, включая устройства хранилища памяти.

Заключение

Хотя примерные системы и способы описаны на языке, специфическом для структурных признаков и/или методологических этапов, следует понимать, что предмет изобретения, определенный в прилагаемой формуле изобретения, не обязательно ограничен специфическими признаками или описанными этапами. Скорее, специфические признаки и этапы раскрыты как примерные формы осуществления заявляемых способов, устройств, систем и т.д.

ФОРМУЛА ИЗОБРЕТЕНИЯ

1. Способ управления отображаемым изображением, содержащий этапы, на которых:

детектируют изображение одной или более рук напротив, по существу, неподвижного фона посредством камеры;

сегментируют изображение на области рук и области фона;

с интервалами выполняют подсчет количества независимых областей фона, причем каждая часть фона, которая визуально независима от других частей фона, определяется как независимая область, при этом каждая из независимых областей визуально отделена от других частей фона, по меньшей мере, частью областей рук;

ассоциируют управляющий параметр для манипулирования отображаемым изображением на пользовательском интерфейсе с центроидом каждой подсчитанной независимой области, причем центроид представляет собой среднее положение пикселя от всех пикселей, принадлежащих данной независимой области; и

изменяют отображаемое изображение посредством управляющего параметра в зависимости от каждого изменения в форме и/или положении независимой области, ассоциированной с управляющим параметром.

2. Способ по п.1, дополнительно содержащий этап, на котором разобщают управляющий параметр и ассоциированную независимую область, когда независимая область снова становится связной.

3. Способ по п.1, в котором управляющий параметр содержит имитирование приведения в действие кнопки мыши, когда независимая область формируется, расформировывается и переформировывается в пределах порогового интервала времени.

4. Способ по п.1, в котором управляющий параметр содержит имитирование и перемещение указателя мыши.

5. Способ по п.1, в котором управляющий параметр содержит перемещение курсора.

6. Способ по п.1, в котором управляющий параметр содержит перемещение отображаемого изображения по отношению к пользовательскому интерфейсу.

7. Способ по п.6, в котором перемещение содержит одно из вертикального перемещения, горизонтального перемещения и вращательного движения.

8. Способ по п.1, в котором управляющий параметр содержит изменение масштаба или уменьшение размера отображаемого изображения на пользовательском интерфейсе.

9. Способ по п.1, дополнительно содержащий этап, на котором ассоциируют управляющий параметр с взаимосвязью между двумя независимыми областями, причем каждая независимая область сформирована изображением соответствующей руки.

10. Способ по п.9, в котором управляющий параметр содержит растягивание отображаемого изображения в зависимости от изменения расстояния между двумя независимыми областями.

11. Способ по п.9, в котором управляющий параметр, ассоциированный с зависимостью между двумя независимыми областями, управляет одним из:

вращения отображаемого изображения в зависимости от вращения линии между двумя независимыми областями;

Вращения отображаемого изображения в направлении по часовой стрелке или против часовой стрелки, когда обе независимые области перемещаются по дуге в аналогичном направлении;

перемещения всего отображаемого изображения, когда обе независимые области перемещаются одновременно в одном и том же направлении; и

изменения масштаба отображаемого изображения, когда меняется расстояние между независимыми областями.

12. Способ по п.1, в котором область большого пальца и область указательного пальца одной из областей рук определяют интерфейс большого и указательного пальцев (TAFFI), причем область большого пальца и область указательного пальца визуально касаются друг друга, чтобы визуально разъединить часть фона от других частей фона, чтобы образовать независимую область.

13. Система для управления отображаемым изображением, содержащая:

датчик изображений для детектирования изображения, включающего в себя одну или более рук напротив, по существу, неподвижного фона;

модуль сегментации изображений для сегментации изображения на одну или более областей рук и фона;

отслеживающий модуль для подсчета, с интервалами, количества независимых областей фона, причем каждая часть фона, которая визуально независима от других частей фона, определяется как независимая область, при этом каждая из независимых областей визуально отделена от других частей фона, по меньшей мере, частью областей рук;

связующий модуль для ассоциирования управляющего параметра для манипулирования отображаемым изображением на пользовательском интерфейсе с центроидом каждой подсчитанной независимой области, причем центроид представляет собой среднее положение пикселя от всех пикселей, принадлежащих данной независимой области; и

при этом каждое изменение в форме и/или положении независимой области, ассоциированной с управляющим параметром, модифицирует отображаемое изображение посредством управляющего параметра.

14. Система по п.13, в которой, когда независимая область вновь становится связной, связующий модуль разобщает соответствующий управляющий параметр от ассоциированной независимой области.

15. Система по п.13, в которой связующий модуль ассоциирует управляющий параметр, который имитирует приведение в действие кнопки мыши, когда независимая область формируется, расформировывается и переформировывается в пределах порогового интервала времени.

16. Система по п.13, в которой связующий модуль ассоциирует управляющий параметр для имитации перемещения визуального индикатора, выбранного из группы визуальных индикаторов, состоящих из изображения указателя мыши, изображения курсора и по меньшей мере части отображаемого изображения, при этом перемещение содержит перемещение, выбранное из группы перемещений, состоящих из вертикального перемещения, горизонтального перемещения, вращательного движения, перемещения с увеличением масштаба и перемещения с уменьшением масштаба.

17. Система по п.13, в которой связующий модуль ассоциирует управляющий параметр с взаимосвязью между двумя независимыми областями, при этом каждая независимая область сформирована изображением соответствующей руки.

18. Система по п.17, в которой связующий модуль ассоциирует управляющий параметр для растяжения отображаемого изображения в зависимости от изменения расстояния между двумя независимыми областями.

19. Система по п.17, в которой связующий модуль ассоциирует управляющий параметр для вращения отображаемого изображения в зависимости от вращения линии между двумя независимыми областями.

20. Система для изменения отображаемого изображения на пользовательском интерфейсе посредством управляющего параметра, назначенного перемещению руки, содержащая:

средство для детектирования изображения одной или более рук напротив, по существу, неподвижного фона;

средство для сегментации изображения на одну или более областей рук и фона;

средство для подсчета, с фиксированными интервалами, количества независимых областей фона, где каждая часть фона, которая визуально независима от других частей фона и визуально отделена, по меньшей мере, частью области руки от других частей фона, определяется как независимая область;

средство для ассоциирования управляющего параметра для манипулирования отображаемым изображением на пользовательском интерфейсе с центроидом каждой подсчитанной независимой области, причем центроид представляет собой среднее положение пикселя от всех пикселей, принадлежащих данной независимой области, и для изменения отображаемого изображения посредством управляющего параметра в зависимости от каждого изменения в форме и/или положении независимой области, ассоциированной с управляющим параметром.

Виртуальный сетевой контроллер для Service Console используется для управления сервером ESX. Один такой контроллер создается установщиком сервера ESX, именно ему принадлежит тот IP-адрес, который вы указывали при установке. Именно на IP-адрес Service Console вы подключаетесь клиентом vSphere, через него с сервером работает vCenter, на этот IP подключаются утилиты для работы с ESX. Также через интерфейс Service Console идут сигналы пульса (heartbeat) при работе кластера VMware HA. Наконец, некоторые варианты резервного копирования виртуальных машин осуществляются через интерфейсы Service Console.

Вам следует резервировать управляющий интерфейс, сделать это можно двумя путями, см. рис. 2.6.

В левой части рисунка вы видите дублированную конфигурацию единственного интерфейса Service Console. Она задублирована за счет того, что к вКоммута-

Рис. 2.6. Два варианта дублирования управляющего интерфейса ESX

тору подключены два сетевых контроллера. Таким образом, выход из строя одной физической сетевой карточки (а если они подключены к разным физическим коммутаторам - то и одного из них) не приведет к недоступности управления сервером ESX по сети.

В правой части рисунка вы тоже видите дублированную конфигурацию, но дублированную по-другому - созданы два интерфейса Service Console, на разных вКоммутаторах, следовательно, на разных vmnic. Если выйдет из строя один из каналов во внешнюю сеть (сам vmnic или порт в физическом коммутаторе, к которому он подключен, или сам физический коммутатор), то один из интерфейсов SC станет недоступен, но останется другой.

Первый вариант удобнее в использовании, но если мы не можем себе позволить выделить два vmnic на вКоммутатор с Service Console, то он будет невозможен. Выделить может не получиться, если количество сетевых контроллеров в сервере недостаточно под все наши задачи. Тогда имеет смысл пойти по второму пути. Само собой, на вКоммутаторах интерфейсы Service Console могут соседствовать с любыми другими виртуальными интерфейсами в любых количествах - на рис. 2.6 их нет для простоты.

Однако первый вариант резервирования не защитит от двух дополнительных типов проблем:

Ошибки настроек интерфейса SC;

Создать еще один интерфейс очень просто: Configuration ^ Networking ^ Add Networking (для создания нового вКоммутатора - то есть резервирование по правому варианту с рис. 2.6). Нас спросят, группу портов для чего мы хотим создать на этом вКоммутаторе. Несложно догадаться, что сейчас нас интересует Service Console. Выбираем, жмем Next. Выберем, какие vmnic привязать к создаваемому сейчас вКоммутатору. Next. Указываем имя (Network Label) - это название группы портов.

Однако при чем здесь группа портов, мы ведь создаем виртуальный сетевой интерфейс Service Console? Дело в том, что любой виртуальный сетевой контроллер числится подключенным именно к группе портов, поэтому при создании интерфейса SC из GUI мы создаем и интерфейс Service Console, и группу портов для него.

На стандартном виртуальном коммутаторе интерфейс Service Console всегда занимает свою группу портов целиком (или, что то же самое, группа портов для Service Console всегда состоит из одного порта). Этот факт не является ограничением - на одном вКоммутаторе могут сосуществовать любые виртуальные интерфейсы в любых комбинациях, просто под каждый интерфейс Serice Console (и, забегая вперед, VMkernel) создается отдельная группа портов.

Затем для виртуального контроллера указываем настройки IP. В принципе,

Единственный, наверное, нюанс - если хотим создать интерфейс SC не на новом, а на уже существующем вКоммутаторе. Тогда делаем так: Configuration ^ Networking ^ для нужного вКоммутатора нажимаем Properties ^ и на вкладке Ports нажимаем Add. Дальше все так же.

Наконец, в случае распределенных виртуальных коммутаторов пройдите Configuration ^ Networking ^ кнопка Distributed Virtual Switch ^ ссылка Manage Virtual Adapters ^ Add.

Будьте аккуратны в случае изменения настроек интерфейса SC, когда он один, - в случае ошибки (например, опечатки в IP-адресе) доступ к управлению ESX по сети станет невозможен. Решается такая проблема из командной строки для ESX или из BIOS-подобного локального интерфейса ESXi. В любом случае понадобится доступ к локальной консоли сервера - физически или по iLO и аналогам.

Обратите внимание. Виртуальный сетевой контроллер для Service Console называется vswif - при создании их из GUI им даются имена вида vswif#, в командной строке мы управляем этими объектами с помощью esxcfg-vswif.

Первое, чем отличаются виртуальные сетевые контроллеры, – это принадлежность. Принадлежать они могут Service Console (для ESX, у ESXi нет Service Console), VMkernel (самому гипервизору) и виртуальным машинам.

Если виртуальный контроллер принадлежит ВМ, то он может быть разных типов – Flexible, vmxnet2, vmxnet3, E1000. Но про них поговорим в разделе, посвященном свойствам и оборудованию виртуальных машин, а здесь сконцентрируем внимание на виртуальных сетевых контроллерах для Service Console и VMkernel.

Управляющий интерфейс ESX, виртуальный контроллер для Service Console (vswif)

Виртуальный сетевой контроллер для Service Console используется для управления сервером ESX. Один такой контроллер создается установщиком сервера ESX, именно ему принадлежит тот IP-адрес, который вы указывали при установке. Именно на IP-адрес Service Console вы подключаетесь клиентом vSphere, через него с сервером работает vCenter, на этот IP подключаются утилиты для работы с ESX. Также через интерфейс Service Console идут сигналы пульса (heartbeat) при работе кластера VMware HA. Наконец, некоторые варианты резервного копирования виртуальных машин осуществляются через интерфейсы Service Console.

Вам следует резервировать управляющий интерфейс, сделать это можно двумя путями, см. рис. 2.6.

В левой части рисунка вы видите дублированную конфигурацию единственного интерфейса Service Console. Она задублирована за счет того, что к вКоммута-

Рис. 2.6. Два варианта дублирования управляющего интерфейса ESX

тору подключены два сетевых контроллера. Таким образом, выход из строя одной физической сетевой карточки (а если они подключены к разным физическим коммутаторам – то и одного из них) не приведет к недоступности управления сервером ESX по сети.

В правой части рисунка вы тоже видите дублированную конфигурацию, но дублированную по-другому – созданы два интерфейса Service Console, на разных вКоммутаторах, следовательно, на разных vmnic. Если выйдет из строя один из каналов во внешнюю сеть (сам vmnic или порт в физическом коммутаторе, к которому он подключен, или сам физический коммутатор), то один из интерфейсов SC станет недоступен, но останется другой.

Первый вариант удобнее в использовании, но если мы не можем себе позволить выделить два vmnic на вКоммутатор с Service Console, то он будет невозможен. Выделить может не получиться, если количество сетевых контроллеров в сервере недостаточно под все наши задачи. Тогда имеет смысл пойти по второму пути. Само собой, на вКоммутаторах интерфейсы Service Console могут соседствовать с любыми другими виртуальными интерфейсами в любых количествах – на рис. 2.6 их нет для простоты.

Однако первый вариант резервирования не защитит от двух дополнительных типов проблем:

Q ошибки настроек интерфейса SC;

Создать еще один интерфейс очень просто: Configuration ? Networking ?

Аdd Networking (для создания нового вКоммутатора – то есть резервирование

по правому варианту с рис. 2.6). Нас спросят, группу портов для чего мы хотим создать на этом вКоммутаторе. Несложно догадаться, что сейчас нас интересует Service Console. Выбираем, жмем Next . Выберем, какие vmnic привязать к создаваемому сейчас вКоммутатору. Next . Указываем имя (Network Label) – это название группы портов.

«Service_Console_2» вполне подойдет.

Однако при чем здесь группа портов, мы ведь создаем виртуальный сетевой интерфейс Service Console? Дело в том, что любой виртуальный сетевой контрол лер числится подключенным именно к группе портов, поэтому при создании интерфейса SC из GUI мы создаем и интерфейс Service Console, и группу портов для него.

На стандартном виртуальном коммутаторе интерфейс Service Console всегда занимает свою группу портов целиком (или, что то же самое, группа портов для Service Console всегда состоит из одного порта). Этот факт не является ограничением – на одном вКоммутаторе могут сосуществовать любые виртуальные интерфейсы в любых комбинациях, просто под каждый интерфейс Serice Console (и, забегая вперед, VMkernel) создается отдельная группа портов.

Затем для виртуального контроллера указываем настройки IP. В принципе,

Единственный, наверное, нюанс – если хотим создать интерфейс SC не на но-

вом, а на уже существующем вКоммутаторе. Тогда делаем так: Configuration ?

Networking ? для нужного вКоммутатора нажимаем Properties ? и на вкладке

Наконец, в случае распределенных виртуальных коммутаторов пройдите Configuration ? Networking ? кнопка Distributed Virtual Switch ? ссылка Manage Virtual Adapters ? Add .

Будьте аккуратны в случае изменения настроек интерфейса SC, когда он один, – в случае ошибки (например, опечатки в IP-адресе) доступ к управлению ESX по сети станет невозможен. Решается такая проблема из командной строки для ESX или из BIOS-подобного локального интерфейса ESXi. В любом случае понадобится доступ к локальной консоли сервера – физически или по iLO и аналогам.

Обратите внимание. Виртуальный сетевой контроллер для Service Console называется vswif – при создании их из GUI им даются имена вида vswif#, в командной строке мы управляем этими объектами с помощью esxcfg-vswif.

Управляющий интерфейс ESXi

Для ESX управление идет через интерфейс Service Console. Но в составе ESXi нет Service Console. Поэтому для ESXi в качестве интерфейсов управления используются виртуальные сетевые контроллеры VMkernel, те из них, в свойствах которых установлен флажок «Management traffic» (рис. 2.7).

Таким образом, организационные соображения здесь те же самые, что и для интерфейсов Service Console в ESX, но в качестве самих интерфейсов выступают интерфейсы VMkernel с соответствующим флажком в свойствах.

Виртуальный сетевой контроллер для VMkernel (vmk)

И в ESX, и в ESXi мы можем создать виртуальные сетевые адаптеры для VMkernel, для гипервизора. Нужны они для:

Q vMotion – по этим интерфейсам будет передаваться содержимое оператив-

ной памяти переносимой ВМ;

Q подключения дисковых ресурсов по iSCSI в случае использования программного инициатора iSCSI;

Q подключения дисковых ресурсов по NFS;

Q Fault Tolerance – по этим интерфейсам будут передаваться процессорные инструкции на резервную ВМ в Fault Tolerance-паре;

Q (только на ESXi) управления сервером (на ESX для этого используется

сеть Service Console).

Рис. 2.7. Управляющий интерфейс ESXi

См. подробности и требования к сети для соответствующих функций в разделах, им посвященных.

Таким образом, работа гипервизора с сетью немного двойственна, потому что происходит на двух уровнях. С одной стороны, гипервизор имеет доступ и управляет физическими контроллерами; с другой – сам для себя, для своего доступа в сеть создает контроллеры виртуальные. Тем не менее такая схема весьма удобна для понимания: физические контроллеры – это всегда «ресурс», всегда только канал во внешнюю сеть. А как источник трафика, как активные объекты сети всегда выступают контроллеры виртуальные, в том числе для трафика гипервизора.

Виртуальные сетевые контроллеры для гипервизора создаются точно так же, как для Service Console (на ESX): Configuration ? Networking ? и затем:

Q либо Аdd Networking для создания нового вКоммутатора и интерфейса VMkernel на нем;

Q либо для существующего вКоммутатора Properties ? Add на закладке

Ports;

Q в случае распределенных виртуальных коммутаторов пройдите Configuration ? Networking ? кнопка Distributed Virtual Switch ? ссылка Manage Virtual Adapters ? Add .

В любом случае как тип добавляемого интерфейса выбираем VMkernel . Укажем имя группы портов и настройки IP для создаваемого интерфейса.

Обратите внимание на то, что для интерфейса VMkernel у нас есть возможность установить три флажка (рис. 2.8).

Каждый из флажков разрешает передачу соответствующего трафика через данный интерфейс. Технически допускается любая комбинация флажков на од-

Рис. 2.8. Настройки интерфейса VMkernel на ESXi

ном виртуальном интерфейсе. Однако рекомендуется трафик разных типов разносить по разным физическим сетевым контроллерам, из чего следует создание отдельного интерфейса VMkernel под разные типы трафика гипервизора. Устанавливать флажки следует только по необходимости.

К тому же в случае использования ESXi через интерфейс с флажком «Management traffic» по умолчанию не пересылается трафик iSCSI и NFS. Если вы планируете использовать один интерфейс для управления и обращения к IP-СХД, то лучше всего создать несколько интерфейсов, пусть даже из одной подсети и на одном и том же виртуальном коммутаторе.

Обратите внимание. Виртуальные сетевые контроллеры этого типа называются vmk – при создании их из GUI им даются имена вида vmk#, в командной строке мы управляем этими объектами с помощью команды esxcfg-vmknic.