Впервые я познакомился с гарнитурой смешанной реальности Microsoft HoloLens 2 на презентации на Международном Мобильном Конгрессе еще в 2019 году. Продажи HoloLens 2 стартовали еще 2020 году, но, как и многие другие интересные девайсы, из-за ограничений связанных с пандемией, до нас новинка добралась только в этом году.
К сожалению с момента выхода гарнитуры HoloLens 2 ситуация с их функционалом практически не изменилась, Microsoft по прежнему продает HoloLens 2 только бизнес-клиентам, которые планируют использовать очки для разработки программного обеспечения и работы на своих предприятиях.
По сравнению с первой моделью HoloLens, которую впервые продемонстрировали четыре года назад, вторая версия стала гораздо лучше во всех отношениях. Очки удобнее сидят, дают больший угол обзора, лучше справляются с определением физических объектов в комнате. Они также оснащены сенсором Azure Kinect, процессором ARM, трекерами движения глаз и совершенно иной системой дисплеев.
В HoloLens встроено несколько динамиков, визор можно откинуть, и очки также теперь гораздо лучше распознают руки. Для видео-конференций в них встроена фронтальная камера, а для зарядки используется кабель USB-C. Если коротко — новые HoloLens 2 оснащены по последнему слову техники. Что по прошествии четырех лет, в общем-то, неудивительно.
Главная претензия к первой версии HoloLens была совершенно элементарная: голограммы было видно только в небольшой зоне прямо по центру. При повороте головы они исчезали из поля зрения, и даже при взгляде прямо на них края отображались плохо. По ощущениям — как смотреть на цифровой мир через очень маленькое окошко.
У HoloLens 2 угол обзора стал сразу в два раза больше. Он не покрывает все видимое пространство, и картинка по краям все еще обрезается, но теперь окошка более чем достаточно, чтобы не отвлекать от работы. По словам Microsoft, перед каждым глазом установлен аналог дисплея 2K, но это скорее стоит рассматривать как метафору, а не конкретную техническую характеристику. Характеристика такая — «голографическая плотность 47 пикселей на градус», что означает, что плотность пикселей достаточно высокая, чтобы читать шрифт 8-го размера.
Обычно, когда устройство получает такие значительные обновления характеристик, это делается за счет быстрых процессоров, мощных аккумулятором, объемной оперативной памяти и так далее. Но в случае HoloLens стратегия должна была быть иной — очки нужно было сделать не тяжелее, а легче. Так, Microsoft пришлось полностью изменить технологию дисплея.
Лазеры и зеркала
Дисплеи на основе лазеров стали довольно популярной технологией, они используются не только в HoloLens. Несмотря на то, что Microsoft использует те же компоненты системы, технология HoloLens стала развиваться по иному пути и позволила достичь большего.
Лазеры в HoloLens 2 светят на систему зеркал, которые колеблются с частотой 54000 циклов в секунду — за счет этого отраженный вет и создает картинку. Два этих элемента лежат в основе микроэлектромеханической системы (MEMS) дисплея. Создать такой механизм непросто, но основная загвоздка заключается в том, чтобы передать системе изображение, которое будет подаваться на глаза.
Другая компания, North, добилась этого за счет голографической пленки, которая отражает изображение прямо на сетчатку. У такого способа много недостатков: как минимум, очень маленький дисплей и низкое качество. Основной минус — настроить дисплей в соответствии с положением глаза. Очки North должны быть индивидуально подогнаны под пользователя, если изображение не откалибровано — оно исчезнет полностью.
Само собой, в Microsoft возникновения таких проблем не хотели, так что компания выбрала тот же способ, который использовался в HoloLens: волноводы. Они представляют из себя стеклянные, аккуратно выточенные элементы, которые отражают голограмму перед глазами пользователя. Волноводы в HoloLens 2 легче, поскольку вместо трех многослойных стеклянных компонентов использовали всего два.
Такая система из лазеров, зеркал и волноводов и позволяет добиться яркого изображения с большим углом обзора, которое при этом не нужно откалибровывать индивидуально. Зулфи Алам, глава отдела оптической инженерии в Microsoft, совершенно уверен, что тут компания сделала огромный шаг вперед: «Следующие два или три года не будет такого конкурента, который хотя бы частично сможет приблизиться к такому уровню точности волноводов».
Широкий угол обзора? Все просто: просто увеличьте угол зеркал, отражающих свет лазера. Широкий угол даст более широкое поле обзора.
Более яркая картинка? Снова все легко: лазеры дают предостаточно света. Конечно, в основном он теряется из-за волноводов, но дисплеи в HoloLens 2, настроенные на 500 нит, выглядят вполне ярко. По словам Microsoft в финальной версии они могут быть даже ярче в зависимости от уровня питания.
Голограммы без калибровки под пользователя? И опять элементарно: волноводу не требуется особая настройка. Можно просто надеть очки и все будет работать так, как задумано. Более того, HoloLens 2 можно достаточно далеко отодвинуть от глаз, так что тем, кто носит обычные очки, беспокоиться не придется.
Вроде как да, все звучит очень просто. Но на деле — невероятно сложно. Microsoft пришлось создать совершенно новую систему для волноводов, понять, как направлять свет в нужное место в точности до фотона. «Мы симулируем каждый фотон лазера», — рассказывает Алам. Свет лазеров не просто отражается, он разделяется на несколько цветов, проходит через «зрачки» системы дисплея, а затем «собирается» вновь в нужной точке волновода. «Путь каждого фотона просчитан», — объясняет он. Для этого требуется очень много вычислительной мощности, так что Microsoft также пришлось разработать специальный чип, который бы справился с вычислениями.
И хотя калибровка с волноводами становится гораздо проще, это вовсе не значит, что она идеальна. Поэтому на переносице находятся две маленькие камеры, направленные на глаза — они позволяют HoloLens 2 автоматически замерять расстояние между зрачками и соответственным образом подгонять картинку. Помимо этого они калибруют изображение и по вертикали, например, если глаза пользователи находятся на разном уровне (а они, скорее всего, не находятся).
Бонусом — эти камеры сканируют сетчатку для безопасного входа в устройство. В конце концов, HoloLens 2 работают на Windows, а значит, поддерживают Windows Hello.
Дальше у нас проблема с батарейкой: все эти лазеры, колеблющиеся зеркала, кастомный процессор требуют немало энергии. По словам Алама, однако, на такую систему все равно уходит меньше энергии, чем на аналоги. Зеркала колеблются в резонансе, так что на их движение не требуется много энергии, по сути они похожи на очень-очень быстрые метрономы. Лазеры менее энерго-затратны, чем светодиоды, а кастомный чип можно оптимизировать под конкретную задачу.
Все эти технологии, конечно, впечатляют, но качество картинки все равно не безупречное. Вокруг некоторых голограмм есть свечение, иногда они подрагивают. И все же, по сравнению с первой моделью, HoloLens 2 шагнул от «можно 20 минут побаловаться, потом надоедает» до «этим действительно могут пользоваться серьезные профессионалы».
Но долго ли? Чтобы пользоваться таким устройством по несколько часов, нужно, чтобы оно элементарно удобно сидело.
Вопрос комфорта
Как надеваются очки: как кепка, потом сзади подкручивается специальное колесико, чтобы затянуть держатель, а потом начинают показывать голограммы. Вот, в общем-то, и все.
Гораздо удобнее, чем первая модель HoloLens и любые другие очки смешанной реальности. Благодаря продуманной системе отображения можно начисто забыть о нудных настройках и калибровках, да и сам корпус устройства очень прост — ободок, охватывающий лоб и затылок.
У Microsoft есть специальная лаборатория для изучения «человеческих факторов». Карл Ледбеттер, старший директор дизайна устройств, показал в ней все прототипы, предшествовавшие финальному варианту. Компания экспериментировала с разными материалами и в итоге остановилась на углеродном волокне, чтобы сделать устройство как можно более легким.
«Нужно, чтобы очки подходили детям, взрослым, мужчинам, женщинам, людям любых национальностей по всему миру. Головы у всех разные», — рассказывает Ледбеттер.
В результате у второй версии HoloLens 2 более удачная посадка. Визор можно откинуть вверх, чтобы не снимать очки целиком, мягкая часть с пеной с эффектом запоминания в лобовой части снимается и моется, а все потоки тепла отведены от головы пользователя в сторону.
Но самое главное — центр тяжести, раньше размещенный ы районе глаз, сдвинулся за уши. HoloLens 2 не то чтобы сильно легче прошлой модели, однако вес почти не заметен, и очки ощущаются гораздо естественнее.
Ледбеттер простоп сдвинул самую тяжелую часть — процессор. Процессор, кстати, — Qualcomm Snapdragon 850, и это очень важный момент. Никому не нравится, когда садится батарейка, а процессор на архитектуре ARM не требует слишком объемного аккумулятора. Оригинальная модель работала на чипе Intel, но с тех пор Windows заметно поменяли в угоду использованию с ARM-процессорами.
Только для профессионалов
HoloLens 2 будет продаваться только компаниям. Устройство, по словам ответственного за весь проект Алекса Кипмана, создано для людей «на передовой» — сотрудников автосервисов и фабрик, хирургов, тех, кто вынужден выполнять работу в полевых условиях. HoloLens 2 — для тех, кто работает руками и кому сложно интегрировать в этот процесс смартфон или компьютер. Главная идея Кипмана — помочь предприятиям заменить побитый компьютер в углу рабочего места, которым никто уже не может пользоваться, на современное и полезное устройство.
«Если подумать, то из 7 миллиардов людей на всей планете тех, … кто работает умом — меньше всего». Для Кипмана люди, которым пригодятся HoloLens 2 — это, например, работники заводов, которые собирают двигатели. Может быть, кто-то в аэрокосмической индустрии. Может быть, врачи, ассистирующие в операционной.
Как говорит он сам, это устройство «для людей, которых, в определенном смысле, игнорировали, у кого не было доступа к технологиям, потому что компьютеры, планшеты, телефоны — все они не совсем подходят для их работы».
В целом, концепция вполне соотносится с курсом Microsoft на работу с предприятиями и корпорациями вместо усредненного индивидуального потребителя. В том году глава Microsoft, Сатья Наделла, сказал следующее: «… это не совсем тот Microsoft, к которому все привыкли. Да, теперь идеи не такие броские, зато гораздо более потенциально успешные».
Более того, как считает Кипман, HoloLens 2 не совсем подходит для масс-маркета. «Это лучшее, высочайшее достижение в области смешанной реальности на сегодняшний день, и я вам точно говорю — это не потребительский продукт. Почему? Он не такой иммерсивный. В два раза более иммерсивный, чем прошлая модель, и все же недостаточно, чтобы обычный потребитель захотел им пользоваться. Все еще недостаточно удобный… Я бы сказал, что пока эти очки не станут иммерсивнее самого иммерсивного продукта, удобнее самого удобного, не будут стоить меньше 1000 долларов — глупо считать, что устройство готово».
Улучшенный интерфейс
Первая модель HoloLens вынуждала пользователей заучивать странные жесты для управления — все потому, что только такие движения датчик очков мог распознать.
HoloLens 2 распознают и понимают гораздо больше благодаря целому набору новых сенсоров под названием Azure Kinect. Kinect — это бренд камер от Microsoft для сканирования окружающего пространства, Azure — облачный сервис, с которым так или иначе связаны все последние проекты компании. Вторая часть названия, кстати, свидетельствует и о том, что новый продукт — для бизнеса, а не новенькое дополнение к Xbox.
«HoloLens 1 работал с большой сеткой. По сути — как накинуть на реальный мир большое одеяло. С HoloLens 2 вместо пространственного отображения мы стали использовать семантическое понимание пространства. Понимание того, что такое диван, что из себя представляет человек, сидящий на диване, в чем разница между окном и стеной», — рассказывает Кипман.
Пока Microsoft не демонстрировал работу Kinect по идентификации объектов в пространстве, но в теории система должна работать хорошо — Azure Kinect видит комнату в более высоком разрешении и использует облачные технологии для определения вещей.
Теперь HoloLens легко отличает до 25 точек движения на руках, а значит управлять голограммами стало гораздо легче — достаточно подойти к одной из них, и у нее появятся специальные ручки. Голограмму теперь можно просто перетаскивать, можно потянуть за один край и повернуть ее или даже изменить размер, можно толкнуть ее рукой. Так что загадочные пассы пальцами в воздухе остались в прошлом. Это огромный скачок по сравнению с первой моделью.
Трекинг движения глаз также имеет важное значение при работе с голограммами — HoloLens 2 может определять, куда вы смотрите, и использовать эту информацию для интерфейса. Например, при прочтении текста работает авто-скролл — чем ближе падает ваш взгляд относительно нижней границы текста, тем быстрее он проматывается. Стоит посмотреть выше — скролл останавливается.
Работают HoloLens 2 на Windows OneCore — это не классическая оболочка для операционной системы, но приложения UWP в ней работать будут, как и необходимые драйверы для подключения клавиатуры или мышки через Bluetooth.
Цель обновленного интерфейса — быть как можно более естественным в обращении. Предполагается, что жесты, которыми вы управляете системой, будут вам понятны и знакомы с детства и их не придется специально заучивать.
Microsoft также готовит специальные инструменты программного обеспечения для разработчиков. Один из самых важных — Dynamic 365 Guides. Это программа для смешанной реальности, в которой можно создавать инструкции по починке реальных объектов, например, квадроциклов. Другие инструменты будут зависеть от облачных сервисов Windows — так, Azure Remote Rendering позволяет HoloLens перекидывать часть вычислительной нагрузки в облако — это необходимо, так как сами очки могут хранить и обрабатывать довольно ограниченное количество деталей единовременно, а облачный сервис поможет обрабатывать и воссоздавать потенциально бесконечное количество элементов. Так, пользователь сможет моделировать все в подробностях и взаимодействовать с мельчайшими деталями голограммы.
И, наконец, Azure Spatial Anchors. Этот софт позволяет прикреплять голограммы к определенным точкам в реальном мире. Принцип похож на то, что уже делают в Apple и Google — компании создали возможности для взаимодействия с одной и той же голограммой с отдельных устройств. Амбиции Microsoft однако куда больше — компания планирует создать инфраструктуру голограмм «мирового масштаба», и уже сейчас делает инструменты, которые позволят разработчиком пользоваться ей на любых платформах, включая iOS и Android,
Для такого проекта требуются не только GPS-локация и распознавание объектов. Кипман, например, много говорит о различении однообразных конференц-залов в одном здании но на разных этажах. Отслеживать объекты в пространстве с помощью оптики тоже, как известно, непросто — обойдите здание кругом, и вы не придете в то же место, с которого начали двигаться, и компьютер не сможет объединить эти две точки в одну. Пока непонятно, насколько Microsoft продвинулся в решении таких задач, но над ними явно ведется очень активная работа.
Алекс Кипман считает, что мы сейчас «на пороге третьей эры компьютерных вычислений». Сначала были компьютеры с открытыми архитектурами, потом появились телефоны с их замурованными магазинами приложений, и теперь Кипман надеется, что благодаря смешанной реальности маятник снова качнется в сторону открытых технологий — во всяком случае, Microsoft собирается оставить HoloLens открытым проектом. Очки работают с облачными сервисами Microsoft, но могут функционировать и с помощью других экосистем. Проще говоря, в Microsoft совершенно уверены, что смешанная реальность — это очень важный шаг в будущее.
Несмотря на заявления Кипмана, вокруг HoloLens 2 много шумихи и среди самых обычных пользователей. Просто пока это устройство не для них, а для разных компаний — в принципе, справедливо и неудивительно. HoloLens 2 — настоящее чудо техники, и тот факт, что эти очки сделаны не для стандартного потребителя, вовсе не значит, что стоит недооценивать их технологическую исключительность. Это устройство может полностью изменить наше понимание концепции компьютера.