Сегодня у нас будет очень интересный и, надеюсь, полезный разговор, так как мы затронем проблему, с которой сталкивается огромное количество владельцев современных смартфонов.
К сожалению, у этой проблемы есть две неприятные особенности. Во-первых, если она уже проявилась, её практически невозможно решить. Разве что, продав смартфон. А во-вторых, заранее избежать этой проблемы довольно тяжело, так как о её причинах догадываются лишь единицы. Ведь она связана с, казалось бы, самым заурядным сенсором в мире — датчиком приближения.
Думаю, вы уже догадались, о чем идет речь. У каждого бывали ситуации, когда во время разговора по телефону экран смартфона случайно включался и вы запускали щекой различные приложения, отключали микрофон или нажимали кнопки в шторке.
На самом деле, такое может происходить часто, особенно, если вы по незнанию купили современный дорогой смартфон, на котором производитель сэкономил пару долларов, установив плохой датчик приближения или просто разместив его не в том месте.
Более того, даже хорошие датчики могут давать сбой по самым необычным причинам. К примеру, вы знали, что на точность работы этого сенсора влияет даже цвет ваших волос?
Датчик приближения — это одна из самых невероятных технологий в современном смартфоне, которая в будущем совершит настоящую революцию во многих областях. Но обо всем по порядку.
Датчик приближения в смартфоне. Теория эволюции.
Когда мобильные телефоны постепенно эволюционировали в смартфоны, у них появилось новое интересное свойство. Эти устройства научились ощущать приближение различных предметов к экрану.
Раньше это было неважно, так как во время разговора по «классическому» мобильному телефону вы не нажимали щекой механические кнопки. Но когда всю лицевую поверхность устройства занял большой сенсорный экран, реагирующий на малейшее прикосновение кожи, это стало настоящей проблемой.
В 2007 году вышел первый iPhone с набором новых необычных датчиков, в числе которых был и датчик приближения, находившийся в верхней рамке, слева от разговорного динамика:
Принцип его работы был максимально прост. Датчик приближения состоял из лампочки и фотодиода, который измерял количество упавшего на него света.
Когда лампочка на мгновение загоралась, свет от нее освещал окружающие предметы. И если рядом ничего не было, свет просто улетал в окружающее пространство, а фотодиод не регистрировал никакого изменения в освещенности:
Но если прямо перед экраном появлялась какая-то преграда, свет лампочки отражался от этой преграды и тут же возвращался на фотодиод, который фиксировал значительное увеличение яркости:
Разумеется, человек при этом ничего не замечал, так как «лампочка» (светодиод) излучает свет в инфракрасном спектре.
Эта незамысловатая технология позволила с удобством использовать смартфон в качестве обычного телефона. При входящем звонке он отключал экран, если пользователь подносил его близко к уху, тем самым исключая нежелательные случайные нажатия.
Постепенно датчик приближения улучшался. Нужно было решить серьезную задачу — заставить смартфон отключать экран при солнечном свете. Ведь в этом случае на фотодиод непрерывно попадает инфракрасное излучение от солнца, что заставляет смартфон «думать», будто рядом есть преграда.
Решение оказалось не самым сложным.
Естественное освещение попадает на датчик непрерывно, тогда как лампочка излучает свет импульсами. Несколько тысяч раз в секунду она загорается, скажем, на 8 микросекунд, а затем в течение следующих 8 микросекунд не горит:
Таким образом, смартфон следит только за интенсивностью пульсирующего с заранее известной частотой света. Это не только упрощает отслеживание именно излученного сигнала (а не внешнего освещения), но и значительно сокращает энергопотребление. Ведь лампочка не горит непрерывно.
Затем в игру вступил еще один примитивный сенсор — датчик освещенности. Смартфон дополнительно использовал информацию об общем уровне яркости, чтобы помогать датчику приближения избегать ошибок, вызванных ярким солнечным светом.
Так смартфоны научились варьировать различные параметры светодиода, чтобы значительно усиливать сигнал, когда датчик освещенности сообщал о ярком внешнем свете.
К примеру, если увеличить длину импульса (время, в течение которого горит лампочка датчика) с 8 микросекунд до 16 или даже 32 мкс, то сигнал будет возрастать пропорционально:
То же касается силы тока и других параметров.
В общем, какое-то время всё было более-менее хорошо, но не идеально. Ведь датчик приближения работает со светом и отсюда вытекают все его недостатки.
К примеру, под прямым углом практически весь свет от лампочки возвращается на фотодиод и смартфон чётко реагирует на приближение преграды.
Но под углом значительная часть света может отражаться в сторону и на датчик будет падать недостаточно света для того, чтобы сработала блокировка экрана. Хотя сам объект может находиться очень близко к смартфону.
Кроме того, количество отраженного света напрямую зависит от цвета волос пользователя. Черный цвет потому и черный, что от него не отражается свет. И когда брюнетка подносит свой смартфон к уху, на фотодиод возвращается гораздо меньше света, чем если бы на пути оказались светлые волосы или неприкрытое ухо.
Также не стоит забывать и о сальных железах или макияже. Когда мы говорим по телефону, стекло постоянно соприкасается с кожей и на него попадает кожный жир, тональный крем и т.п. Это не только снижает чувствительность фотодиода, но и сильнее рассеивает свет от лампочки.
В общем, проблем хватало, пока кому-то в голову не пришла одна «гениальная идея».
Нет датчика — нет проблем! Или о том, что такое виртуальный датчик приближения
К 2016 году смартфоны использовали целый набор датчиков, чтобы корректно обрабатывать отключение экрана при входящем звонке: датчик приближения, датчик освещенности, акселерометр.
И тут один стартап предложил производителям смартфонов заменить реальный датчик приближения на алгоритм (нейросеть).
Суть работы так называемого виртуального (или программного) датчика приближения заключалась в следующем. Смартфон использовал привычные сенсоры (акселерометр, сенсорный экран, датчик освещенности) и дополнительно еще два устройства: микрофон и динамик.
Новый алгоритм получил красивое название Inner Beauty (в переводе с англ. внутренняя красота) и заменил собой классический датчик приближения (с лампочкой и фотодиодом) на смартфоне Xiaomi Mi Mix, выпущенном в 2016 году:
Чтобы понять, в чем заключалась принципиальная проблема новоиспеченного датчика приближения, нужно вкратце вспомнить, что такое нейросеть.
В основном её используют тогда, когда не знают чёткого алгоритма действий или же этот алгоритм слишком сложный. Виртуальный датчик приближения — как раз тот случай.
Главная задача перед разработчиками состояла в обучении нейросети определять по ультразвуку наличие или отсутствие преград. Для этого динамик посылал звуковую волну, которая отражалась от предметов и возвращалась на микрофон, после чего алгоритм анализировал полученный сигнал.
Нейросетям предоставили тысячи сэмплов отраженного сигнала, когда рядом есть препятствие и когда его нет. Таким образом она научилась различать ультразвук в разных ситуациях.
Но все мы прекрасно знаем, что работают современные нейросети далеко не идеально. В качестве примера можно вспомнить портретный режим в камере, который в сложных ситуациях не способен качественно отделить главный объект от фона и пр.
То же получилось и здесь. В целом, технология работала неплохо. В чем-то она даже оказалась лучше классического (инфракрасного) датчика приближения, так как цвет препятствия уже не играл роли. Но часто нейросеть не справлялась с поставленной задачей и экран смартфона мог включаться во время звонка (или вовсе не отключаться) со всеми вытекающими последствиями.
Однако идея сэкономить пару долларов и место внутри корпуса, избавившись от лишних датчиков на фронтальной панели, показалась многим производителям отличным решением. При этом качество работы нового «виртуального» датчика отошло на второй план. Фактически нейросеть + ультразвук работали гораздо хуже лампочки и фотодиода.
В результате на рынке появилось огромное количество смартфонов без нормального датчика приближения. Вот лишь небольшая часть из этого списка:
- Redmi Note 10
- Redmi Note 10 Pro
- Samsung Galaxy A32
- Samsung Galaxy A52
- Samsung Galaxy A72
- Samsung Galaxy S20 FE
- Xiaomi Mi 10 Pro
- Xiaomi Mi 11 Lite
- OnePlus 7 Pro
- OPPO Find X
- Vivo X60
Некоторые компании пошли еще дальше и даже не стали заморачиваться с ультразвуком, оставив лишь сенсорный экран и акселерометр. Так появились смартфоны Huawei P Smart Z, Y9s, P40 Lite E и другие:
Встречались и такие ситуации, когда на смартфоне использовался нормальный ИК-датчик приближения, но для него не находилось места на фронтальной панели. К примеру, на смартфонах Honor 20, Honor 20 Pro и Huawei Nova 5T он размещался на верхнем торце.
Естественно, такое расположение приводило к серьезным проблемам. На этих смартфонах постоянно загорался экран во время телефонных разговоров.
На некоторых устройствах датчики приближения и освещенности могут находиться в разных местах, что также может приводить к повышенному количеству ложных срабатываний. В этом случае пользователь может прикрыть датчик приближения, оставив при этом датчик освещенности открытым, и смартфон будет получать противоречивые данные.
Сегодня многие Android-флагманы, например, от компании Samsung, используют устройства, совмещающие сразу несколько датчиков и технологий на одной плате. Это позволяет снизить цену и сэкономить место внутри.
К примеру, в линейке Ultra используются сенсоры от Austria Micro Systems, совмещающие классический датчик приближения (с инфракрасной лампочкой), датчик освещенности и RGB-датчик цвета. То есть, эти устройства легко могут определять не только освещенность, но и цвет, чтобы подстраивать баланс белого экрана.
Такие датчики можно удобно прятать под AMOLED-дисплеем, что мы и видим на современных аппаратах.
Но по-настоящему революционное решение впервые появилось в том же 2016 году, только в смартфонах от Apple.
Однофотонные лавинные диоды. Технология, которая может навсегда изменить фотографию
Начиная с iPhone 7 в телефонах от Apple вместо классического инфракрасного датчика приближения (и его дешевой альтернативы в лице виртуального датчика) используется совершенно другое устройство от STMicroelectronics.
Это так называемый однофотонный лавинный диод (SPAD). Суть технологии заключается в том, что специальный лазер VCSEL (вертикально-излучающий лазер) «выстреливает» фотоны с определенной длиной волны (например, 940 нанометров) и засекает время.
Дальше фотоны сталкиваются с препятствием и часть из них возвращается на SPAD-сенсор. Как только на этот сенсор попадает хотя бы один единственный фотон, датчик моментально фиксирует его и отмечает время прибытия.
Таким образом, зная скорость света (300 тыс. км. в секунду) и точное время полета фотона, мы можем легко определить расстояние до препятствия.
Например, если препятствие находится на расстоянии в 1 см от экрана, тогда фотону потребуется 33 пикосекунды (1 пикосекунда — это триллионная доля секунды), чтобы долететь до него и еще 33 пс, чтобы вернуться обратно на сенсор.
Эта технология поражает воображение тем, что сенсор может зафиксировать всего одну единственную неделимую частицу света (фотон), а современный электронный «секундомер» легко оперирует пикосекундами.
Подавляющее большинство пользователей даже не догадываются, что в их смартфонах используются такие технологии. Естественно, они стоят дороже «копеечных» инфракрасных сенсоров и, тем более, различных алгоритмов виртуальных датчиков.
Преимущество SPAD-сенсора заключается в том, что датчик работает с минимальным количеством света и определяет расстояние по времени полета, а не яркости света. В теории, даже если на сенсор возвратится всего один фотон от препятствия, этого будет достаточно, чтобы определить расстояние.
Поэтому цвет поверхности и даже угол её наклона не играют такой большой роли, как в случае с классическими ИК-сенсорами.
Назревающая революция
Естественно, применение однофотонных лавинных диодов не ограничивается датчиком приближения. В будущем SPAD-сенсоры смогут заменить в камерах привычные нам матрицы.
Современные пиксели собирают в течение какого-то времени весь падающих на них свет. Затем сенсор считывает общее количество света, преобразовывает аналоговый сигнал в цифровой, параллельно собирая шум и в конце мы получаем значение каждого пикселя — его яркость в цифровом виде.
Пиксели SPAD-сенсора работают с каждой конкретной частицей света (фотоном). Как только фотон падает на такой пиксель, мы тут же получаем его цифровое значение с минимальным количеством шума.
Кроме того, слово «лавинный» в названии диода означает то, что единственный фотон может вызвать эффект лавины. Когда частица света попадает на матрицу, происходит «цепная реакция» и высвобождается большое количество электронов:
Таким образом, SPAD-сенсор может усиливать сигнал в миллионы раз без ущерба качеству. Всё это позволяет сокращать время выдержки до нескольких наносекунд или снимать со скоростью в десятки тысяч кадров в секунду.
Добавьте сюда еще тот факт, что каждый пиксель может содержать информацию о том, насколько далеко от камеры находится точка в пространстве, откуда прилетел фотон. То есть, мы получаем максимально подробную и точную информацию о глубине сцены.
Однофотонные лавинные диоды уже сегодня применяются во многих областях, включая датчики приближения на iPhone и ToF-сенсоры на других смартфонах. Но самое интересное нас ждет впереди.
Выводы. Или как не испортить хороший смартфон плохим датчиком?
Как видите, за таким неприметным и скучным сенсором как датчик приближения, стоит целая череда научных открытий и изобретений.
К сожалению, производители заинтересованы не только (а порою кажется, что не столько) в том, чтобы улучшать какие-то технологии, но и в том, чтобы значительно сократить расходы и снизить себестоимость товара для увеличения прибыли.
Это желание привело к тому, что сегодня во многих смартфонах установлены в буквальном смысле копеечные датчики или заменяющие их программные алгоритмы.
Если вы приобрели смартфон с виртуальным датчиком, скорее всего, время от времени вы будете сталкиваться с характерными проблемами. И никакие приложения или калибровки вам не помогут. Нейросеть прошла обучение задолго до того, как вы впервые включили свой смартфон, а именно это больше всего влияет на качество работы алгоритма.
Конечно, иногда бывают банальные проблемы, решить которые очень просто. Например, это может быть чехол, который немного прикрывает сенсор или защитное стекло, которое сильно рассеивает ИК-излучение от светодиода. Сменив чехол или убрав стекло/пленку, вы улучшите работу датчика.
То же касается и виртуальных сенсоров. К примеру, Redmi Note 10 Pro использует ультразвуковые волны, которые одновременно выходят из фронтального динамика и верхнего торца. Если чехол прикрывает одно из этих отверстий, качество работы датчика заметно снизится.
Также могут встречаться ситуации, когда на смартфоне установлен нормальный датчик, в правильном месте, но всё работает крайне плохо. А причина банальна — плохое качество сборки, в результате чего датчик не плотно прилегает к стеклу или нарушена перегородка между лампочкой и фотодиодом. К слову, эта проблема часто встречается после замены экрана или даже после падения смартфона.
Поэтому главным решением проблемы с датчиком приближения является знание. Вы должны понимать суть проблемы и обращать внимание на то, какой именно сенсор используется в интересующей вас модели. А для этого необходимо читать хорошие обзоры, в которых внимание уделяется как раз таким моментам, а не очередным бесполезным тестам AnTuTu.
Разумеется, находятся эти обзоры здесь.
Алексей, главред Deep-Review
P.S. Не забудьте подписаться в Telegram на наш научно-популярный сайт о мобильных технологиях, чтобы не пропустить самое интересное!
