DxOMark против Samsung Galaxy S21 Ultra: ломай меня полностью!

На днях весь интернет облетело шокирующее известие — нашумевший камерофон Samsung Galaxy S21 Ultra оказался пустышкой!

По части камер он хуже позапрошлогоднего iPhone или Xiaomi Mi 10 Pro с матрицей от Samsung. Даже собственный флагман годичной давности (Galaxy S20 Ultra) снимает лучше новинки!

Меня, как человека, поставившего высокую оценку фото-возможностям Galaxy S21 Ultra, такая новость, мягко говоря, сильно удивила. Но еще больше удивило то, что я увидел после детального разбора ситуации.

Возможно, после прочтения этой статьи, вы по-другому посмотрите на «профессиональное» мнение авторитетной лаборатории DxOMark, которая тестирует устройства с «научным подходом» (цитата из Википедии).

Итак, суть новости заключалась в том, что популярный и авторитетный сайт DxOMark разместил Samsung Galaxy S21 Ultra на 17 месте в рейтинге лучших камерофонов. И не просто разместил, но и научно обосновал свою оценку, показав снимки просто ужасающего качества.

К примеру, за свои телеобъективы (3-кратный и 10-кратный) камера Samsung Galaxy S21 Ultra получила всего 91 балл, в то время, как 5-кратный телеобъектив Xiaomi Mi 10 Pro получил 121 балл! Даже Honor V30 Pro со своим «жалким» 3-кратным оптическим зумом набрал в зум-тесте на 9 баллов больше!

Как это возможно? Ответом на этот вопрос мы и займемся.

Время съемки изменить нельзя

Прежде, чем непосредственно приступить к тесту, позвольте обратить ваше внимание на одну интересную деталь.

DxOMark опубликовала обзор камеры Galaxy S21 Ultra 1 марта. Казалось бы, отличное время для профессионального обзора. Ведь все знают, что сразу после выпуска нового смартфона любой производитель начинает активно обновлять прошивку, исправляя проблемы, всплывшие после начала массового использования продукта.

Зачастую, где-то через 2-3 недели ситуация с прошивкой более-менее стабилизируется и аппарат работает так, как это задумывалось изначально.

Но проблема с обзорами иногда заключается в том, что все хотят быть первыми и часто на обзоры попадает «сырой» аппарат. Каким бы объективным ни был обозреватель, в этом случае его обзор не будет отражать действительность. Так как смартфон на полках магазинов будет сильно отличаться в лучшую сторону от тестового сэмпла.

Понимая это и осознавая репутационные потери, некоторые производители дают ресурсам, вроде DxOMark, аппарат с новой прошивкой, которая еще не доступна обычным пользователям. В этой прошивке упор делается на улучшение камеры, затем отшлифовываются другие моменты, после чего обновление уже идет в релиз.

Именно так происходило со смартфонами Huawei P40 Pro, Huawei Mate 30 Pro, Honor V30 Pro, Samsung Galaxy S10 и рядом других моделей. То есть, DxOMark выпускала обзоры камер с прошивками, которые еще не были доступны для всего рынка.

Иногда бывали и другие ситуации, когда в DxOMark терпеливо ждали несколько месяцев после старта продаж, чтобы компания доработала камеру, а затем приступали к тестированию. В частности, так произошло с iPhone 11 Pro Max.

Но в этот раз DxOMark выпустили обзор в марте, чуть ли не через два месяца после презентации смартфона. За это время камера S21 Ultra заметно похорошела, так как было выпущено много обновлений. И все читатели понимают, что речь в обзоре пойдет об актуальном ПО.

Каким же было мое удивление, когда при анализе исходников снимков я обнаружил прошивку G998BXXU1AUAC от 26 января.

А где же обновление G99x0ZHU1AUAE от 4 февраля, улучшающее работу камеры? Или почему не установлено обновление G99xBXXU1AUB6 от 12 февраля, в котором также основной упор делался на камеру?

Всё дело в том, что снимки для обзора были сделаны еще 2 февраля с актуальной на тот момент прошивкой. И, выпуская обзор месяц спустя (1 марта), DxOMark не посчитали нужным хотя бы намекнуть на очень старую прошивку и на факт проведения тестирования еще в первые дни релиза смартфона.

Конечно, проблемы прошивок — это проблемы Samsung, а не DxOMark. Тем не менее, публикация обзора в марте без упоминания столь важной информации — это явная манипуляция. Любой человек «не в теме», увидев вышедший в марте тест камеры S21 Ultra, будет уверен в его актуальности.

Но оставим эти детали и перейдем к тестированию, чтобы оценить «научный подход».

Объективный взгляд DxOMark на телеобъективы Galaxy S21 Ultra

Позвольте немного объяснить теорию, чтобы лучше понять ту хитрость, на которую осознанно или несознательно пошли DxOMark, ударив по репутации S21 Ultra.

Как мы знаем, смартфон укомплектован двумя телеобъективами:

• 240-миллиметровым (10-кратное оптическое приближение)
• 72-миллиметровым (3-кратное оптическое приближение)

Здравый смысл подсказывает, что тестировать нужно именно эти фокусные расстояния.

Конечно, можно и нужно также проверять фокусные расстояния, немного превышающие заявленные. Ведь все современные смартфоны используют так называемое супер-разрешение, позволяющее без малейших потерь качества превращать 3-кратный оптический зум в 5-кратный, а 10-кратный — в 15-кратный.

Но у любого смартфона с несколькими камерами есть одно уязвимое место. Возьмем для примера Galaxy S21 Ultra. У него есть основная камера 1x (24 мм), телеобъектив 3x (72 мм) и телеобъектив 10x (240 мм).

Очевидно, чтобы проверить работу этих камер, нужно выбрать соответствующее фокусное расстояние. Если же мы захотим протестировать 15-кратное увеличение, смартфон переключится на 10-кратную оптику и супер-разрешением добавит недостающие детали.

Но если нам нужно уничтожить аппарат в рейтинге, тогда проверять следует не родное 10-кратное приближение (10x), а взять чуточку ниже, скажем, 8x или 9x. В таком случае, смартфон еще не сможет переключиться на 10-кратную оптику и будет пытаться растянуть картинку с 3-кратного объектива.

Некоторые аппараты в этом случае попытаются улучшить ситуацию, наложив на растянутую картинку с 3-кратного объектива кусочек фотографии из 10-кратного телеобъектива. Но в любом случае, результат получится плохим. Мы не увидим реальную работу камер.

В общем, если требуется провалить тест, нужно всё время подстраивать фокусное расстояние так, чтобы оно совсем чуть-чуть не доходило до оптического.

Что делают в DxOMark?

Ответ на этот вопрос зависит от того, какой камерофон эта лаборатория тестирует. Вот несколько примеров:

• Honor V30 Pro с телеобъективом 3x. DxOMark показали нам пример 4-кратного увеличения, что для объектива с 3-кратной оптикой является идеальным условием. Хороший телеобъектив!
• Huawei Mate 30 Pro с телеобъективом 3x. Здесь мы видим один пример с идеально подобранным фокусным расстоянием (3x) и один пример с 5x (удобное разрешение для гибридного зума).
• Huawei P40 Pro с телеобъективом 5x. DxOMark протестировали два фокусных расстояниях: 2x (гибридный зум основной 50-Мп камеры) и идеально подобранное 5x.
• Xiaomi Mi 10 Ultra с двумя телеобъективами (2-кратная и 5-кратная оптика). Этот смартфон получил звание «Король зума». Как вы думаете, на каких фокусных расстояниях тестировали «короля»? Верно, на 2x и на 5x. То есть, использовалось снова фокусное расстояние каждого телеобъектива.

Теперь возвращаемся к Samsung Galaxy S21 Ultra с его телеобъективами 3x и 10x.

DxOMark первым делом протестировали 2.5x зум в помещении. То есть, не 3x, чтобы включился первый телеобъектив.

Как результат — очень плохое качество фото (увеличенный фрагмент снимка):

Но даже это не объясняет, почему качество настолько хуже того, что выдал в той же ситуации прошлогодний Galaxy S20 Ultra:

Ведь 108-Мп камера очень легко справляется с зумом 2.5x и может обыграть даже 3-кратную оптику.

Чтобы разобраться с этим, придется проанализировать метаданные каждого снимка, сделанного на Galaxy S21 Ultra, Galaxy S20 Ultra и Huawei Mate 40 Pro (именно с этими аппаратами сравнивался новый флагман Samsung).

И тут нас ожидает первый сюрприз. Оказалось, в DxOMark предусмотрительно удалили все метаданные со многих снимков, сделанных на телеобъектив S21 Ultra. Уничтожена буквально вся информация, а в некоторых файлах даже остались «следы» от работы с фоторедактором ACDSee 17.

Нам просто говорят, что вот этот снимок был сделан на самый современный камерофон:

Не верите? Думаете, что это растянутый снимок с ультраширокоугольной камеры? Или думаете, что на этом снимке скорость затвора была увеличена в несколько раз, чтобы специально испортить результат? Это ваши проблемы. Ведь, как говорил один известный человек:

Если я что-то утверждаю, я не обязан предоставлять доказательства

Практически на всех спорных фото, в правдоподобность которых тяжело поверить, все метаданные удалены. Я не утверждаю, что снимки поддельные, просто констатирую сам факт удаления важных метаданных, что для уровня DxOMark — непростительное поведение.

Что касается снимка выше, скорее всего, камера S21 Ultra не использовала 108 мегапикселей, а просто растянула «объединенные» 12-Мп в 2.5 раза, что, естественно, привело к такому результату.

Для тех, кто не читал наш обзор S21 Ultra, приведу пример того, на что действительно способен его телеобъектив даже в относительно плохих условиях (съемка в помещении без искусственного освещения):

И максимально приближаем участок, показанный красной стрелкой:

Ни один смартфон в мире (за исключением, возможно, Huawei Mate 40 Pro+) не способен на такой результат. Но что за мазню показывает нам DxOMark? Как эти бессмысленные тесты отражают действительность?

Samsung сделала камеру, которая открывает новые возможности. Позволяет приближать объект в 15-20 раз без потери качества, делая при этом восхитительное натуральное боке:

Но в DxOMark берут 10-кратный зум, приближают картинку в 9.6 раз (чтобы смартфон не переключился на главный телеобъектив) и показывают такое боке (в метаданных этого снимка обнаружен фоторедактор ACDSee 17):

Во всем тесте DxOMark нет ни единого снимка с примером 3-кратной или 10-кратной оптики. То есть, нам не показали ни на одном кадре реальную работу объективов, установленных на S21 Ultra.

В каждом тесте выбирались фокусные расстояния, максимально неподходящие под объективы устройства. Более того, в реальной жизни их и выбрать-то не так легко, ведь в интерфейсе камеры пользователю доступны стандартные фокусные расстояния (1x, 3x, 10x). Просто выбирай любое и снимай:

В то же время в тесте Xiaomi Mi 10 Ultra (133 балла за телеобъектив) нам показали только 2 примера: в первом случае — 2-кратный зум (на смартфоне установлен 2x объектив) и во втором случае — 5x зум для объектива с оптическим 5-кратным приближением. То есть, выбирались исключительно родные фокусные расстояния.

Вместо того, чтобы продемонстрировать и оценить работу самой интересной камеры, DxOMark, «правильно» подбирая несуществующие фокусные расстояния, нивелировала в своем тесте одно из главных преимуществ S21 Ultra — 10-кратный телеобъектив.

После всего увиденного, любому зрячему человеку даже 91 балл покажется слишком высокой оценкой за всю ту мазню, что якобы делает этот аппарат.

Не только телеобъектив…

Некоторые заявления DxOMark относительно камеры S21 Ultra были даже забавными, если не сказать, абсурдными. Например, у смартфона есть особенность в виде небольшой задержки между нажатием кнопки спуска затвора и самой съемкой.

DxOMark объясняют читателям, что это может привести к нехорошим результатам. Например, человек может успеть моргнуть, пока камера фокусируется. Не верите? Вот вам задокументированное подтверждение:

Может показаться, что это шутка и, наверное, с научным подходом можно было бы придумать более объективный тест запаздывания затвора. Но DxOMark на полном серьезе выкладывает снимок моргнувшего человека в качестве подтверждения лага затвора.

Комичности добавляет тот факт, что эта «проблема» всплывает на снимках DxOMark то тут, то там, как бы невзначай:

Создается впечатление, что этот смартфон настолько плох, что моргающие люди будут неотъемлемым атрибутом любого снимка.

На Galaxy S21 Ultra фотография создается не в то же мгновение, как только вы нажимаете кнопку. Но наблюдается ли такая проблема на других аппаратах со 108-Мп матрицей? Безусловно. Упоминалось ли об этом в тесте 108-Мп Xiaomi Mi CC9 Pro? Разумеется, нет.

По автофокусу Galaxy S21 Ultra набрал меньше баллов, чем S20 Ultra — камерофон, прославившийся на весь мир своим проблемным автофокусом.

Это была серьезная проблема для Samsung и компания ее полностью решила. Вначале был добавлен вспомогательный лазерный автофокус на Note20 Ultra, а затем и обновлены микролинзы на фокусировочных пикселях в модели S21 Ultra. И разница с S20 Ultra стала очевидной. Но в тестах DxOMark прошлогодний флагман всё еще впереди.

В тестах с недостаточной освещенностью вообще не очень понятно, что хотели протестировать DxOMark. Даже не профессиональному обозревателю известно, что в современных камерах ключевую роль играет вычислительная фотография. Да, на Galaxy S21 Ultra при желании можно частично отключить искусственный интеллект, тем самым, снизив качество ночной съемки.

Если отключить «средство оптимизации сцены», смартфон не будет делать серию снимков даже если алгоритмы подскажут, что света очень мало и нужна вычислительная фотография.

Но если предположить, что DxOMark тестирует не алгоритмы и не финальную картинку, а качество матрицы и оптики, тогда что это было при «тестировании» телеобъективов? Почему в этом случае интересовала не оптика, а исключительно работа fusion-алгоритмов, создающих при помощи нескольких камер один снимок?

Или вот еще одно сравнение S21 Ultra и S20 Ultra при плохом освещении:

На снимке слева (S21 Ultra) больше шумов и меньше деталей. Любой фотограф сразу же поинтересуется, какими были скорость затвора и светочувствительность на каждой камере? Можно ведь установить более короткую выдержку и более высокое значение ISO, что сразу добавит шум или смазанность, если шумодав слишком активный.

Смотрим метаданные и… на этом конкретном примере снова удалены все метаданные! Раньше мне даже в голову не приходило, что профессиональный ресурс может удалять метаданные из оригиналов снимков. Какой в этом смысл?

Более того, в этом же обзоре есть примеры, где метаданные не были удалены. Например, здесь:

Оказалось, на Galaxy S20 Ultra действительно выставлено более низкое значение ISO (1250 против 1600 на S21 Ultra) и чуть более длинная выдержка, что сказалось и на количестве шумов. Я уже не говорю о том, что между этими снимками полгода разницы, то есть, никакого прямого сравнения не было. Хотя эту претензию можно и не рассматривать всерьез, ведь мы имеем дело с контролируемыми условиями съемки.

Профессиональный ли это подход? Должен ли человек в таких ситуациях устанавливать все значения вручную для чистоты эксперимента или полагаться на автоматику? А если всё отдавать на волю случая («научный подход»), то какой именно снимок выбирать из целой серии для сравнения? Ведь автоматика может каждый раз подбирать другие значения ISO и выдержки.

Давайте посмотрим еще на один забавный тест — уровень детализации. В это сложно поверить, но iPhone 11 Pro Max с древней матрицей на 12-Мп набирает больше баллов, чем Galaxy S21 Ultra с камерой на 108-Мп, что даже по определению не может быть правдой.

Разница между 12 и 108 Мп просто колоссальна, что подтверждают наши тесты:

Однако в DxOMark предпочли забыть об этом режиме и сравнивали только 12-мегапиксельные снимки. Хотя на самом деле, если вам нужны детали, камера S21 Ultra без проблем способна их предоставить. Это гораздо более сложный и мощный инструмент, чем iPhone 11 Pro Max или iPhone 12. Он дает гибкость в работе с камерой.

Но самое забавное в этом тесте другое. И это «другое» очень сложно контролировать, просто подтасовывая факты. Этим приемом всегда пользуются иллюзионисты.

Предположим, у нас есть 3 критерия оценки: динамический диапазон (экспозиция), детализация и уровень шума. У нас также есть задача — уничтожить смартфон в рейтинге. Как это сделать? Отвлечением внимания!

Если вы видите, что иллюзионист активно жестикулирует одной рукой и сам внимательно смотрит на эту руку, можете быть уверены — прямо сейчас он делает главный трюк второй рукой, от которой отвлек ваше внимание.

Теперь небольшой трюк от DxOMark.

Анализируем детализацию. Показываем 3 примера фото, сделанных разными смартфонами и, что очень важно, показываем, куда смотреть и что пытаться разглядеть. В данном случае — всё внимание на голову жирафа:

Смотрим и понимаем, что S21 Ultra завалил тест. Поставим ему низкую оценку и пока перейдем к другому тесту.

Теперь проверим динамический диапазон (способен ли смартфон передать все детали в самых ярких и самых темных участках). Берем те же смартфоны (S21 Ultra, Huawei Mate 40 Pro и iPhone 12 Pro Max) и смотрим:

Я не буду приводить полноразмерные снимки, но и так понятно, что Galaxy S21 Ultra снова проваливает тест и снова занимает 3-е место, только теперь уже по динамическому диапазону. Темное лицо парня хуже всего прорисовано на S21 Ultra (слева), а лучше всего — на Mate 40 Pro (по центру). Да и небо на фоне лучше видно на Mate 40 Pro.

Если вы проглотили эту наживку, отлично! Тогда поставим Galaxy S21 Ultra 95 баллов за экспозицию, а Huawei Mate 40 Pro — 109!

А теперь посмотрите еще раз на снимок с жирафом, только уже не обращайте внимание на то, что показывали DxOMark (детализацию, шум, артефакты), а оцените эти снимки с точки зрения динамического диапазона.

Светлые участки хорошо прорисованы везде, но посмотрите, что творится внизу, в более темной области:

Похоже, у нас появился новый лидер в номинации Экспозиция! Здесь не нужно даже рассматривать кропы, так как преимущество S21 Ultra очень большое. И это не детали, которые нужно рассматривать под микроскопом, а очевидные вещи, влияющие на художественную ценность снимка.

Но так как экспозицию мы анализировали на других примерах, значит, смартфону Galaxy S21 Ultra просто не повезло. Так часто бывает при «научном подходе».

Примеры с ночными фотографиями даже обсуждать не хочется. В тесте Galaxy S21 Ultra по сравнению с iPhone 12 Pro Max выглядит телефоном 10-летней давности:

Не припомню, чтобы хоть один флагман за последние несколько лет снимал так отвратительно ночью, как это показано на примере DxOMark. Естественно, в нашем тесте S21 Ultra выдавал прекрасные ночные снимки:

И здесь мы снова возвращаемся к вопросу о том, чего добивались в DxOMark. Ночной режим на любом флагмане — это не какой-то бесполезный фильтр или спецэффект. Это целое направление в вычислительной фотографии.

Невозможно по этим фотографиям понять, что именно сделали в DxOMark, но очевидно то, что только на S21 Ultra не сработал ночной режим, в то время как на iPhone 12 Pro Max мы видим результат его работы (использование серии фотографий с повышением детализации и динамического диапазона).

При использовании ночного режима на S21 Ultra картинка будет совершенно другой. В этом можно легко убедиться, посмотрев любой другой обзор Samsung Galaxy S21 Ultra. Вот один из интересных примеров:

На этом моменте, думаю, можно остановится. Так как уже понятно, почему Samsung Galaxy S21 Ultra оказался «пустышкой», заняв позорное 17 место в списке лучших камерофонов планеты. По версии DxOMark.

Я не знаю причину, по которой DxOMark выпустила подобный тест. Был ли у компании злой умысел или это просто недоразумение. Может ребятам и вовсе попался бракованный аппарат?

Как бы там ни было, этот обзор хорошо иллюстрирует одну простую истину — подобные рейтинги устроены таким образом, что при желании любой флагман можно разместить на любой позиции. Нужно лишь правильно подобрать критерии оценки и отобрать нужные снимки.

Для меня стало открытием, что ресурс уровня DxOMark позволяет себе такое фривольное обращение с оригиналами снимков. Где-то вычищены метаданные, где-то и вовсе графический редактор перезаписал всю информацию. Вот только не понятно, что делали оригиналы фотографий в графическом редакторе?