шапочка из фольги

Мысли вслух #14. Бенчмарк вместо мозга?

Оценка этой статьи по мнению читателей:
5
(30)

Есть на YouTube техноблогер, который собирает много лайков и просмотров за счет одного нехитрого приема. В своих обзорах он берет популярный смартфон и начинает обливать его грязью, что, видимо, нравится его молодой и горячей аудитории. Приводить какие-то имена нет смысла, так как подобной стратегии придерживаются многие «обзорщики».

Конечно, такой подход совершенно не является объективным хотя бы по той причине, что на каждый товар есть свой покупатель. А в случае с популярными продуктами, таких покупателей миллионы. И если каждый из них не спешит возвращать устройство, значит, не все так плохо.

Взять, к примеру, Samsung Galaxy S20 Ultra. Этот смартфон, вероятно, стал рекордсменом по количеству негативных обзоров в интернете. Всё у него не так: процессор тормозит, камера снимает отвратительно, разряжается за пару часов, при потряхивании смартфона внутри что-то болтается, экран мерцает, корпус толстенный и так далее. Ах да, и стоит он при этом целое состояние!

Тем не менее, Galaxy S20 Ultra как-то продается и по итогам первого квартала даже сумел занять треть всего рынка 5G-смартфонов в США. На форумах среди сотен негативных сообщений от тех, кто никогда не держал аппарат в руках, появляются единичные положительные отзывы от реальных покупателей. Кто-то в восторге от экрана, другим нравится камера. Естественно, есть и владельцы, которые остались недовольны покупкой.

В общем, смартфон, как смартфон. Со своими сильными и слабыми сторонами. А как же понять эти стороны, если в обзоре только один негатив?

Но поговорить сегодня хотелось бы больше о другом. Нет, не о конкретном блогере, а о той распространенной проблеме, которая сегодня сплошь и рядом встречается в техноблогинге. И, для ее понимания, я все же кратко перескажу суть увиденного ролика об очередной новинке, «не заслуживающей вашего внимания». Итак, на видео человек сделал примерно следующий обзор:

«Мы протестировали экран смартфона специальными приборами и всё очень печально. Нет, в жизни дисплей выглядит, конечно, просто замечательно, но приборы-то не врут, им вообще невозможно пользоваться! Тест на троттлинг показал низкую производительность, хотя компания и завуалировала этот момент, оптимизировав систему так, чтобы все работало очень плавно. Да и память здесь используется устаревшая, если судить по цифрам (UFS 2.1 против 3.0), хотя аппарат сам по себе шустрый. В общем, смартфон явно переоценен и лучше за эти деньги взять что-то с более интересными техническими характеристиками.»

То есть, человек предпочел результаты тестов собственным ощущениям. Если компания сделала смартфон, который в реальной жизни ощущается первоклассным продуктом и работает очень хорошо, но по циферкам уступает флагманам, пусть даже те работают менее плавно и сильнее греются, такой аппарат автоматически должен стоить дешевле и не заслуживает вашего внимания.

Этот обзор напомнил мне историю одного пользователя на сайте Reddit. В частности, человек рассказал о том, что наслаждался скоростью и плавностью работы своего Nexus 6P от Huawei. Но затем, читая повсюду о каких-то бенчмарках, решил протестировать и свой аппарат. Результаты тестов буквально шокировали его. Те смартфоны, что набирали гораздо больше баллов, чем его несчастный Nexus 6P, в действительности работали заметно хуже. Зачем же вообще нужны эти тесты, раз они совершенно не соответствуют тому, как аппараты ведут себя в реальной жизни?

Хороший вопрос!

К примеру, Apple изначально вообще скрывала технические характеристики своих телефонов, так как они до сих пор выглядят смехотворно на фоне Android-флагманов. Всего 4 Гб ОЗУ на iPhone 11 Pro Max против 12 Гб на Galaxy S20 Ultra! Камера 12 Мп против 108 Мп и аккумулятор 3900 мАч против 5000 мАч!? Выбор здесь, казалось бы, очевиден, но в реальности все обстоит несколько иначе.

РЕКЛАМА

Обзор нужен не для того, чтобы к этим характеристикам добавить еще десяток технических параметров, вроде гаммы дисплея, АЧХ динамика, его громкости или мощности сигнала антенны. Все это может только еще дальше увести пользователя по ложному следу.

Если вы ищите мощный игровой смартфон и вам без разницы, как устройство будет работать во всех остальных задачах, тогда характеристики и бенчмарки играют определенную роль. У разных смартфонов может быть по-разному организовано охлаждение и, соответственно, в каком-то случае производительность в играх может проседать.

Но проблема с бенчмарками заключается в том, что они не отображают таких параметров, как периодические зависания и вылеты программ, лаги системы и подтормаживания при выполнении рутинных задач (прокрутка списков или рабочих столов, переключение между приложениями). Я уже не говорю о наличии реклам в оболочке или отсутствии Google-сервисов.

Все эти вещи не зависят от количества баллов, набранных в каком-то бенчмарке. Более того, сделать обзор, прогнав аппарат через все существующие тесты — это самое простое (хотя и очень скучное) дело. Подобные вещи, при желании, мог бы делать любой производитель, указывая результаты тестирования рядом с техническими характеристиками.

В одной статье на PhoneArena автор, защищая идею бенчмарков, очень хорошо раскрыл истинную суть всех этих тестов: «Если не нагружать чипы до отказа, как мы узнаем, какой из них работает быстрее? Если бы тесты ограничивались только тем, что может воспринять человек, мы бы имели десятки одинаковых смартфонов с идентичным максимальным баллом. В чем тогда смысл?». Так и хочется добавить — «смысл жизни».

Главная задача любого бенчмарка — показать, что новый аппарат однозначно и объективно лучше вашего старого.

Хотя в реальности новинка может быть менее оптимизированной и работать заметно хуже. Не говоря уже о подводных камнях, которые не заметит ни один бенчмарк (например, вид тактильной отдачи, качество вычислительной фотографии, качество сборки и настоящий уровень влагозащиты, качество работы звуковых кодеков и многое другое).

У любого смартфона есть своя «душа» или «харизма». Телефон может «не хватать звезд с неба» по результатам тестов, но при использовании вызывать восторг и удовольствие, похлеще флагмана. И задача хорошего обзора — посоветовать именно такой смартфон, вместо плохого, но набирающего 100500 баллов во всех бенчмарках.

Обзор должен делать живой человек для таких же людей, а не бездушная машина, анализирующая то, что вообще выходит за рамки человеческого восприятия. Ведь вы покупаете смартфон не для того, чтобы прогонять на нем ежедневно тесты.

А как вы относитесь к бенчмаркам? Купили бы вы дорогой аппарат, работающий очень плавно и быстро, но набирающий условные 200 баллов, когда за эти деньги есть конкуренты, набирающие 250-300 баллов? Вы вообще знаете, сколько баллов, скажем, в AnTuTu набирает ваш текущий смартфон?

Алексей, глав.ред. Deep-Review

 

P.S. Мы открыли Telegram-канал и сейчас готовим для публикации очень интересные материалы! Подписывайтесь в Telegram на первый научно-популярный сайт о смартфонах и технологиях, чтобы ничего не пропустить!

 

Понравилась статья? Поделитесь с другими:
  •  
  • 1
  •  
  • 3
  •  
    4
    Поделились

Как бы вы оценили эту статью?

Нажмите на звездочку для оценки

Внизу страницы есть комментарии...

Напишите свое мнение там, чтобы его увидели все читатели!

Подписаться
Уведомление о
8 Комментарий
Newest
Oldest Most Voted
Inline Feedbacks
View all comments
константин
13 дней назад

в точку!!!

Megabass
1 месяц назад

Все эти «попугаи» как бусы для дикарей. Но эти дикари не понимают, что помимо железа ещё есть и софт, который может оптимизирован, а может быть и не оптимизирован. Отсюда и появляются различия в объеме оперативной памяти, размере батареи, количестве мегапикселей и пр. Для дикарей чем больше, тем лучше. Apple прекрасно понимает значение оптимизации, поэтому ее аппараты при условно говоря худших характеристиках, показывают ничуть не худшие результаты. Косвенно именно поэтому они нигде особо не афишируют свои характеристики, разве что про миллиарды транзисторов в процессоре 🙂 Apple уделяет оптимизации большое внимание, в отличии от других производителей, которые тупо наращивают вычислительную мощность. Отсюда… Подробнее »

Megabass
1 месяц назад

Правда от этого роста у многих реально»бомбит» 🙂

Макс
1 месяц назад

И по сей день актуальны, как никогда, цитаты из Маленького принца: «Я боюсь стать таким, как взрослые, которым ничто не интересно, кроме цифр…» «Взрослые очень любят цифры. Когда рассказываешь им, что у тебя появился новый друг, они никогда не спросят о самом главном. Никогда они не скажут: «А какой у него голос? В какие игры он любит играть? Ловит ли он бабочек?» Они спрашивают: «Сколько ему лет? Сколько у него братьев? Сколько он весит? Сколько зарабатывает его отец?» И после этого воображают, что узнали человека…» При выборе телефона меня не интересуют общие цифры, лишь в совокупности с другими характеристиками по… Подробнее »

Алексей
1 месяц назад

Честно говоря, количество показанных попугаев в АnTuTu на покупку аппарата повлияет никак от слова совсем. Сколько показывает теперешний аппарат не знаю, мне это не интересно, есть куча других характеристик, влияющих на выбор телефона.

Александр
1 месяц назад

Никогда тесты не смотрел. А обзоры нужны чтобы показать какие-то фишки или недостатки смартфона. Например для меня было шоком то что в mi 10 только одна симка. Да, в характеристиках это везде указано, но туда как-то не смотришь, думаю что у xiaomi последние пять лет двухсимочные флагманы. и вот в таком случае это имеет для меня значение, а не то — обогнал он huawei в тестах или нет.