FutureMark SmartPhone Benchmark SPMark04 - бенчмарк для смартфонов

Введение

Современные мобильные телефоны по свой вычислительной мощи вполне сопоставимы с производительностью среднего ПК десятилетней давности, причем процесс их развития протекает достаточно бурно. Как следствие, в число функций большинства трубок уже входят не только привычные календари, записные книжки и калькуляторы, но и возможность запуска различных программ сторонних производителей. Неудивительно, что мобильники, наиболее близкие по своей функциональности к компьютерам, названы «смартфонами» (т.е., дословно – умными телефонами). 
Типичная конфигурация современного смартфона впечатляет: процессор с частотой 100-150 МГц, 4-8 Мб оперативной памяти и возможность хранения довольно больших объемов информации на флэш-картах. Размер и разрешение экрана, конечно, уступает настольным компьютерам. Но, тем не менее, уже созданы 3D ускорители для смартфонов, а это значит, что вскоре кроме привычных игр типа "пятнашек" и шахмат мы получим полноценные 3D-приложения. Что же касается операционных систем, то здесь, по данным различных исследований, около 65% рынка занимает ОС Symbian, разработанная компанией Symbian Ltd. В настоящее время владельцами Symbian являются Ericsson, Nokia, Panasonic, Psion, Samsung, Siemens и SonyEricsson. 
На этом фоне, вполне естественно, растет внимание к производительности сматрфонов и, соответственно, интерес к их сравнению между собой по этому параметру. Не могла остаться в стороне и корпорация Futuremark, известная своими тестовыми пакетами для персональных компьютеров, наиболее популярным из которых является 3DMark. Она представила программу SPMark04 для смартфонов, построенных на базе Symbian OS с интерфейсами Series60 и UIQ.

Что тестировать в смартфоне?

Для разработки SmartPhone Benchmark (SPMark04) компания FutureMark создала программу, в которой приняли участие ведущие разработчики программных и аппаратных средств для современных смартфонов, среди которых такие известные имена, как ATI Technologies Inc, Bitboys, Imagination Technologies/PowerVR, Intel, NeoMagic Corporation и nVidia. Было определено и направление, в котором работали разработчики - тест SPBench должен было отображать не только скорость в играх, но и работу со стандартными для смартфонов приложениями - календарём, телефонной книгой, работой с флэш-карточками, обработкой графических изображений и, конечно же, с различной графикой.

И всё равно FutureMark, как видно, уделяет слишком много внимания графики. Нет, например, кодирования в MPEG и MP3, хотя смартфоны это умеют, нет тестов работы со звуком, хотя это тоже очень важно, особенно, когда на входящий звонок устанавливаешь MP3 файл. Нет теста скорости загрузки операционной системы и, что меня огорчает больше всего, нет скорости рендеринга веб-страниц. Ведь смартфон может использоваться для доступа к полноценному WEB-у, а не ужасному WAP-у. Тестов WAP-а тоже нет. Мало, определённо мало тестов.

Системные требования:

Любителей демо-версий придётся огорчить - SPBench04 выпускается только в двух версиях - платной, стоимостью целых 250 долларов(!!!!) и версией для разработчиков с исходными кодами, которая стоит 6 000 долларов! Демо-версии нет. Ничего не могу сказать по этому поводу кроме того, что FutureMark зажралась :( Бенчмарк поставляется в виде .SIS файла объёмом 669 килобайт. Вы можете инсталлировать его на смартфон прямо с сайта FutureMark, если выйдете в интернет со встроенного браузера трубки. После инсталляции при первом запуске бенчмарк просит ввести регистрационный код, после чего вы сможете его использовать.

Начинаем тестирование

В основном меню вы можете выбрать, какие тесты запускать:

• Run All Tests - запустить все тесты

• Run Set - запустить тесты 3D графики, системные или выбрать тесты вручную

• Run Battery Test - запустить тест аккумуляторов

Здесь же в одном из пунктов меню вы можете просмотреть информацию о телефоне, показать результаты тестов или запустить демонстрационный режим.

Кстати, информацию о смартфоне тест выдаёт весьма исчерпывающую, как например, частоту процессора, количество цветов, объём свободной памяти, пространство на дисках и IMEI номер трубки. А вот с чем FutureMark просчиталась, так это с информацией о графической системе. Тест не говорит, есть ли у вас аппаратный 3D акселератор в трубке, или его нет.

Тесты 3D графики

Самое интересное и впечатляющее, несомненно, это тесты 3D графики. Никогда раньше не поверил бы, что Nokia 6600 на такое способна. В этом тесте на экране смартфона происходят действия, очень напоминающие первый тест из 3DMark 2000 с вертолётом.

Трудно поверить, но это настоящая трёхмерная графика. Но детализация, естественно, несравнимая с современными компьютерными играми. Так, например, вертолёт игрока состоит всего из 450 полигонов, его пропеллер - из двух полигонов, ракета - из 22 полигонов, а вражеский вертолёт - из 205 полигонов. Ландшафт и лес так же сделаны моделями, первый состоит из 956 полигонов, а на создание леса было отведено 565 текстурированных поверхностей. Всего в этой сцене используются около 2 500 полигонов.

Для рендеринга тест использует API OpenGL ES и его программную версию от компании Hybrid Graphics для тех смартфонов, которые не имеют аппаратного 3D-акселератора. Результат теста выводится в кадрах в секунду.

FillRate test

Следующий 3D тест отражает скорость заполнения, филлрейт. Программа создаёт эдакую шахматную доску с двумя текстурами, каждая из которых имеет размер 128x128 пикселей. Текстуры множатся и вращаются в разных направлениях.

Результат, как это и положено, выводится в миллионах текселей в секунду.

3D Polygon Throughput test

Где скорость заполнения - там и скорость обработки полигонов. Для этого теста используется одна модель спирали, состоящая из 4800 полигонов и без текстуры.

Как видно на скриншоте, на поверхности спирали заметны блики. Они задаются параметрами поверхности (Diffuse, Specular и Shiness) и источником света. В этой сцене используется один общий источник света. Результат выводится в тысячах треугольников в секунду.

Тесты обработки графических изображений

Работа с готовыми изображениями для смартфона более важна, чем работа в играх, ведь далеко не каждый будет устанавливать Quake на трубку, а вот делать фотографии встроенными камерами, устанавливать их на обои, редактировать и отсылать друзьям - милое дело :). Первый тест, 2D Image Test,  отражает максимальную скорость вывода 2D-картинок на экран. Логотипчики FutureMark в хаотичном порядке выводятся на экран, используя MDirectScreenAccess.

Результат определяется в кадрах в секунду.

Image Scalling Test

Тест масштабирования изображений загружает специальное изображение, а затем производит его конвертацию, создавая 15 различных версий исходного изображения. Тест использует классы CMdaBitmapScaler и CMdaImageFileToBitmapUtility. Исходное изображение имеет формат GIF и размер 127x127 пикселей. Как и последующие тесты, данный не выводит на экран никакой красивой графики, кроме индикатора прогресса. Результат определяется в количестве изображений, обработанных в секунду.

JPEG Encoding

Данный тест использует встроенную в операционную систему библиотеку конвертации изображений. Тест использует три уровня сжатия картинки - 50, 70 и 90%. Исходное изображение формата JPEG с разрешением 640x480 пикселей (стандартное разрешение встроенных камер большинства современных смартфонов) и объёмом 34 Кб. После завершения процесса кодирования, выводится результат в тысячах пикселей, обработанных в секунду.

В общем-то, на этом тестирование расширенных возможностей трубок заканчивается и далее мы переходим к обычным повседневным задачам телефонного аппарата.

Тесты офисных задач

Игры - играми, но смартфон - это прежде всего телефон, который должен звонить. Здесь FutureMark использует два теста - для выяснения скорости работы телефонной книги и календаря.  При тестировании телефонной книги программа делает 30 записей в книгу смартфона, а затем удаляет их. После производится сжатие базы данных контактов, чтобы не вызвать переполнение памяти.

С календарём всё происходит аналогично, разве что здесь делаются 40 записей различных событий. Результаты в обоих случаях выводятся в количестве производимых записей в секунду. Интересно, что платформа Symbian даёт возможность пользователю установить сторонние программы для календаря и телефонной книги. Как в этом случае поведёт себя SPMark04, будет ли работать? Если кто проверит, сообщите нам :)

Disk Access Test

Тест скорости доступа к носителю записывает на карточку телефона 100 маленьких файлов, а потом открывает их все одновременно. Затем производится запись во все файлы, после чего они закрываются, заново открываются, из них считываются данные, снова закрываются и удаляются. Тестовые файлы создаются там же, куда проинсталлирован SPMark04, так что результат, выводимый в числе файлов в секунду, зависит от того, проинсталлирован ли SPMark04 в память телефона или на флэш-карту.

Тест аккумуляторов

В режиме работы аппарата до полного выключения, SPMark04 прокручивает все тесты по кругу, нагружая таким образом, смартфон по полной программе. Тест аккумуляторов не влияет на общие очки SPMark04.

Подсчёт очков

После проведения всех тестов, SPMark04 выводит результат в четырёх категориях:

• SPMark04 Score

• 3D Score

• System Score

• Battery Score

И дополнительную информацию по каждому тесту. Чем очки выше, тем лучше. Вот формулы подсчёта для каждого результата:

SPMark04 Score = 100 x (3D Game x 3D FillRate x 3D PolyCount x 2D Image x Image Scaling x JPEG Encoding x Contacts x Calendar x Disk Access)^1/9.

SPMark04 3D Score = (25 x 3D Game test) + (85 x 3D FillRate) + (5 x 3D PolyCount)

SPMark04 System Score = 65 x (2D Image x Bitmap scaling x Jpeg Encoding x Contacts x Calendar x Disk access)^1/6

SPMark04 Battery Score = (Время работы в минутах x средние очки SPMark™04 Score во время работы теста) / 300

Погрешность

Мы тестировали SPMark04 на телефоне Nokia 6600. На трубке установлено довольно много программного обеспечения, так что результаты тестирования могут быть серьёзно ниже, чем у FutureMark или других энтузиастов. Тест запускался 5 раз, после каждого запуска телефон перегружался.

Ну что же, самая большая погрешность при тестировании составляет менее 1.5 процентов, так что можно считать тест достаточно объективным.

Ну и просто результаты тестирования Nokia 6600.

Нда.... 7 кадров в секунду...

Выводы

Уже в который раз FutureMark оправдала первую часть своего имени - компания действительно смотрит в будущее. Нам не с чем сравнить SPMark04, потому что на сегодня не существует другого теста скорости смартфонов подобного уровня. Конечно же, пакету SPMark04 не хватает очень многих тестов, о которых мы уже говорили - работа с WAP и HTML-сайтами, SMS, MMS, кодирование видео и MP3. Да и цена за бенчмарк уж очень высока. Тем не менее, теперь у нас на руках есть очень хороший инструмент для тестирования смартфонов и мы можем оценивать трубку не только по дизайну и заявленным функциям.

Мы благодарим коллектив сайта "BenchmarkHQ" за помощь, оказанную при написании обзора.