Подробный обзор WEI (ч.1)

Хотя Microsoft не перестает уверять нас, что Windows 7 будет выпущена только в 2010 году, правда заключается в том, что они изо всех сил стараются успеть осуществить релиз этой ОС к декабрю 2009 года. Вот несколько фактов, указывающих на то, насколько близки они к осуществлению этих своих планов.

Недавно мы получили в свое распоряжение документы, в которых очень подробно описана новая модель оценки производительности системы Windows Experience Index (WEI), которая используется в Windows 7. Эти документы открыли нам интересные подробности, как Microsoft расширила функционал Windows Experience Index для Windows 7. Особенно интересно узнать, что в компании подразумевают под достаточной для Windows 7 производительностью.

16 февраля закончился период обратной связи с разработчиками для этой версии модели оценки производительности аппаратного обеспечения, так что, если только Microsoft не получила каких-то серьезных возражений от своих OEM-партнеров, именно эта версия модели и станет финальной. Давайте посмотрим на детали, касающиеся улучшенной модели Windows Experience Index.

Что такое Windows Experience Index?
Новая модель оценки производительности аппаратного обеспечения Windows Experience Index (WEI) для Windows 7 имеет следующие нововведения и обновления:

• Новые уровни оценки производительности: 6 и 7. Теперь максимальной является оценка 7.9.
  
• Графический тест DX10.
  
• Тесты производительности подсистемы памяти, основанные на случайных операциях чтения/записи, и тесты на скорость сброса данных из кэша на диск, которые измеряют производительность системы, используя комбинацию из операций чтения и записи. Эти тесты были добавлены к ранее существовавшему тесту на последовательное чтение.
  
• Новые предел для оценки производительности памяти, основанный на результатах тестов сброса данных из кэша.
  
• Дополнительные однопотоковые тесты производительности CPU.
  
• Улучшенная надежность.
  
• Возможность запуска DWM-тестов независимо от других WinSAT-тестов.

Каковы общие черты новой системы оценки производительности системы с той, что была в Windows Vista?
Общая методология оценки для Windows 7 не изменилась со времен Vista. По-прежнему есть пять главных оценок WEI, каждая из которых вычисляется на основании некоторого набора правил. Общая оценка, то есть индекс производительности равен наименьшей оценки из этих пяти категорий.

Чтобы изменилось в Windows 7?
a) Максимальная оценка теперь выше, что позволяет отразить новые возможности современных устройств.
В Windows 7 были добавлены 6-ой и 7-ой уровни производительности системы WEI. Вот два фактор, определяющих различие между уровнями 5 и 6, 6 и 7:

• Удобство работы пользователя.
  Там, где это возможно, Microsoft определила "разрывы" между основными уровнями, чтобы они соответствовали заметным различиям в удобстве работы пользователя. Игры являются ярким примером того, где различные уровни графической производительности могут отразить существенные различия в удобстве взаимодействия пользователя с системой. Другим примером может служить объем памяти, когда увеличение количества системной памяти приводит к существенному улучшению удобства работы пользователя.
  
• Скачки в производительности аппаратных средств.
  Есть некоторые компоненты, такие как центральный процессор, для которых производительность непрерывно увеличивается при переходе от одних показателей к другим, и параллельно с этим, вообще говоря, также увеличивается удобство работы пользователя с системой. В этом случае модель помещает разрывы между уровнями там, где характеристики компонентов позволяют сделать новый шаг в улучшении производительности системы - самым ярким примером здесь является количество процессорных ядер, которое положительно коррелирует с производительностью операций последовательного чтения.

б) Были добавлены тесты для графики DX10.
Новые тесты работают с драйверами WDDM 1.1, но не с версией WDDM 1.0. WDDM 1.1 является версией функционала графического драйвера для Windows 7. Эти тесты определяют уровень производительности графических компонентов системы с Windows 7.
в) Были добавлены тесты жестких дисков со случайными операциями чтения/записи и операциями сброса данных из кэша на диск.
Вместе с уже существующими тестами, новые тесты обеспечивают более всестороннюю оценку производительности дисковой подсистемы памяти.

Будет ли оценка моей системы в Windows 7 соответствовать таковой в Windows Vista?
Многие показатели оценки компонентов будут такими же, как и в Windows Vista. Однако, эти оценки могут измениться по следующим причинам:
а) Максимальная оценка стала выше и теперь равна 7,9, вместо 5,9. Такие системные компоненты, как процессор, которые оказывали наибольшее влияние на оценку системы в Windows Vista, могут получить более высокую оценку в Windows 7.
б) Новая система тестов включает в себя больше тестов для жестких дисков, что позволит обнаруживать более широкий диапазон проблем, которые могут послужить причиной снижения оценки дисковой производительности. В частности, новые тесты на выполнение операций сброса данных из кэша на диск ориентированы на обнаружение проблем со временем задержки доступа к данным, которые могут приводить зависанию работы пользовательского интерфейса. Диски, для которые будут обнаружены подобные проблемы, получат оценку в диапазоне от 1,9 до 2,9, в зависимости от результатов тестов.
с) Тесты центрального процессора включает в себя как однопоточные, так и многопоточные сценарии. Оценка систем, получивших низкие результаты на однопоточных тестах, будет ограничена.

В связи с тем, что итоговая оценка WEI выбирается равной минимальной оценки из пяти подкатегорий, если оценка одной из этих подкатегорий (например, жесткого диска) существенно упадет, общая оценка также снизится.

Объем и производительность памяти
Модель оценки производительности системы Windows Vista тестирует производительность памяти (пропускной способности), после чего корректирует эту оценку, основываясь на объеме установленной системной памяти. Windows 7 будет использовать тот же подход с небольшими изменениями.

Существующий тест памяти будет расширен до 16 ядер. Оценки памяти в диапазонах 5+, 6+ и 7+ будут главным образом связаны с производительностью процессора, точно также как это было в Windows Vista.

Производительность память не будет определяющим фактором для высоких оценок, за исключениям случаев, когда низкая оценка производительности памяти показателями производительность тестов Microsoft для центрального процессора на данном уровне. Ниже указаны причин снижениям оценки системы:

• подсистема памяти неправильно работает из-за ошибок (или неправильных настроек) BIOS;
  
• в систему были установлены неподдерживаемые модули памяти;
  
• вместо двухканальной системы доступа к памяти используется одноканальная;
  
• в систему была установлена более дешевая (и более медленная) память в ущерб производительности.

Тесты CPU
Для тестов производительности центрального процессора Microsoft определила различные уровни оценок для CPU с различными показателями быстродействия. Так в Windows Vista было установлено три "разделителя" для CPU:

• Процессоры с частотой 850 МГц, одноядерные AMD Athlon (K7) или Intel Pentium 4 соответствовали оценке 2.0, которая могла линейно увеличиваться с ростом производительности вплоть до оценки 4.7.
  
• Оценки двуядерных процессоров среднего ценового диапазона начинались с 4.8.
  
• Двуядерные high-end процессоры в Windows Vista получали оценку от 5.8.

Текущая система оценки производительности CPU в Windows 7 поддерживает вплоть до 8 процессорных ядер и может без каких-либо изменений применяться и для 16-ядерных процессоров. Текущих синтетических тестов производительности процессора достаточно для тестирования 8-ми ядерных систем с симметричной многопоточностью. Правила оценки процессоров в Windows 7 просты:

• Системы с производительностью, эквивалентной той, которую можно ожидать от CPU с одним или двумя физическими ядрами могут получить оценку вплоть до 5.9.
  
• Диапазон от 6.0 до 6.5 соответствует производительности системы с двуядерным high-end процессором, оценка которого в Windows Vista упиралась бы в 5.9.
  
• Диапазон от 6.3 до 6.9 соответствует производительности систем с хорошим трехядерным процессором. Microsoft соотнесла оценку 6.9 исключительно для систем с производительным четырехядерным процессором.
  
• Оценки выше 7.0 относятся к четырехядерным процессорам среднего ценового диапазона.
  
• Оценку 7.9 могут получить исключительно восьмиядерные процессоры с технологией SMT.

Здесь стоит отметить, что перекрывание диапазонов было сделано намеренно. Оценка не привязана к числу ядер, а скорее к уровню производительности. Например, некоторые двухядерные процессоры могут получить оценку выше, чем трехядерные.

Дополнительные однопоточные тесты CPU
Для выставления формальной оценки WEI в Windows Vista четыре вида тестов для CPU запускались в многопоточном режиме - по одному измерительному потоку на CPU. В дополнение к этому, эти тесты всегда поддерживали работу в однопоточном режиме.

В Windows 7 разработчики добавили к набору тестов для выставления формальной оценки тесты в однопоточном режиме. Это позволяет масштабировать оценку на основании работы процессора как в многопоточном, так и в однопоточном режимах.

Это было реализовано в связи с тем, что коэффициент масштабирования применялся к общей оценке CPU. Этот коэффициент вычислялся путем построения геометрического представления показателей четырех однопоточных тестов (не оценок) CPU и принимал значение от 1.0 до 0.7. Далее оценка CPU умножалась на это коэффициент. Результирующим значением становилась максимальная оценка CPU системы. Этот коэффициент никогда не превышал значение 1.0 и не падал ниже 0.7.

В Windows 7 оценка 1.0 соответствует значению в 80 Мб/сек, 0.7 - 20.83 Мб/сек. Коэффициент масштабирования вычисляется на основании простой линейной зависимости.

Как оценка производительности CPU соотносится с удобством работы пользователя?
Как и в случае с графикой, Microsoft считает полезным рассмотреть вопрос как оценка производительности процессора соотносится с удобством работы пользоваться с системой.

• оценка менее 2.0 указывает на то, что данный процессор является очень медленным и мало подходит для работы с Windows 7.
  
• диапазон от 2.0 до 2.9 удовлетворяет каждодневным однозадачным сценариям работы с компьютером, таким как проверка почты, просмотр веб-страниц, редактирование документов Word и слайдов PowerPoint, а также редактирование электронных таблиц начального уровня. Даже выполнение самых простых задач может заставить процессоры этого класса работать с полной загрузкой; одновременное выполнение нескольких задач на таких CPU может привести к заметному увеличению времени отклика системы; некоторые веб-сайты, интенсивно использующие контент Flash, Silverlight или Java, могут плохо работать; копирование музыки с Audio CD может потребовать гораздо больше времени, чем на более быстрых системах, при этом большую часть времени система будет работать при 100% загрузке CPU. Даже простые задачи кодирования видео вряд ли будут выгодны с практической точки зрения.
  
• диапазон 3.0 - 3.9 подходит для выполнения нескольких каждодневных вычислительных задач начального уровня. Центральный процессор способен реализовать многозадачность начального уровня. Например, фоновая печать документа не будет мешать основной работе. Каждодневные задач по большей своей части не должны вызывать интенсивную работу процессора, но иногда могут возникать проблемы с откликом системы из-за конкуренции задач за процессорное время; хорошая производительность веб-сайтов с интенсивным использованием технологий Flash, Silverlight и Java; производительность операций копирования музыки с Audio CD приемлема, однако подобные задачи могут неэффективно выполняться в фоновом режиме; возможны задачи кодирования видео, такие как кодирование видеоформата AVI для портативных мультимедийных устройств, но они могут потребовать много времени. Например, кодирование 20-секундного клипа может занять 40 секунд на процессоре с оценкой 3.9, и гораздо больше на процессоре с оценкой 3.0.
  
• диапазон 4.0 - 4.9 соответствует хорошей производительности в каждодневных вычислениях и многозадачных сценариях работы: каждодневные вычислительные задачи, даже выполняемые в многозадачном режиме, не приведут к интенсивной загрузке CPU; хорошая отзывчивость системы на действия пользователя в следствие отсутствия проблем с распределением процессорного времени; хорошая производительность при копировании музыки с Audio CD, которое может выполняться в фоновом режиме, не оказывая при этом плохого влияния на производительность таких задач как просмотр веб-страниц, даже если они содержат контент Flash, Silverlight или Java; веб-сайт с контентом Flash, Silverlight или Java работают очень плавно; хорошая производительность в задачах кодирования видео; на более быстрых системах кодирование видео может занять меньше времени, чем продолжается клип; игры начального уровня не ограничены CPU, но при этом более требовательны к его производительности.
  
• диапазон 5.0 - 5.9 соответствует хорошей производительности в многозадачных режимах работы: каждодневные вычислительные задачи, копирование музыки с Audio CD и кодирование видео не могут даже наполовину загрузить CPU работой; очень удобно копировать музыку с Audio CD и кодировать видео, параллельно выполняя другие задачи; программы, поддерживающие многопоточные вычисления показывают хорошее масштабирование, по сравнению с оценками 4.X; к таким задачам относятся вычисления в Excel, обработка изображений, процесс компиляции программного обеспечения. Почти все игры, кроме самых требовательных к ресурсам компьютера, не ограничены производительностью CPU.
  
• диапазоны 6.0 - 6.9 и 7.0 - 7.9 предоставляют пользователю рабочую среду, производительность которой редко ограничивается центральным процессором. На таких системах многоядерные конфигурации предоставляют приложениям показывать максимальный прирост в производительности по сравнению с нижними уровнями; выполнение сценариев с очень большими таблицами Excel, сложный рендеринг графики, компиляция программного обеспечения и работа с научными приложениями.

Существуют сложности с точным соотнесением уровня удобства работы пользователя с системой в диапазоне 6+ для трехядерных процессоров и в диапазоне 7+ для четырехядерных процессоров, поскольку в настоящее время есть весьма ограниченное количество сценариев, которые могут извлечь всю выгоду от использования таких мощных процессоров. Microsoft сделала границу между уровнями 5/6 и 6/7, основываясь прежде всего на производительности, связанной с числом процессорных ядер. Это позволяет данной модели оценки производительности приспосабливаться к улучшениям производительности аппаратных средств, которые могут произойти за следующие несколько лет.

Производительность подсистемы памяти (жесткий диск)
Тесты подсистемы памяти Windows Vista оценивают производительность только операций чтения. Это позволяет производить начальную оценку жестких дисков, но при этом не учитывается производительность операций случайного чтения и записи, а также то, как поведет себя жесткий диск, когда столкнется с необходимостью комбинирования этих операций. Именно поэтому Microsoft добавила в Windows 7 следующие функциональные возможности:

• полноценную оценку производительности операций случайного чтения и записи;
  
• оценку производительности операции последовательной записи;
  
• тесты сброса кэша на диск (комбинированные операции чтения и записи).

Некоторые наиболее часто используемые операции извлекают заметную выгоду от хорошей производительности подсистемы памяти, и среди них:

• загрузка системы;
  
• восстановление работы после спящего режима и режима гибернации;
  
• запуск приложений;
  
• использование приложений для работы с электронной почтой;
  
• работа с поиском Windows;
  
• работа файла подкачки на системах с ограниченным объемом оперативной памяти.

Как и в случае с CPU, для оценки производительности подсистемы памяти используются сценарии, для которых известны различные уровни производительности, соответствующие определенным изменениям в быстродействии подсистемы памяти. Наиболее ярким пример этому связан с политикой сброса кэша на диск: плохая реализация данного вида операций критично сказывается на отзывчивости пользовательского интерфейса.

Поэтому в Windows 7 принят следующий порядок оценки производительности жесткого диска:
а) сохранить существующую оценку производительности операции последовательного чтения;
б) ограничить производительности подсистемы памяти, обладающей низкими показателями в тестах на выполнение операций сброса данных из кэша на диск, независимо от значения других параметров производительности системы:
- для сборки под номером 6801 устанавливалось ограничение 2.9;
- на основании результатов лабораторных тестов широкого спектра аппаратного обеспечения для бета-версии были установлены следующие граничные значения:

• граничное значение 1.9:
  ­время выполнения операций IO более 600 миллисекунд,
  или среднее значение для одной операции IO >=22 мс и для 95 процентов операций IO >= 40 мс;
  
• граничное значение 2.9:
  ­время выполнения операций IO более 520 миллисекунд,
  или среднее значение для одной операции IO >=11 мс и для 95 процентов операций IO >= 33 мс;

в) диапазон оценок от 5.0 до 5.9 относится к дискам с хорошей производительностью последовательного чтения и операций сброса данных из кэша на диск. Как ожидается, большинство механических жестких дисков покажут производительность ниже отметки 5.9.
г) диапазон оценок от 6.0 до 6.9 соответствует производительности запоминающих устройств с очень хорошей производительностью случайных операций чтения/записи.
Здесь следует отметить, что большинство продаваемых сегодня жестких дисков этого класса получают оценки в диапазоне 6.0 - 6.5. Как только на этом рынке появятся более быстрые устройства, они смогут достигнуть оценки 6.6 и выше.
д) диапазон 7.0 - 7.3 соответствует наиболее производительным из продаваемых сегодня жестких дисков в том, что касается операций последовательного чтения и случайного чтения/записи.
Мы ожидаем, что в период с 2010 по 2011 года производительность жестких дисков должна существенно вырасти, потому мы оставили небольшой запас в оценках уровня 7.x для будущих устройств.

Примечание. В Windows 7 различаются три уровня производительности случайных операций чтения/записи - Good, Better, Best.

При выставлении оценки системой не учитываются параметры жестких дисков, наличие конфигураций RAID или других технологий организации работы жестких дисков; результат оценки основа только на измеренном уровне производительности.

Во время тестирования RC-версии Microsoft планирует обновить показатели для тестов на время выполнения сброса данных из кэша на диск на основании результатов лабораторных испытаний.

Тесты на выполнение операций сброса данных из кэша на диск
Новые тесты, связанные с выполнением операций сброса данных из кэша на диск, были разработаны в качестве ответа на отчеты о проблемах, связанных с откликом приложений. В этих отчетах говорится о том, что пользователи при работе с пользовательским интерфейсом сталкиваются с его низкой отзывчивостью или даже зависанием. С точки зрения пользователей, мало того, что подобные ситуации очень раздражают, так еще и зачастую не ясно, в чем первопричина проблемы и как ее устранить.

Задача этих новых тестов состоит в том, чтобы обнаружить режимы работы запоминающего устройства, в которых могут возникнуть проблемы с мгновенным откликом приложения, а также помочь определить проблемные компоненты и, в конечном итоге, улучшить удобство взаимодействия пользователя с системой.

После проведения исследования было обнаружено, что причиной появления всех этих отчетах о проблемах являются запоминающие устройства с низкими показателями времени доступа (долгое выполнение операций чтения/записи). Замена проблемного устройства или обновление его прошивки приводило к значительному улучшению в удобстве работы пользователя в системе.

Анализируя последовательности действий пользователей, приславших отчеты о проблемах, и соотнося их с конкретными классами и моделями жестких дисков, Microsoft смогла определить типовые сценарии операций чтения/записи, приводящие к проблеме высокого времени доступа. В следствие этого в систему в качестве небольшого набора тестов операций смешенного чтения/записи были встроены тесты WinSAT, выполняющие операции записи информации из кэша на диск, которые быстро работали и позволяли определить устройства с проблемой времени доступа.

Был произведен повторный прогон тестов WinSAT на сброс кэша по сценариям работы, описанным в отчетах пользователей, на различных аппаратных средствах. В результате этих тестов было отмечено совпадение наборов жестких дисков, не прошедших такие тесты, и жестких дисков, для которых ранее были отмечены описанные выше проблемы. Однако, эти тесты все еще совершенствуются - в период тестирования RC-версии Microsoft собирается провести эти тесты на еще большем диапазоне аппаратных средств, и внести в них изменения, чтобы максимально повысить точность результатов.

Хотя Vista содержала раннюю версию тестов на выполнение операций сброса данных из кэша на диск, она не была включена в WinSAT/WEI, поскольку эти тесты еще не давали достаточно точных результатов, позволяющих с уверенностью идентифицировать проблему. В случае Windows 7 у Microsoft уже сформировалось четкое представление о причинах данной проблемы, что позволило ей встроить в систему более точные версии тестов. Именно поэтому в Windows 7 эти тесты включены в WinSAT/WEI.

Стоит отметить, что область действия этих проблем не ограничивается лишь старыми и медленными устройствами - даже устройства с высокими значениями пропускной способности и скорости вращения шпинделя могу обладать высоким временем проведения операций чтения/записи, что может приводить к зависанию программ.

Оценка производительности специализированных систем хранения данных
WinSAT может измерять производительность NVRAM-части систем ESS (Enhanced Storage Systems). Вопрос состоит в том, как отобразить размер и производительность NVRAM в таблице WEI. Microsoft еще не обладает достаточным набором данных о том, как размер и пропускная способность такой памяти влияет на удобство взаимодействия пользователя с системой. Планируется, что в Windows 7 гибридные диски будут оцениваться только с точки зрениях их механических характеристик.

На этом первая часть нашей статьи подошла к концу. Остается надеяться, что вам было интересно ее читать. Ну а во второй ее части мы поговорим о графических тестах WEI.