ILP процессоры (Лекция)
ПЛАН ЛЕКЦИИ
1.
Архитектура ILP- процессоров
2.
Суперскалярные процессоры
3.
VLIW-процессоры
4.
EPIC-процессоры
5.
Направления развития ILP архитектуры
1. Архитектура ILP- процессоров
Более высокая производительность достигается как за счёт
совершенствования полупроводниковой технологии, так и за счёт увеличения
плотности микросхем. Дальнейшего увеличения скорости выполнения программ можно
добиться в первую очередь благодаря реализации определённого вида параллелизма.
Параллелизм на уровне команд (instruction-level parallelism, ILP) стал возможен благодаря
созданию процессоров и методик компиляции, которые ускоряют работу за счёт
параллельного выполнения отдельных RISC-операций. Системы на базе ILP используют программы, написанные на традиционных языках
высокого уровня для последовательных процессоров, а обнаружение «скрытого
параллелизма» автоматически выполняется благодаря применению соответствующей
компиляторной технологии и аппаратного обеспечения.
Тот факт, что эти методики не требуют от прикладных
программистов дополнительных усилий, имеет крайне важное значение. Это решение
резко отличается от традиционного микропроцессорного параллелизма
(многопроцессорный и мультискалярный тип параллельной обработки), который
предполагает, что программисты должны переписывать свои приложения. Поэтому
сейчас, параллельная обработка на уровне команд, является единственным надёжным
подходом, позволяющим добиться увеличения производительности без
фундаментальной переработки приложений. Эти два типа параллельной обработки не
исключают друг друга; самые эффективные многопроцессорные или мультискалярные
системы, вероятнее всего, будут создаваться на базе процессоров ILP.
Компьютерная архитектура – это своего рода соглашение между
классом программ, написанных для данной архитектуры, множеством реализаций
процессора для неё. Как правило, это соглашение описывает формат и
интерпретацию отдельных команд, но в случае с архитектурами ILP это соглашение может быть расширено:
в него включается информация о возможном параллелизме между командами.
Есть два крайних подхода, при возможных промежуточных, к
отображению присущего микропроцессору внутреннего параллелизма обработки данных
на архитектурном уровне в системе команд. Первый подход более консервативен и
состоит в том, что никакого указания на параллельную обработку внутри
процессора система команд не содержит. Такие процессоры относятся к классу
суперскалярных.
Второй подход - напротив полностью открывает все
возможности параллельной обработки. В специально отведенных полях команды
каждому из параллельно работающих обрабатывающих устройств предписывается
действие, которое устройство должно совершить. Такие процессоры называются
процессорами с длинным командным словом (VLIW). Предполагается, что существуют компиляторы с языков
высокого уровня, которые готовят программы для загрузки их в микропроцессоры.
Основная идея, определяющая развитие ILP микропроцессоров, состоит в
построении возможно большего количества параллельных структур при сохранении
традиционных последовательных программ. Это означает, что компиляторы и
аппаратура микропроцессора сами, без вмешательства программиста, обеспечивают
загрузку параллельно работающих функциональных устройств микропроцессора.
Повысить степень параллелизма программы можно изменяя
соответствующим образом ее статическую или динамическую структуру. Поскольку
статическая структура программы однозначно соответствует ее исходному тексту (в
предположении неизменности компилятора), то изменение статической структуры
сводится к изменению исходного кода, что, в общем случае, не всегда возможно.
Динамическая же структура программы может быть изменена при неизменной
статической структуре. И главной целью такого изменения должно быть повышение
степени параллельного исполнения команд.
2.
Суперскалярные процессоры
Суперскалярные процессоры – это реализация ILP-процессора для
последовательных архитектур – архитектур, программа для которых не должна
передавать и, фактически, не может передавать точную информацию о параллелизме.
Поскольку программа не содержит точной информации о наличии ILP, то, задача обнаружения параллелизма
должна решаться аппаратурой, которая, следовательно, должна создавать план
действий для обнаружения «скрытого параллелизма». Код для суперскалярных
процессоров содержит последовательность команд, которая порождает корректный
результат, если выполняется в установленном порядке. Код указывает
последовательный алгоритм и, за исключением того, что он использует конкретный
набор команд, не представляет себе точную природу аппаратного обеспечения, на
котором он будет работать или точный временной порядок, в котором будут
выполняться команды. Такой подход увеличивает сложность аппаратного
обеспечения, в то же время суперскалярный процессор создаёт план выполнения,
используя преимущества тех факторов, которые могут быть определены только во
время выполнения.
Допустимые границы преобразования динамической структуры
программы задают существующие на множестве инструкций отношения: зависимость по
управлению и зависимость по данным. При описании архитектур суперскалярных
процессоров часто используется модель окна исполнения. При исполнении программы
микропроцессор как бы продвигает по статической структуре программы окно
исполнения. Команды в окне могут исполняться параллельно, если между ними нет
зависимости.
Для устранения зависимостей, вызванных командами переходов,
используется метод предсказания, позволяющий извлекать и условно исполнять
команды предсказанного перехода. Если позднее обнаруживается, что предсказание
было сделано верно, то результаты условно исполненных команд принимаются. Если
предсказание было ошибочным, состояние процессора восстанавливается на момент
принятия решения о выполнении перехода.
Команды, помещенные в окно исполнения, могут быть зависимы
по данным. Эти зависимости обусловлены использованием одних и тех же ресурсов
памяти (регистров, ячеек памяти) в разных командах. Поэтому для правильного
исполнения программы необходимо использование этих ресурсов в предписываемом
программой порядке.
Все виды зависимостей по данным могут быть классифицированы
по типу ассоциаций: RAR
- "чтение после чтения", WAR - "запись после чтения" и WAW - "запись после записи", RAW - "чтение после
записи". Пример различных зависимостей команд по данным показан на рис.11.
Некоторые из зависимостей по данным могут быть устранены. RAR, по сути дела,
соответствует отсутствию зависимостей, поскольку в данном случае порядок
выполнения команд не имеет значения. Действительной зависимостью является
только "чтение после записи" (RAW), так как необходимо прочитать предварительно записанные
новые данные, а не старые.
Лишние зависимости по данным появляются в результате
"записи после чтения" (WAR) и "записи после записи" (WAW).
После удаления лишних зависимостей по управлению и данным
команды могут исполняться параллельно. Формирование расписания параллельного
выполнения команд возлагается на аппаратные средства микропроцессора. Это
расписание учитывает существующие зависимости между командами и имеющиеся
функциональные модули процессора.
Рис. 1. Зависимости
команд по данным
Типовая архитектура
суперскалярного микропроцессора представлена ниже
Рис. 2. Архитектура
суперскалярного микропроцессора
В число основных блоков суперскалярного микропроцессора
входят: блок выборки команд и предсказания переходов, блок декодирования
команд, анализа зависимостей между командами, переименования и диспетчеризации,
блоки регистров и обрабатывающих устройств с плавающей и фиксированной точками,
блок управления памятью, а также блок упорядочения выполненных команд.
Рассмотрим основные приемы повышения быстродействия в
суперскалярных микропроцессорах.
Предварительная выборка команд и предсказание переходов.
Поскольку при суперскалярной обработке необходимо извлекать из памяти несколько
команд за один такт для загрузки параллельно работающих функциональных модулей,
повышенные требования предъявляются к пропускной способности интерфейса
микропроцессор-память. В современных микропроцессорах применяются многоуровневые
раздельные кэш-памяти данных и команд.
Для уменьшения потерь процессорных циклов, связанных с
промахами при обращении к кэш-памяти в случае выполнения команд ветвления, в
состав системы кэширования введены средства предсказания переходов, основное
назначение которых - повысить вероятность наличия в кэш-памяти требуемой
команды.
Исполнение условных ветвлений состоит из следующих этапов:
1) распознание
команды условного ветвления;
2) проверка
выполнения условия перехода;
3) вычисление
адреса перехода;
4) передача
управления, в случае перехода.
На каждом этапе используются специальные приемы повышения
производительности:
1. Для быстрого декодирования используются либо
дополнительные биты в поле команды, либо преддекодирование команд при выборе из
кэш-памяти команд.
2. Часто, когда команда уже выбрана в кэш, условие перехода
еще не вычислено и чтобы не задерживать поток команд в данном случае
используется предсказание перехода по одной из нескольких возможных схем.
Некоторые предсказатели используют статическую информацию из двоичного кода
программы или специально выработанную компилятором. Например, определенные коды
операций чаще вырабатывают ветвление, чем другие коды, или ветвление более
вероятно (при организации циклов), или компилятор может устанавливать флаг,
указывающий направления перехода. Может также использоваться статистическая
информация, полученная при трассировке программы.
Другие предсказатели используют динамически формируемую
информацию в процессе исполнения программы. Обычно это информация, касающаяся
истории выполнения данного ветвления, сохраняемая в таблице ветвлений или в
таблице предсказаний ветвлений. Таблица предсказания ветвлений организуется по
ассоциативному принципу, подобно кэш-памяти, ее элементы доступны по адресу
команды, ветвление которой предсказывается. В некоторых реализациях элемент
таблицы предсказания ветвления является счетчиком, значение которого
увеличивается при правильном предсказании и уменьшается при неправильном. При
этом значение счетчика определяет преобладающее направление ветвлений.
В момент определения действительного значения условия
ветвления, вносится изменение в историю ветвления. Если предсказание было
неверным, то должна инициироваться выборка правильных команд. Результаты
команд, которые были условно выполнены, должны быть аннулированы.
3. Для определения адреса ветвления обычно требуется
выполнить целочисленное сложение, прибавляющее к текущему значению счетчика
команд смещение, заданное в поле команды ветвления. И хотя это не требует
дополнительных циклов для обращения к регистрам, ускорение вычисления адреса
может быть достигнуто благодаря использованию буфера, содержащего ранее
использованные адреса переходов.
Если требуется осуществить смену значения счетчика команд,
то необходим, по крайней мере, один такт для распознания команды ветвления,
модификации счетчика команд и выборки команды по заданному значению счетчика
команд. Эти задержки вызывают пустые такты в конвейерах процессора. Более
сложные решения используют буферы, содержащие наборы команд для двух возможных
результатов ветвлений.
Возможно также использование "отложенных
переходов", когда одна или несколько команд после команды ветвления
выполняются безусловно.
Декодирование команд, переименование ресурсов и
диспетчеризация. На этой фазе определяются существенные зависимости (RAW) по данным между
командами и преодолеваются несущественные (WAW, WAR),
производится распределение команд по буферам команд функциональных устройств.
При декодировании команды создается одна или несколько
упорядоченных троек, каждая из которых включает: 1) исполняемую операцию, 2)
указатели на операнды, 3) указатель на место помещения результата.
Для преодоления лишних WAR и WAW
зависимостей, возникающих в результате ограниченности логических ресурсов
(ячеек памяти, регистров), используется механизм динамического отображения
определяемых текстом программы логических ресурсов на физические ресурсы
микропроцессора. При данном подходе с одним логическим ресурсом может быть
связано несколько значений в различных физических ресурсах, каждое из которых
соответствует значению логической величины в один из моментов времени
последовательного выполнения программы.
Когда команда создает новое значение для логического
регистра, физический ресурс, в который помещается это значение, получает имя.
Последующие команды, использующие это значение, снабжаются именем физического
ресурса. Данная процедура называется переименованием регистров. Используются
два основных способа переименования.
В первом, физический файл регистров больше логического. При
необходимости переименования из списка свободных физических регистров берется
один и ему сопоставляется соответствующее логическое имя. Если список свободных
регистров пуст, диспетчеризация команд приостанавливается до момента появления
свободных физических регистров.
Остается вопрос о возвращении физических регистров в список
свободных после того, как из них считаны данные в последний раз. Один из
способов связывает счетчик с каждым физическим регистром. Счетчик увеличивается
при каждом переименовании операнда в командах, использующих этот физический
регистр. Соответственно при использовании операнда значения счетчика
уменьшается на 1. При достижении счетчиком нуля физический ресурс должен быть
переведен в список свободных.
Второй способ переименования использует одинаковое число
логических и физических регистров и поддерживает их однозначное соответствие. В
дополнение имеется буфер с одним вхождением для каждой инициированной на
исполнение команды. Этот буфер называется переупорядочивающим, так как он
используется также для установления порядка команд при прерываниях. Данный
буфер можно рассматривать в виде кольцевого буфера с указателями
"начало" и "конец".
Команды помещаются в конец буфера. По завершению команды ее
результат заносится в заранее предписанный ей элемент очереди, независимо от
места в очереди, занимаемого этим элементом. К моменту достижения командой
начала буфера, если она была исполнена, ее результат помещается в регистровый
файл, а сама команда удаляется. Команда, находящаяся в буфере и не исполненная
в виду отсутствия значения операнда, остается в нем вплоть до получения этого
значения. Одновременно может выбираться из очереди или помещаться в нее
несколько команд.
Исполнение команд. После формирования для каждой команды
упорядоченных троек, состоящих из кода операции, физических операндов -
источника и результата, и размещения их в буферах, наступает фаза динамической
проверки готовности значений операндов для исполнения команды.
В идеале команда готова к исполнению как только готовы ее
входные операнды. Однако есть ряд ограничений, связанных с доступностью
физических ресурсов, таких как исполнительные устройства, коммутаторы и порты
регистровых файлов (или переупорядочивающего буфера). Для организации окна
исполнения используются различные методы: одной очереди, многих очередей или
метод резервирующей станции.
Если имеется одна очередь, то переименование регистров не
требуется, так как доступность значений операндов может отмечаться битом резервирования,
сопоставленным каждому регистру. Регистр резервируется, когда модифицирующая
его команда назначается на исполнение. И регистр освобождается, когда
заканчивается исполнение команды. Если для команды ресурсы не были
зарезервированы, то она приостанавливает свое исполнение.
В методе многих очередей каждая очередь организуется для
команд одного типа. Например, очередь команд с плавающей точкой или очередь
команд работы с памятью.
Третий метод предполагает использование резервирующей
станции, состоящей из совокупности элементов, каждый из которых содержит
позиции для размещения кода операции, наименования первого операнда, самого
первого операнда, признака доступности первого операнда, наименования второго
операнда, самого второго операнда, признака доступности второго операнда и
наименования регистра результата. Когда команда завершает исполнение и
вырабатывает результат, то наименование результата сравнивается с
наименованиями операндов в резервирующей станции.
Если в резервирующей станции обнаруживается команда, ждущая
этого результата, то данные записываются в соответствующую позицию и
устанавливается признак их доступности. Когда у команды доступны все операнды,
инициируется ее исполнение. Резервирующая станция следит за доступностью
операндов. Когда команда при диспетчеризации попадает в резервирующую станцию,
все готовые операнды из регистрового файла переписываются в поля этой команды.
Когда все операнды готовы, команда исполняется. Иногда резервирующая станция
содержит не сами операнды, а указатели на них в регистровом файле или
переупорядочивающем буфере.
Работа с памятью. Для вычисления адреса памяти, как
правило, требуется, по крайней мере, одно сложение. После вычисления адреса
может понадобиться его преобразование в физический адрес, осуществляемое
буфером трансляции адресов (TLB).
Проблемы конфликтов при доступе к разделяемому ресурсу -
ячейкам памяти, по сути те же, что и при доступе к регистрам.
Завершение выполнения команды. Завершающей фазой исполнения
команды является фаза изменения состояния процессора в соответствии с
выполненной командой. Назначение этой фазы - сохранение последовательной модели
исполнения программы, при реальном параллельном выполнении отдельных команд и
условном выполнении команд ветвления. Для изменения состояния процессора
применяются два основных способа, причем оба основаны на использовании двух
состояний: состояния, измененного в результате операции, и состояния,
требуемого для восстановления.
При первом способе сохраняется состояние процессора в
наборе контрольных точек или в буфере истории вычислений, которые, в случае
необходимости, используются для восстановления состояния.
Второй способ предполагает рассмотрение логического
(архитектурного) и физического состояния процессора. Физическое состояние
изменяется немедленно по завершении очередной команды. Архитектурное состояние
изменяется тогда, когда ясен результат условно выполненных команд. Для
реализации этого способа используется переупорядочивающий буфер: результаты из
буфера отправляются в файл архитектурных регистров и память.
В переупорядочивающем буфере для каждой команды содержится
соответствующее ей значение счетчика команд и значения других регистров,
которые необходимы для корректного обслуживания прерываний.
На рис.13. показаны основные компоненты суперскалярного
микропроцессора: функциональные модули - выполнения операций с плавающей (FPU) и фиксированной (ALU) точкой, устройство
загрузки/сохранения, файлы регистров, раздельная кэш-память команд и данных, а
также вспомогательные модули, обеспечивающие динамическое планирование
вычислительного процесса " устройство связи с кэш-памятью 2-го уровня,
блок переупорядочивания команд и блок предварительной дешифрации.
По крайней мере два обстоятельства ограничивают
эффективность использования суперскалярных архитектур. Во-первых, есть
ограничения на степень параллелизма на уровне команд, даже если применяется
самая совершенная техника суперскалярных вычислений. Первое ограничение
проистекает из условных переходов. Другое следует из того, что размер окна исполнения
(число активных команд, могущих исполняться параллельно) ограничивает возможный
присущий программе параллелизм, так как не рассматривается параллельное
исполнение команд, находящихся на расстоянии, превышающем размер окна.
Во-вторых, сложность суперскалярного процессора возрастает
как количество параллельно исполняемых команд и даже быстрее.
Вероятнее всего, что пределом распараллеливания при
суперскалярной обработке является запуск одновременно на исполнение в каждом
такте 7-8 команд.
Рис. 3. Структура
суперскалярного микропроцессора
3. VLIW-процессоры
Альтернатива суперскалярной обработке – процессоры с
длинным командным словом (VLIW).
Использование этого метода предполагает задание в командном слове совокупности
параллельно выполняемых команд. Подготовкой таких программ занимается
компилятор.
В отличие от программ для суперскалярных процессоров, код VLIW предлагает точный план
того, как процессор будет выполнять программу, план, которой компилятор создаёт
статически во время компиляции. Код точно указывает, когда будет выполнена
каждая операция, какие функциональные устройства будут работать и какие
регистры будут содержать операнды. Компилятор VLIW создаёт такой план выполнения, имея
полное представление о процессоре VLIW, причём создаёт этот план так, чтобы добиться требуемой
записи выполнения – последовательности событий, которые действительно
происходят во время работы программы. Компилятор передаёт план выполнения
(через архитектуру набора команд, которая точно описывает параллелизм)
аппаратному обеспечению, которое, в свою очередь, выполняет этот план.
Процессоры VLIW
представляют собой пример архитектуры, для которой программа представляет
точную информацию о параллелизме. Компилятор выявляет параллелизм в программе и
сообщает программному обеспечению, какие операции не зависят друг от друга. Эта
информация имеет важное значение для аппаратного обеспечения, поскольку в этом
случае оно «знает» без дальнейших проверок, какие операции можно начинать
выполнять в одном и том же такте.
Достоинства VLIW
заключаются в следующем:
Компилятор может эффективнее исследовать зависимости между
командами и выбирать параллельно исполняемые команды, чем это делает аппаратура
суперскалярного процессора, ограниченная размером окна исполнения.
VLIW
процессор имеет более простое устройство управления и потенциально может иметь
более высокую тактовую частоту.
Однако у VLIW
процессоров есть серьёзный фактор, снижающий их производительность. Это команды
ветвления, зависящие от данных, значения которых становятся известны только в
динамике вычислений. Окно исполнения VLIW-процессора, не может быть очень большим в виду отсутствия у
компилятора информации о зависимостях, формируемых динамически, в процессе
выполнения. Этот недостаток препятствует возможности переупорядочивания
операций в VLIW
процессоре. Кроме того, VLIW
реализация требует большого размера памяти имён, многовходовых регистровых
файлов, большого числа перекрёстных связей.
4.
EPIC-процессоры
Тип архитектуры Explicitly Parallel Instruction Computing – это эволюция
архитектуры VLIW,
которая абсорбировала в себе многие концепции суперскалярной архитектуры, хотя
и в форме, адаптированной к EPIC.
По сути, EPIC – это
«идеология», определяющая, как создавать ILP-процессоры, а также набор характеристик
архитектуры, которые поддерживают данную идеологию. К архитектуре EPIC можно отнести множество
различных архитектур набор команд (ISA). Помимо включения или исключения той или иной характеристики
архитектуры, которые мы рассматриваем, проектировщики процессоров должны
принимать традиционные решения по таким вопросам, как набор кодов операций,
диапазон поддерживаемых типов данных и количество используемых регистров. Любая
архитектура, относящаяся к классу EPIC должна реализовывать общую идеологию EPIC. В зависимости от того, какие из
характеристик EPIC
использует архитектура ISA,
она может быть оптимизирована для различных приложений, например, для систем
общего назначения или встроенных устройств. Из чего следует, что тип
архитектуры EPIC должен
быть архитектурой общего назначения, то есть архитектурой, способной достигать
высокой степени параллелизма на уровне команд как в числовых, так и в скалярных
приложениях.
Одна из целей создания архитектуры EPIC, состоит в том, чтобы сохранить
реализованный в VLIW
принцип статического создания плана выполнения, но в то же время обогатить его
возможностями суперскалярного процессора, которые позволили новой архитектуре
лучше учитывать динамические факторы, традиционно ограничивающие параллелизм,
свойственный VLIW.
Чтобы добиться этих целей, «идеология» EPIC была построена на следующих основных принципах:
Компилятор должен играть ключевую роль в создании плана
выполнения, а архитектура должна обеспечивать поддержку необходимых для этого
компонентов.
Архитектура должна обеспечивать функции, которые помогают
компилятору в использовании статических ILP.
Архитектура должна обеспечивать механизм для передачи плана
выполнения компилятора аппаратному обеспечению.
5. Направления развития ILP архитектуры
Как уже отмечалось ранее, в ILP процессорах предпринимается попытка
в рамках модели последовательных программ реализовать параллельное исполнение
команд этих программ. После извлечения последовательного потока команд между
командами устанавливаются только действительно необходимые зависимости по
данным. При этом сохраняется достаточно информации о порядке следования команд
в исходной программе, чтобы сохранить их порядок при наступлении прерывания.
Типичный ILP
процессор выбирает команды и исследует их по мере выполнения. Исследование
проводится с целью выявления и обработки команд перехода, идентификации типа
команды для ее дальнейшего направления на соответствующий исполнительный блок
или в буфер памяти. Выполняются также некоторые действия для смягчения
зависимостей по данным, например переименование регистров. VLIW процессор возлагает на компилятор
статическую реализацию тех функций, которые в суперскалярном процессоре
выполняются динамически.
За последние десять лет сравнение достоинств VLIW и суперскалярных
архитектур было основной темой в дискуссиях специалистов по вопросам ILP. Сторонники той и другой
концепции сводят обсуждение к противопоставлению простоты и ограниченных
возможностей VLIW и
сложности и динамическим возможностям суперскалярных систем. При этом ясно, что
оба подхода имеют свои достоинства и говорить об их альтернативности не
уместно. Очевидно, что создание плана выполнения во время компиляции
существенно для обеспечения высокой степени распараллеливания на уровне команд,
даже для суперскалярного процессора. Так же ясно и то, что во время компиляции
существует неоднозначность, которую можно разрешить только во время выполнения,
и для решения этой задачи процессор требует наличия динамических механизмов.
Сторонники EPIC
согласны с обеими позициями. Различие только в том, что компилятор может
управлять такими динамическими механизмами, применяя их выборочно там, где это
возможно. Столь широкие функции управления дают компилятору возможность
использовать правила управления этими механизмами более оптимально, чем это
позволяют аппаратные возможности.
Основные принципы EPIC, наряду с возможностями архитектуры, которые их
поддерживают, обеспечивают средства определения ILP-архитектур и процессоров,
позволяющих добиться более высокой степени ILP при меньшей сложности аппаратуры в самых разных прикладных
областях. IA-64 –
пример того, как принципы EPIC
могут применятся к вычислительным системам общего назначения - области, где
совместимость кода, имеет критически важное значение. EPIC даёт надежды на устойчивый рост
производительности микропроцессоров общего назначения на наших приложениях без
кардинального переписывания этих приложений. Однако можно быть уверенным в том,
что EPIC будет играть
столь же важную роль и на рынке высокопроизводительных встроенных систем. В
этой области более жёсткие требования к соотношению цена/производительность и
при этом более низкие требования к совместимости на уровне объектных модулей,
что заставляет использовать более настраиваемые архитектуры.
Дальнейшее повышение производительности микропроцессоров
связывается в настоящее время со статическим и динамическим анализом кода с
целью выявления резервов параллелизма уровня отдельных команд и программных
сегментов с использованием информации, предоставляемой компилятором языка высокого
уровня. Исследования в данном направлении привели к разработке мультискалярной
архитектуры процессоров, которые являются дальнейшим развитием ILP архитектуры.