Реклама

Наш канал:

Таненбаум Э.- Архитектура компьютера. стр.471

Естественно, для хранения информации о состоянии каждой строки кэша («чистая» или «грязная») требуется информировать исходный узел о каждом изменении строки кэша, даже если существует только одна копия этой строки. Если же таких копий несколько, изменение одной из них означает необходимость объявления всех остальных недействительными, поэтому нужен какой-то протокол, позволяющий избежать ситуации гонок. Например, чтобы изменить совместно используемую строку кэша, один из держателей этой строки перед ее изменением мог бы запросить монопольный доступ к ней. Такой запрос означал бы объявление всех остальных копий недействительными. Другие возможные оптимизации CC-NUMA-машин обсуждаются в [195].

NUMA-мультипроцессор Sun Fire Е25К

В качестве примера NUMA-машин с общей памятью рассмотрим семейство мультипроцессоров Sun Fire компании Sun Microsystems. В этом семействе имеется много различных моделей, из которых мы рассмотрим мультипроцессор Е25К, содержащий 74 процессора UltraSPARC IV. По своей сути, каждый из этих процессоров представляет собой пару процессоров UltraSPARC III Си с общими кэшем и памятью. Система Е15К отличается только тем, что вместо сдвоенных в ней используются одиночные процессоры. В семействе есть и более простые модели, но нам интересно выяснить, как работают модели с максимальным числом процессоров.

Система Е25К содержит 18 наборов плат, каждый набор состоит из платы процессор-память, платы ввода-вывода с четырьмя PCI-слотами и платы расширения. Плата расширения попарно объединяет платы процессор-память и ввода-вывода, связывая эти пары с центральной панелью, которая несет остальные платы и обеспечивает их коммутацию. На каждой плате процессор-память находится 4 процессора и 4 модуля ОЗУ по 8 Гбайт. Таким образом, на каждой плате процессор-память имеется 8 процессоров и 32-гигабайтное ОЗУ (для Е15К — 4 процессора и столько же 32-гигабайтных ОЗУ). В целом в системе Е25К имеются 144 процессора, 576 Гбайт памяти и 72 PCI-слота, как показано на рис. 8.28. Любопытно, что число 18 было выбрано исключительно из соображений габаритов: система из 18 наборов плат — это самая большая система, которую можно внести в дверной проем, не разбирая на части. В то время как программисты думают только о нулях и единицах, разработчикам приходится задумываться, в том числе, и о том, как покупатель будет вносить их творение в дом.

Для соединения 18 наборов плат на центральной панели имеются три схемы перекрестной коммутации размером 18 х 18 — по одной схеме для адресных ли ний, ответов и данных. В дополнение к 18 наборам плат, в центральную панель вставляется плата управления системой, содержащая, помимо процессора, интерфейсы для подключения дисковода, ленточного накопителя, последовательных линий и прочей периферии, необходимой для загрузки системы, ее поддержки и управления.

Рис, 8,28. Мультипроцессор Е25К компании Sun Microsystems

Подсистема памяти — сердце любого мультипроцессора. Как же распределенная память соединяется со 144 процессорами? Прямолинейные подходы, то есть большая общая шина слежения или схема перекрестной коммутации размером 144 х 72, в данном случае малопригодны. Первый вариант плох тем, что общая шина становится узким местом всей системы, а второй не годится потому, что разрабатывать такой коммутатор сложно и дорого. Поэтому большим мультипроцессорам, таким как Е25К, неизбежно приходится использовать нетривиальные подсистемы памяти.