Новая память Samsung HBM2 - встроенный AI-процессор и вычислительная мощность 1,2 терафлопс

Сегодня Samsung объявила, что в новую память на основе HBM2 встроен AI-процессор, который может выдавать до 1,2 терафлопс вычислительной мощности, позволяя памяти выполнять операции, обычно зарезервированные для процессоров, видеокарт, ASIC, или FPGAs.

Новые микросхемы HBM-PIM (обработка в памяти) внедряют механизм ИИ в каждый банк памяти, тем самым передавая операции обработки на сам HBM. Новый класс памяти предназначен для облегчения бремени перемещения данных между памятью и процессорами, что часто является более дорогостоящим с точки зрения энергопотребления и времени, чем фактические вычислительные операции.

Samsung заявляет, что применительно к существующей памяти HBM2 Aquabolt эта технология может обеспечить вдвое большую производительность системы при снижении энергопотребления более чем на 70%. Компания также утверждает, что новая память не требует каких-либо изменений в программном или аппаратном обеспечении (в том числе в контроллерах памяти), что ускоряет вывод на рынок первых пользователей.

Samsung заявляет, что память уже проходит испытания в ускорителях искусственного интеллекта с ведущими поставщиками решений для искусственного интеллекта. Компания ожидает, что все валидации будут завершены в первой половине этого года, что означает быстрый выход на рынок.

Новая память Samsung HBM2

Samsung представила более тонкие детали своей новой архитектуры памяти во время Международной виртуальной конференции по твердотельным схемам (ISSCC) на этой неделе.


Как можно увидеть, каждый банк памяти имеет встроенный программируемый вычислительный блок (PCU), который работает на частоте 300 МГц. Этот блок управляется с помощью обычных команд памяти от хоста, чтобы включить обработку в DRAM, и он может выполнять различные вычисления FP16. Память также может работать либо в стандартном режиме, то есть в обычном режиме HBM2, либо в режиме FIM для обработки данных в памяти.

Каждый кристалл с PCU имеет половину емкости (4 Гб) на кристалл по сравнению со стандартным кристаллом HBM2 8 Гб. Чтобы решить эту проблему, Samsung использует стеки по 6 ГБ, объединив четыре кристалла 4 ГБ с PCU с четырьмя кристаллами 8 ГБ без модулей PCU (в отличие от стека 8 ГБ с обычным HBM2).

Примечательно, что документ и слайды выше относятся к этой технологии как DRAM с функцией в памяти (FIMDRAM), но это было внутреннее кодовое название технологии, которая теперь носит торговую марку HBM-PIM. Примеры Samsung основаны на прототипе 20-нанометрового чипа, который обеспечивает пропускную способность 2,4 Гбит / секунду на вывод без увеличения энергопотребления.



В документе описывается базовая технология как «DRAM с функцией в памяти (FIMDRAM), которая объединяет 16-разрядный механизм обработки нескольких данных с одной инструкцией в банках памяти и использует параллелизм на уровне банка для обеспечения пропускной способности обработки в 4 раза выше, чем при отключении. Во-вторых, методы, которые не требуют модификации обычных контроллеров памяти и их командных протоколов, что делает FIMDRAM более практичным для быстрого внедрения в промышленности».

К сожалению, мы не увидим этих возможностей в новейших игровых графических процессорах, по крайней мере, пока. Samsung отмечает, что новая память предназначена для удовлетворения требований крупномасштабной обработки данных в центрах обработки данных, системах HPC и мобильных приложениях с поддержкой искусственного интеллекта.

Как и в случае с большинством методов обработки в памяти, мы ожидаем, что эта технология выйдет за рамки ограничений охлаждения микросхем памяти, особенно с учетом того, что микросхемы HBM обычно развертываются в стеках, которые не совсем способствуют легкому охлаждению. В презентации Samsung не было рассказано, как HBM-PIM решает эти проблемы.

Kwangil Park, старший вице-президент по планированию продуктов памяти в Samsung Electronics, заявил: «Наш новаторский HBM-PIM - первое в отрасли программируемое решение PIM, адаптированное для различных рабочих нагрузок, управляемых ИИ, таких как высокопроизводительные вычисления, обучение и логические выводы. Мы планируем развивать этот прорыв, за счет дальнейшего сотрудничества с поставщиками решений AI для еще более продвинутых приложений на основе PIM».