InfiniBand
Материал из Википедии — свободной энциклопедии
Infiniband - высокоскоростная коммутируемая последовательная шина, применяющаяся как для внутренних (внутрисистемных), так и для межсистемных соединений.
Стандарты Infiniband cпецифицированы и поддерживаются InfiniBand Trade Association.
Содержание |
[править] Краткое описание
Подобно и PCI Express Infiniband использует двунаправленную последовательную шину. Базовая скорость - 2.5 Gbps в каждом направлении; в настоящий момент (2006 г.) применяются, чаще всего, Single Data Rate (SDR) каналы (англ. lanes) 1x, 4x и 12x. Поддерживается также работа с Double Data Rate (DDR, 5 Gbps) и Quad Data Rate (QDR, 10 Gbps).
Основное назначение Infiniband - межсерверные соединения, в т.ч. и для организации RDMA (Remote Direct Memory Access).
| SDR | DDR | QDR | |
|---|---|---|---|
| 1X | 2.5 / 2 Gbit/s | 5 / 4 Gbit/s | 10 / 8 Gbit/s |
| 4X | 10 / 8 Gbit/s | 20 / 16 Gbit/s | 40 / 32 Gbit/s |
| 12X | 30 / 24 Gbit/s | 60 / 48 Gbit/s | 120 / 96 Gbit/s |
[править] Протоколы и API
Infiniband используется следующими протоколами и API:
- RDMA (Remote Direct Memory Access) - группа протоколов удалённого прямого доступа к памяти, при котором передача данных из памяти одного компьютера в память другого компьютера происходит без участия операционной системы, при этом исключается участие CPU в обработке кода переноса и необходимость пересылки данных из памяти приложения в буферную область ОС, т.е. данные пересылаются напрямую на соответствующий сетевой контроллер.
- uDAPL (User Direct Access Programming Library) - библиотека API для абстрактного транспорта прямого доступа (Direct Access Transport, DAT). uDAPL (и другие API - в частности kDAPL - kernel DAPL) разрабатывается и поддерживается организацией DAT Collaborative
- IPoIB (IP over Infiniband) - группа протоколов, описывающих транспорт IP поверх Infiniband:
- SRP (SCSI RDMA Protocol) - протокол обмена данными между SCSI-устройствами с использованием RDMA. Определён в стандарте ANSI INCITS 365-2002
- DDP (Direct Data Placement): RFC 4296 The Architecture of Direct Data Placement (DDP) and Remote Direct Memory Access (RDMA) on Internet Protocols
- SDP (Socket Direct Protocol) - протокол установления виртуальных соединений и обмена данными между сокетами поверх Infiniband, передача данных не использует TCP стек ОС, однако использует IPoIB-стек для разрешения IP-адресов.
[править] Характеристики
- Производители: наиболее распространены аппаратные решения от компании Mellanox, SilverStorm Technologies, Voltaire и Topspin.
- Тесты производителей показывают пропускную способность на уровне MPI около 800 Мб/сек и время задержки — 5—7 мкс.
- Топология: коммутируемая с использованием Fat Tree для больших конфигураций, существующие коммутаторы поддерживают до 96 портов.
- Программное обеспечение: драйверы от производителей аппаратных средств, версия MPICH университета Огайо, а также коммерческие продукты от Scali и MPI Software Technology.
Ниже приведены наиболее часто используемые типы коммуникаций для суперкомпьютеров и их основные характеристики.
