Het VSC steunt niet alleen op de Tier-1 supercomputer om aan alle rekennoden te voldoen. De HPC rekenclusters van de Universiteit Antwerpen, VUB, Universiteit Gent en de KU Leuven vormen samen de Tier-2-infrastructuur van het VSC, met een rekencapaciteit van 437,7 Tflops eind 2014. De Universiteit Hasselt investeert mee in de rekencluster van de KU Leuven. Een aantal clusters werden gebouwd voor een specifieke familie van toepassingen. Alle clusters worden beheerd door het HPC/ICT-team van de universiteit waar ze opgesteld staan. De clusters zijn onderling verbonden met een 10 Gbps BELNET netwerk zodat het eenvoudig is om toegang te krijgen tot een cluster aan een andere universiteit. Zo kan een VSC-gebruiker van UAntwerpen probleemloos gebruik maken van de infrastructuur aan de KU Leuven.

Universiteit Antwerpen

De hoofdcluster van de Universiteit Antwerpen is Hopper. De belangrijkste karakteristieken van deze cluster zijn:

  • 168 rekennodes met twee 10-core Intel processoren van de Ivy Bridge generatie
  • 64 GiB RAM (144 nodes) of 256 GiB RAM (24 nodes)
  • FDR-10 Infiniband interconnect
  • 100 TB centrale schijfruimte voor home, data en scratch directories
  • 4 login nodes voor toegang tot de cluster

Deze cluster is geschikt voor een breed bereik aan toepassingen, gaande van capacity computing tot lichte capability computing rekentaken.

In de loop van 2017 komt er naast Hopper een nieuwe cluster in gebruik, met 152 gewone rekennodes en faciliteiten voor visualisatie en het testen van programma's die gebruik maken van GPU computing of Xeon Phi.

VUB

De VUB heeft één cluster, hydra, met nodes met een sterk wisselende architectuur en leeftijd. Periodiek worden de oudste nodes vervangen door nodes met de nieuwste technologie. Hydra heeft 48 nodes met 2 4-core AMD processoren van de “Shangai”-generatie en 32 GB RAM onderling verbonden met een SDR InfiniBand netwerk. Daarnaast zijn er 64 nodes met 2 8-core AMD CPUs van de “Magny Cours”-generatie en 64 GB RAM, 9 nodes met 2 16-core AMD CPUs van de “Interlagos”-generatie en 256 GB geheugen, en 29 nodes met 2 10-core Intel “Ivy Bridge” processoren en 64 GB geheugen. De cluster bevat ook 6 nodes met 2 10-core “Ivy Bridge” CPUs, 64 GB RAM en 2 K20x NVIDIA GPUs (“Kepler” architectuur) en twee dergelijke nodes met twee Intel Xeon Phi 5110P borden (“Knight’s Corner”-generatie). Al deze nodes zijn onderling verbonden met een QDR InfiniBand netwerk. Alle nodes hebben ook een lokale harde schijf. Voor de home directories is 4,9 TB beschikbaar op een centraal NAS-systeem, terwijl voor het scratch bestandensysteem een apart systeem voorzien is met een capaciteit van 56 TB.

UGent

UGent heeft gekozen voor een opstelling met meerdere gespecialiseerde clusters:

  • Gastly is een cluster voor single-node jobs. Gastly heeft 56 nodes met twee 4-core Intel processoren van de “Nehalem”-generatie en 12 GB RAM. De nodes zijn enkel d.m.v. Ethernet verbonden.
  • Gulpin is een cluster met 34 rekennodes en 4 8-core AMD “Magny-Cours” processoren en 64 GB RAM per node. De nodes zijn verbonden met QDR Infiniband. De cluster heeft ook eigen scratch bestandensysteem van 53 TB. Deze cluster is geschikt voor grotere shared memory jobs en voor multi-node jobs.
  • Dugtrio heeft 16 nodes met 2 6-core Intel “Westmere” processoren en 96 GB RAM per node. De nodes zijn verbonden met een dubbel uitgevoerd QDR InifiniBand netwerk en kunnen met ScaleMP vSMP software gecombineerd worden tot een grotere virtuele shared memory cluster.
  • Raichu is een 64-node cluster met twee 8-core Intel “Sandy Bridge” processoren en 32 GB RAM per node. Deze cluster is opnieuw bedoeld voor single node jobs.
  • Delcatty heeft 160 nodes met elk twee 8-core “Sandy Bridge” CPUs en 64 GB RAM. De nodes zijn verbonden met een snel FDR InfiniBand netwerk, wat deze cluster uitermate geschikt maakt voor multi-node jobs. De cluster heeft verder ook een eigen scratch bestandensysteem van 300 TB. De architectuur van deze cluster lijkt sterk op die van de Tier-1 cluster Muk.
  • Golett is een 200-node cluster met twee 12-core Intel “Haswell” processoren en 64 GB RAM per node, verbonden met een QDR InfiniBand netwerk. Dit maakt dit een erg veelzijdige cluster, geschikt voor single node en behoorlijk wat multi-node jobs.
  • Phanpy is een 16-node cluster met twee 12-core Intel “Haswell” processoren en 512 GB RAM per node, verbonden met QDR InfiniBand. Deze cluster dient vooral voor jobs die erg veel geheugen nodig hebben (en vooral Big Data toepassingen).

Daarnaast is er een groot centraal schijvensysteem van 240 TB voor de home- en data-directories, aangevuld met een bijkomend schijfopslagsysteem van meer dan 700 TB waarvan een klein deel bestaat uit SSDs.

KU Leuven/UHasselt

De KU Leuven en UHasselt baten een gemeenschappelijke Tier-2-infrastructuur uit.

De hoofdbrok van deze infrastructuur is een grote thin node cluster met 176 nodes met 2 10-core Intel “Ivy Bridge” processoren en 64 GB RAM, 32 dergelijke nodes met 128 GB RAM, en 48 nodes met twee 12-core “Haswell” nodes en 64 GB RAM. Al deze nodes zijn verbonden met een QDR InfiniBand netwerk.

Daarnaast beschikt de KU Leuven nog over een SGI UV2 SMP-systeem. Dit systeem is onderverdeeld in 2 partities. Een partitie heeft 48 10-core “Ivy Bridge” processoren en 12 TB RAM, de andere 16 10-core “Ivy Bridge” processoren en 2 TB RAM. Beide partities kunnen ook gekoppeld worden tot één grote partitie. Om de performantie te optimaliseren, heeft deze cluster ook een eigen scratch filesysteem van 10 TB per patitie.

Verder heeft de KU Leuven nog een kleine GPU/Xeon Phi cluster. In deze cluster zitten GPU/Xeon Phi nodes geïntegreerd die als een experimentele Tier-1-setup aangekocht werden: 8 nodes met 2 NVIDIA K20x kaarten (“Kepler” architectuur) en 8 nodes met 2 Intel Xeon Phi kaarten(“Knight’s Corner”-generatie), en X nodes met 2 12-core Haswell processoren, 64 GB RAM en NVIDIA Tesla K40 kaarten (met 12 GB RAM per kaart).

De home- en datadirectories worden voorzien door een NetApp-systeem met 60 TB schijfruimte. Daarnaast zijn er nog twee DDN-systemen, één met 92 TB en één met 192 TB schijfruimte, met het GPFS-bestandensysteem, die gebruikt worden voor scratch space en andere data waarvoor het NetApp systeem minder geschikt is. Daarnaast kan vanuit het VSC gebruik gemaakt worden van 600 TB capaciteit op een 1,2 PB schijvensysteem voor lange-termijndataopslag.

Er wordt ook bijzonder veel aandacht besteed aan de login-infrastructuur. Naast 2 gewone login nodes, zijn er ook 4 nodes voor interactieve toepassingen en 2 nodes waarop desktopvirtualisatiesoftware draait.

BEgrid

De VUB beheert ook een flink deel van de BEgrid gridinfrastructuur, waarin het VSC ook meeinvesteert. De gridcluster aan de VUB heeft momenteel 104 rekennodes met een verscheiden architectuur. De hoofdbrok wordt gevormd door een partitie van 30 nodes met 2 4-core Intel Harpertown-generatie processoren en 32 GB RAM en 52 nodes met twee 6-core Intel Westmere-generatie processoren en 48 GB RAM. De gridinfrastructuur beschikt over erg veel schijfopslagruimte: Er is een file server met een capaciteit van 100 TB en daarnaast tweede erg groot opslagsysteem voor data met een capaciteit van 2,2 PB.

Daarnaast wordt er ook nog een kleine testopstelling voor (infrastructure) cloud-toepassingen beheerd. Deze heeft 8 nodes met 2 10-core Intel Ivy Bridge processoren en een eigen 36 TB-bestandenserver.

Verdere details

Deze pagina geeft enkel een hoog-niveau overzicht van de infrastructuur. Meer details, waaronder de technische gegevens die nodig zijn om in te loggen op de machines of jobs te starten, vind je in de sectie “Available hardware” van de gebruikersdocumentatie op het gebruikersportaal.