Første etape af Danmarks kraftigste supercomputer bliver officielt indviet i dag. Supercomputeren Computerome debuterer som nummer 121 på listen over offentligt kendte supercomputere i verden. Det gør den til den suverænt kraftigste lige nu i Danmark, og planen er, at den skal være Skandinaviens kraftigste, når den er fuldt udbygget.
Computerome fylder lige nu blot to pavilloner, som sammen med tilhørende køleanlæg fylder 800 kvadratmeter ud af de 3.500 kvadratmeter, der er afsat til supercomputeren på DTU’s Risø-campus.
Når Computerome ikke debuterer højere på ranglisten over supercomputersystemer, så er det dog også resultatet af en prioritering. Computerome er nemlig konstrueret til at understøtte forskning inden for det biologiske område, som kræver flere ressourcer til storage og mere hukommelse end eksempelvis fluiddynamikmodeller, som bruges i flyindustrien.
»Fokus her er mere at få en meget stor båndbredde til hukommelse. I fluiddynamik er der meget fokus på hurtige processorkerner, og ikke hvor hurtigt man kan trække data ind,« forklarer direktør Peter Kaae fra GoVirtual, som har sammensat den nye supercomputer, til Version2.
Mange af de kraftigste supercomputere indeholder en betydelig andel specialprocessorer, som bygger på grafikprocessorer, der oprindeligt er udviklet til krævende computerspil og 3D-applikationer. De er ekstremt effektive til parallelle udregninger, men er ikke lige egnede til alle formål. Derfor er de blevet fravalgt i Computerome.
»Grafikprocessorer har deres fordele og fungerer godt for nogle brugere – især hvis man har én kode, man kører igen og igen, som man kan optimere. Her vil det hele tiden være ny kode, der skal køre. Man skal skrive sine programmer til grafikprocessorerne, og til den her computer skal brugerne ikke knokle med at kode eller hyre parallelliseringseksperter,« siger Peter Kaae.
Computerome kommer til at få flere hundrede forskellige brugere, som vil omfatte både forskere fra europæiske universiteter og private medicinalfirmaer. Derfor vil mange af brugerne ikke have mulighed for at optimere deres kode til lige netop at køre på Computerome, og derfor er designet mere rettet mod generelle udregninger.
Planen er, at supercomputeren også skal åbnes for, at eksempelvis hospitalernes kræftafdelinger vil kunne anvende den til at sammenligne kræftpatienters DNA for at finde frem til, hvilke behandlingsformer der passer bedst til den enkelte patient.
Med så mange forskellige brugere vil der også blive lagt en cloud-frontend på Computerome, som skal gøre det let og sikkert for brugerne at køre deres ofte fortrolige data på systemet.
Fysisk er supercomputeren placeret i to pavilloner eller containere af stål, hver med plads til en række rackskabe med dør og loft over en varm gang på bagsiden af skabene. Kølingen foregår med in-row-køling, som forsynes med kølevand, der er ført ind under gulvet og primært køles med frikøling.
Computerome har dog også en varmepumpe, der gør det muligt at trække overskudsvarmen ud fra returvandet fra kølesystemet og anvende det til at forsyne Risø-campus med varmt vand til opvarmning.
Hver pavillon er designet til at rumme udstyr med en samlet effekt på 500 kilowatt. Hele området, der er afsat til supercomputeren er klargjort til at kunne forsyne en supercomputer med 7 megawatt strøm.
Hovedbestanddelen af Computerome er 540 HP-bladeservere, der hver er bestykket med to Intel Xeon E5-processorer på to gigahertz og med 14 kerner og 128 gigabyte DDR4-hukommelse. Det er ét af de punkter, hvor evnen til at håndtere store datamængder har haft højere prioritet end rå regnekraft, som kunne være opnået med processorer med en højere clockfrekvens.
»De fleste af de programmer, der skal køre på Computerome har brug for at hente data. En hurtigere processor ville stå og vente på data,« forklarer Peter Kaae.
Supercomputeren har også 27 HP-servere med 1 terabyte DDR3 RAM og fire Intel Xeon E5-processorer med otte kerner, samt yderligere to servere med samme bestykning, der fungerer administrationsnoder i klyngecomputeren.
I alt har Computerome altså 16.048 processorkerner til rådighed og 98 terabyte RAM. Det hele er forbundet med et Mellanox Infiniband-netværk, som også er koblet til EMC Isilon storage-systemet.
Forskerne, der skal anvende Computerome, har behov for at kunne regne på meget store datasæt, hvor eksempelvis 10.000 patienters genomen sammenlignes, og da et genom kan fylde 100 gigabyte, stilles der store krav til storagepladsen i supercomputeren.
Det nuværende Isilon-system har en kapacitet på 3 petabyte og kan levere mindst 50 gigabyte pr. sekund til noderne i klyngen. Risø-storagesystemet er desuden spejlet i et tilsvarende storagesystem hos DTU i Lyngby.
Derudover er der tilknyttet to båndmaskiner fra EMC, som kan lagre op mod 400 terabyte data i døgnet.
På softwaresiden kører Computerome med Red Hat Linux, Moab Workload Manager, Bright Cluster Management samt HP’s administrations- og monitoreringssoftware til serverne.
Leave a Reply