Daily Archives: August 12, 2014

Ny Google-arkitektur: Sådan får du enorm fart på data-analyserne



Med en ny-udviklet arkitektur i hånden vil Google fremover kunne koble adskillige store datacentre sammen til gigantiske datawarehouses.

Det vil kunne øge både regnekraften og driftsikkerheden ganske betydeligt, og det vil kunne føre til stærkt forbedrede muligheder inden for cloud-baseret data-analyse, som Google har store forventninger til.

På tværs af datacentre
Google kalder den nye teknologi for Mesa.

Ifølge selskabet kan en Mesa-implementation rumme flere petabyte data og opdatere millioner af data-linier i sekundet, ligesom en Mesa-implementation vil kunne håndtere flere milliarder forespørgsler om dagen.

Udviklingen af Mesa har egentlig sigtet mod at udvikle et avanceret analyse-værkøtj til Googles egen annonce-forretning, men anvendelsesmulighederne er mange, lyder det fra selskabets udviklere.

Ifælge Google løser Mesa en række operationelle problemer i de traditionelle datawarehouse-teknologier.

Eksempelvis opdaterer de fleste kommcercielle datawarehouse-løsninger ikke data-pakkerne hele tiden, men kun for eksempel én gang dagligt eller ugentligt.

Her er Mesa bygget til at analysere og behandle data i det øjeblik, de er skabt.

Det gælder også, at Google har brug for ensartethed – såkaldt consistency – i data-behandlingen. Det betyder, at systemerne skal producere nøjagtigt det samme resultat fra samme kilde på en given forespørgsel – uanset hvilket datacenter, der behandler forespørgslen.

Mesa bygger på en række af Googles egne teknologier, der blandt andet tæller fil-systemet Colossus, storagesystemet Big Table (der ligger til grund for Apache Hadoop) og analyse-frameworket MapReduce.

Posted in computer.