Google tager billed-genkendelse til et nyt niveau

En floskel lyder, at et billede siger mere end 1.000 ord.

Den frase har søgeselskabet Google så at sige vendt om, så googlernes billedsøgninger fremover skal bruges til mere præcist at beskrive og finde billeder på verdens største søgemaskine.

Google forklarer, at nye måder at kombinere forskellige søgeteknologier på vil gøre selskabets søgemaskineri bedre til at finde billedmatches ved brug af komplekse søgetermer som ‘to pizzaer ligger på en ovn’.

Dermed tager selskabet (endnu) et skridt mod at gøre sin søgemaskine mere menneskelig, så en bruger dels ikke længere behøver at spekulere i maskinvenlige søgetermer. Snarere kan han/hun beskrive sin billedsøgning i dagligdags tale og samtidig få bedre, forklarede billedresultater.

“Vi har udviklet et maskinlæringssystem, der automatisk kan producere billedtekster til præcist at beskrive billederne, så snart vi ser dem,” forklarer Oriol Vinyals, Alexander Toshev, Samy Bengio og Dumitru Erhan fra Googles Research-team på selskabets blog.

Kombinerer teknologier
I dag er det muligt at søge efter billeder med ord eller simpelthen uploade eller trække billeder ind Googles billed-søgefelt.

Dermed søges der efter billeder, der matcher det enkelte ord eller form- og farveligheder med det uploadede billede.

Med Googles nye billedsøgninger bliver flere forskellige parametre sat i spil for eksempel ord som ‘to’, ‘pizzaer’, ‘ligger på’ og ‘en ovn’ – og ikke mindst ordenes indbyrdes relation til hinanden.

“En præcis beskrivelse af et komplekst scenario kræver en dybere repræsentation af, hvad der foregår, en forståelse for objekternes indbyrdes relationer og derefter skal man oversætte det til hele på et forklarligt sprog,” skriver Google Research-medarbejderne på bloggen.

Mere specifikt kombinerer Google neurale systemer trænet til at klassificere objekter på et billede med neurale netværk, der kan producere ord og sætninger, der minder om vores naturlige sprog – uanset hvilket sprog, man taler.

Kørt flere tests
Google har inden blog-publiceringen af den nye søgeteknologi afprøvet sit nye billedsøgesystem med åbne datasæt fra blandt andre Flickr og Pascal.

“De genererede sætninger er fornuftige. Systemet gør det også godt i kvantitative evalueringer med BLEU,” skriver Google-medarbejderne på bloggen.

Her er BLEU (Bilingual Evaluation Understudy) en algoritme, der bruges til at evaluere kvaliteten af en sætning, der er maskinoversat fra et sprog til et andet.

Teknologien er stadig i sin vorden, og du kan læse mere om Googles billed- og tekstsøgningsteknologi her.

Læs også:
Google genopfinder mail-klienten med Inbox

Google risikerer bøde på 35 milliarder for unfair søgeresultater