Den største ulempe ved at implementere fysiske tokens for sikkerhed er tab eller tyveri . Hvis et fysisk token går tabt, stjålet eller beskadiget, kompromitteres den sikkerhed, den giver, straks. I modsætning til noget som en adgangskode, der kan ændres, kræver et tabt fysisk token ofte en langvarig og potentielt ubelejlig udskiftningsproces. Dette gør brugeren sårbar, indtil der udstedes en erstatning.