Olá Lessando, boa tarde.
O fato de não se poder enxergar os espelhos, bandeiras ou carros não significa que não se saiba onde estão. Uma coisa é localização, outra bem diferente é capacidade de resolução ótica.
Por outro lado, os pulsos de lasers empregados no experimento têm um cone de dispersão bastante grande quando chegam à Lua, apresentando um diâmetro de cerca de 7 km. Por isso, mesmo que "mal apontado", ainda atingem os retrorefletores.
Esses retrorefletores são espelhos desenhados especialmente para o experimento e refletem a luz praticamente no mesmo ângulo incidente.
De cada 10^17 (número 1 seguido de 17 zeros) fótons que atingem os espelhos a cada segundo, apenas 1 retorna à Terra e pode ser identificado devido à sua cor, muito específica.
Um bom ponto de partida para entender o experimento é na página em inglês da Wikipedia: [Ver site] Espero ter ajudo. :-)