Essa é uma dúvida recorrente (e normal).
Esta foi uma regra que começou a ser aplicada há uns anos - e acredita que, se te cruzasses com um muro que tivesse uma cache, nessa altura, perceberias imediatamente o porquê. Era frequente encontrarmos muros bastante danificados, ou mesmo destruídos, pela procura das caches por parte dos geocachers. Agora, imagina o que os donos dos muros pensavam do geocaching... (e o geocaching, quer queiramos quer não, precisa do suporte da opinião pública para continuar a ser jogado).
Mesmo aquilo que, para nós, owners, pareça ser uma indicação clara, poderá não o ser para outros geocachers. Além do mais, essa indicação poderá ser removida do local. E é também frequente que a própria cache mude de lugar (é relativamente normal os owners não encontrarem as caches nos locais onde as deixaram inicialmente - e não estou a brincar, acredita!).
Por isso, esta regra - que ajuda a salvaguardar propriedade privada, as boas condições dos muros e a reputação do geocaching.
P.S- Qualquer questão, estás à vontade.