Galileo Galilei, Compasso geometrico e militare