Sieh es einfach als Zusatz an.
Google ist sehr wohl in der Lage eine Seite auch ohne Sitemap zu crawlen, genauso wie ein User auch in der Lage ist eine Seite zu navigieren wo alle Links kreuz un quer in der gegend rumfliegen statt beispielsweise in einer Navigation vereint zu sein.

Die Frage ist nu: wie Leicht willst du es Google machen?