Saint-Mandrier liegt auf der Halbinsel Presqu'île de Cépet, die, nur über eine schmale Sandbank mit dem Festland verbunden, in die Bucht von Toulon ragt. Nach Süden hin fällt die Felsküste weitgehend steil zum Meer hinab. Im Norden liegt, geschützt in einer weit eingeschnittenen Bucht der Hafen mit dem alten Ortskern. Der höchste Punkt der Halbinsel liegt 124 m über dem Meer. Der Küste entlang, rund um den kleinen Hafen, liegt die alte Fischersiedlung.