Au XIème siècle, une petite chapelle dédiée à Saint-Césaire, est construite sur les lieux, accolée au mur oriental du temple.

Elle est typique de l'architecture romane provençale et a été consacrée par l'archevêque d'Arles en 1054.

Entièrement construite en pierres de taille locales, c'est-à-dire avec les pierres du temple, elle est couverte de dalles calcaires, soutenues par une corniche.

Le sol de la chapelle est 60 cm en-dessous du niveau du temple.

Des traces d'un escalier, encore existant au XVIème siècle et permettant de descendre dans la chapelle, ont été découvertes ainsi qu'une ouverture, pratiquée dans le mur latéral du temple, à l'époque mérovingienne ou carolingienne.

A l'origine cette ouverture était encadrée par deux colonnettes dont une, déplacée lors d'une rénovation, subsiste encore et est visible au-dessus de la chapelle. Elle ressemble étrangement à la colonne cannelée romaine, en miniature.

La porte actuelle s'ouvre côté nord contre le mur du temple. La nef de forme carrée est obscure et seule l'abside en cul-de-four est éclairée par deux fenêtres basses, situées au ras du sol et surmontées chacune d'un superbe arc monolithe.