L’abbé Xavier Mouls va connaître son purgatoire arcachonnais. Tout lui réussit jusqu’au moment où, rien n’étant trop beau pour son église, il va se trouver devant des difficultés financières. D'abord, parce que, malgré le don de dix mille francs de Napoléon III et d’Eugénie, le bâtiment n’a toujours pas son transept. Ce qui n'empêche pas en 1862, Mouls de doter le monument d’un carillon. Et, comme il ne fait pas les chose à moitié, pour quatorze mille francs, il en commande un de trente-deux cloches afin, dit-il, de donner toutes sortes de concerts. Le 7 septembre 1862, le cardinal Donnet, décidément de toutes les festivités arcachonnaises, bénit les cloches posées sur la parvis de Notre-Dame. Le lendemain, on grimpe le carillon dans le clocher. Catastrophe : vingt-sept des trente-deux cloches refusent de sonner ! Autre catastrophe : le magot recueilli pour le carillon a été employé par Mouls pour d'autres achats ! Le Conseil de fabrique, ulcéré, se trouve endetté.

Un an après, en 1863, Mouls veut de grandes orgues pour son église. Le Conseil, on l’a vu, croule sous les dettes. C’est Deganne qui paie l’instrument, tirant Mouls d’un bien mauvais pas. De plus, l’abbé estime que Lamarque, le maire, manque d’ambition pour la cité. Il faut observer aussi que la commune n’a pas donné un seul sou pour le carillon et pour l’orgue. Mouls, qui se sent lâché, se fâche alors avec Lamarque, soutient Deganne aux élections de 1865 et le fait élire, avec Héricart de Thury comme maire. Aussitôt, Lamarque dénonce Mouls au Préfet, pour avoir comploté contre la municipalité en place. Mouls se rebiffe "J’ai parlé des élections mais de là à m’accuser, il y a un abîme alors que moi, pendant un an, j'ai été surveillé jusque dans mon église. Mais tous ces efforts ont été vains pour empêcher la chute d’une administration et de son système d’intimidation".

La même année 1865, son dépit de n’avoir pas été nommé président de l’importante Société de Secours mutuel des marins du Bassin, amène Mouls à maltraiter la fanfare testerine qui accompagne les marins mutualistes. Puis, du haut de la chaire, il lance des propos peu aimables aux assistants. C’est le scandale, quand l’administrateur de la marine lui répond publiquement, "avec une modération digne de sa fonction", dit Ostende Allen, le président de la Société Mutuelle. Il raconte l’événement au “Courrier de la Gironde”, lequel se fait une joie vorace d’en publier tous les détails. On imagine l’embarras à l’Evêché quand on y apprend la mauvaise nouvelle, aggravée du fait que les six cents marins ont quitté l’église en plein office, derrière l’administrateur de la Marine, en grande tenue mais fort offusqué. La semaine suivante, mille cinq cents marins mécontents se retrouvent à l’église Saint-Vincent de La Teste où le doyen Cassaigne, sans doute peu fâché de montrer la bonne voie chrétienne à son estimé collègue Mouls, dit une messe en musique, animée par l’orphéon testerin qui vient de gagner des médailles au grand concours de Bayonne , faisant pâlir la chorale arcachonnaise montée par Mouls. Le "Courrier d’Arcachon" du 25 avril 1865 ne peut donc que relever "la magnificence de la cérémonie". En tous cas, pendant quatre ans, les marins ne remettront plus les pieds à Notre Dame d’Arcachon.

Voilà bien des désordres qui ne plaisent guère au cardinal Donnet. Des problèmes financiers dans sa paroisse préférée, le rejet accentué des marins pour l’église Notre-Dame, à laquelle il tient tant, plus un scandale, plus un rapport de police de 1867. Il y est écrit : "L’abbé Mouls, d’accord avec tout le conseil municipal, devient de plus en plus hostile à M. de Thury. Profitant de l'absence du maire, l’abbé Mouls, pour l’obliger à quitter son poste, a chassé les deux principaux employés de la mairie, pour mettre à leur place Guimbillot, ex-secrétaire chassé par l’ancienne administration et dont le fâcheux passé est connu de tout le monde. C’est un scandale", conclut le commissaire. Un scandale de trop qui fait chanceler la puissance de Mouls. C’est une autre histoire.