Baudouin, l'"Empereur déchu", en exil et humilié, formait des songes et des projets en vue de reconquérir Byzance.
Il leva des troupes, armé des flottes, cherché des alliés et des rebelles en vue de les dresser tous contre les Paléologues. Il s'était réfugié à Paris mais n'avait rien obtenu de st Louis qui ne manifestit pas vraiment d'intéret pour les Latins d'Orient. Mais les Latins ne pouvaient oublier ces humiliations. Cependant, Charles d'Anjou se dressa parmi eux et manifestait un vif intéret de faire payer aux Grecs tout le mal causé. Celui-ci sétait illustré en Syrie et à Benevent, en Italie en 1266 en écrasant l'armée Allemande de Manfred, tué au combat. Le pape Clément IV le désignait comme le champion des latins d'Orient, et peut-être même de la reconquête de Constantinople.
En 1268, il devint roi de Naples et reprit les ambitions des rois Normands de Sicile à son compte et lança ses troupes à l'attaque de Byzance.
Charles mena en Albanie et en Epire une campagne victorieuse en vue de sauver la principauté Latine de Morée d'une totale invasion des Grecs.
L'Empereur Byzantin Michel Paléologue résolut alors de faire échouer ses ambitions démeusurées.
De son côté, Charles noua des réseaux d'alliances; envoyé des ambassadeurs aux rois de Serbie et de Bulgarie, maria son fils aîné Charles à la fille du roi de Hongrie et surtout, s'est employé en usant de toutes sortes d'arguments et a même demandé l'appui du Pape, à décider son frère st Louis à conduire sa croisade non vers Tunis, mais vers Constantinople.
Mais ces derniers refusèrent pleinement.
Charles a été dupé par l'Empereur Byzantin Michel Paléologue qui réussit à gagner le Roi de France en lui assurant la paix, concernant probablement de la principauté Latine de Morée, tandis qu'il fit la promesse au Pape de reconnaître au Concil de Lyon (en 1274) la primauté Romaine.
Privé alors de tout soutient, Charles d'Anjou prit le parti d'entreprendre seul la guerre contre les Byzantins. Arrivé devant Tunis, le 25 septembre 1270, le jour même de la mort du Roi de France, il repoussa les assauts des Maures et dès qu'il le put, fit lever l'ancre à sa flotte et prit la route vers Constantinople. Mais au large des côtes Siciliennes, une terrible tempête mit en pièce plusieurs de ses navires, faisant des milliers de morts.
Ainsi, il laissa au tour de Charles Ier, dit de Valois, de reprendre l'expédition et lever l'étendart de guerre contre les Byzantins. Mais il échoua à son tour.
En 1281, 200 chevaliers et 6000 hommes à pieds ont été lancés à l'attaque des territoires Grecs sous le commandant d'Hugues de Sully.
Mais l'armée fut écrasée par les Byzantins de Michel Tarcaniote devant la forteresse de berat, en Albanie.
Un an plus tard, les Vêpres Siciliennes, encouragés par les Aragonais et Michel Paléologue chassèrent les Angevins de Sicile.
Ainsi furent anéanties pour longtemps, les prétentions Latines sur Byzance.