Né des conflits entre les comtes de Toulouse et le pouvoir épiscopal, le château comtal de Vaison-la-Romaine, construit entre le XIIè et le XIVè siècle, domine encore toute la ville. Le château et le rocher qui le porte, ont été inscrits à la liste des monuments historiques en 1920.
Alors qu’il possède le Marquisat de Provence (XIIè siècle) auquel appartient Vaison et grâce à une soixantaine de châteaux et de péages, le comte de Toulouse assurait le contrôle d’une microrégion en contact avec les comtés de Forcalquier à l’est, de Provence au sud et du Dauphiné au nord. Dans l’ancienne capitale des Voconces, le comte possède une partie de la ville appelée « Bref du comte ». Mais à partir de 1108, il se heurte à l’évêque qui se dit seul maître et seigneur.
Les rivalités entre les évêques et les comtes successifs vont marquer le XIIè siècle. Ainsi, pour déloger l’évêque et récupérer la cité, Raymond V (comte de 1148 à 1194) lance ses troupes sur Vaison, prend et brûle la ville. L’évêque est alors expulsé. Mais son successeur, Bertrand de Lambesc récupère ses biens. Après dix ans de paix, à nouveau, le comte de Toulouse chasse l’évêque, vers 1180, et marque son pouvoir avec la construction d’une tour en bois renforcée de palissades sur le point le plus élevé. En 1195, un donjon en pierre (turris) est construit, suivi plus tard par deux corps de bâtiment supplémentaires, fermant une cour intérieure. C’est la naissance du château.