I middelalderen var hovedstaden i Annecy, Genève County, og står i centrum af Annecy, slottet var sæde for greverne af Genève. Slottet blev bygget i det XII århundrede på stedet af fæstningen, bygget fire århundreder tidligere. I det XIII århundrede blev det residens for medlemmerne af Grevens familie, senere flyttet til hertugen af ​​Savoyen.

I middelalderen slottet flere gange ødelagt af brande, men hver gang blev reduceret, mere og mere styrke sit forsvar. Men på trods tykkelsen af ​​væggene, truende udseende og en førsteklasses beliggenhed på toppen af ​​en bakke, i den første halvdel af det XVII århundrede, slottet blev taget af den franske hær. I XVII århundrede, slottet huse kasernen og lager, én gang han selv tjente som et tilflugtssted for de hjemløse. Kun i midten af ​​det XX århundrede, blev bygningen erklæret et historisk monument, og nu er det husede et museum, hvor man kan se kunstværker og genstande fra forskellige tidsaldre.

En af de berømte indbyggere i slottet var Robert af Genève - begetteth her i 1342, søn af Grev Amadeus III. Robert fra Genève er også kendt under navnet anti-pave Clement VII - temmelig militante og grusom, med tilnavnet slagteren og bøddel for sine metoder til håndtering af oprørerne. I anden halvdel af det XIV århundrede i den katolske verden havde to fædre - en officielt valgt Urban VI og den anden valgte Kardinalens "opposition" Clement VII, der havde håbet at tage magten og vælte Rom Urban VI. At have undladt, antipope Clement bosatte sig i Avignon, som engang husede den pavelige bopæl.

Efter døden af ​​Clement VII i 1394 blev fusioneret med Annecy og Savoy mistede sin status som hovedstad i amtet, og amtet i Genève, også var væk. På grund af hertugen af ​​Savoyen slot fik sin smukkeste tårn Perrer.

I dag er slottet er omgivet af smukke offentlige haver og andre historiske attraktioner. Med sine mure set byen og Annecy-søen.