Em 1699, a família Carletti foi elevada ao primeiro escalão da nobreza de Montepulciano, através do messere Francesco Xaverio. O seu filho, Mariotto Carletti, foi condecorado com o título pessoal de Conde Palatino pelo Pontífice Clemente XII, através de um Breve pontifício de 11 de dezembro de 1733, e obteve a sua inscrição e a da sua família no Livro de Ouro dos Nobres de Montepulciano por decreto de 18 de janeiro de 1762.
O brasão de armas da família é azul com uma faixa dourada acompanhada, na parte superior, por uma estrela dourada de seis raios e, na parte inferior, por uma lua crescente prateada. O seu local de residência é Montepulciano.
O membro mais célebre da família Carletti foi certamente o conde Francesco Saverio que, no final do século XVIII, negociou e assinou com o Diretório Francês um pacto de neutralidade e amizade entre o Grão-Ducado da Toscana e a França. Grande amante da vida, do status social e dos prazeres, estava sempre em busca de amizades de alto nível, como com a Condessa de Albany, ou distribuidor de favores, como com o seu amigo Vittorio Alfieri. Teve uma grande fama… e uma queda súbita – fugiu e perdeu grande parte da sua fortuna, por ousar demasiado na complexa mesa de jogo da política europeia do final do século XVIII. Uma história que, em muitos aspetos, é quase uma parábola, ainda que real, dos altos e baixos do ser humano… e muito italiana!
No final da segunda metade do século XIX, mais precisamente em 10 de setembro de 1888, o palácio passou para a família Nerazzini, com o casamento de Cesare Nerazzini e Egle Carletti. Foi neste lugar que Cesare Nerazzini viveu os últimos anos da sua vida, um incrível médico e diplomata que, quase um século após Carletti, negociou o tratado de paz com o Negus após a dramática e sangrenta batalha de Adwa, ganha pelos etíopes contra os italianos.
De certa forma, Cesare Nerazzini representa outra variante do caráter e da alma italiana. Estudioso, ávido de viagens, encontros e conhecimento de mares e terras longínquas, foi certamente um dos maiores especialistas italianos das culturas africanas do seu tempo, tendo terminado a sua carreira como cônsul italiano em Xangai. Personagem complexo, como médico era certamente um amante da humanidade (promoveu efetivamente a primeira tentativa de criar uma espécie de sistema de saúde nas áreas de interesse italiano), ao mesmo tempo que estava imerso em todas as contradições e horrores do período colonial, embora fosse um dos poucos com meios para analisar e julgar os acontecimentos à sua volta.
Na década de 1930, o palácio foi dividido e o piso nobre tornou-se um escritório: primeiramente do Consórcio de Recuperação de Terras do Val di Chiana – Consorzio di Bonifica della Val di Chiana – (uma das mais complexas recuperações do território italiano, com uma história fascinante e testemunhos que vão desde os etruscos, passando pelos projetos do próprio Leonardo Da Vinci, até às grandes obras dos séculos XVIII e XIX) e, sucessivamente, tornou-se a sede histórica do Partido Comunista Italiano de Montepulciano.
Em 2008, o piso nobre foi objeto de trabalhos de manutenção e restauro. Foi então que os frescos e as pinturas originais, escondidos durante décadas atrás de tetos falsos e há muito esquecidos, foram redescobertos. Estes frescos podem ser atribuídos a Pozzo e aos seus colaboradores, que realizaram muitas obras em Montepulciano e arredores. O salão do século XVIII, um dos raros exemplares deste tamanho (10x8mx6,2 m de altura), foi inteiramente pintado e decorado com frescos, e todos os quartos foram restaurados utilizando processos e materiais no respeito pela história e tradição local.