La historia del señorío de Palmse es bien extensa, ya que sus inicios datan del s.XIII. Comenzó bajo la tutela de un convento y tres siglos más tardes, paso a pertenecer a la familia Metztacken, se renovó y crearon más instalaciones, y en 1667 pasó a ser propiedad de la familia von der Pahlen.

Pero no todo fueron tiempos de vino y rosas. La Gran Hambruna de Estonia (1695 – 1697), la Gran Guerra del Norte y la peste, dejaron la mansión en un estado bastante miserable. Pero se resarció a finales de S.XVIII gracias a convertir la destilación de Vodka en su principal fuente de ingresos.