Der älteste urkundlich nachweisbare Walddorfer Namensträger Kaspar Gaiser wurde um 1530 in Walddorf geboren. Die Familie ist in Walddorf noch heute zu finden. Von 1661 bis 1825 ist das Amt des Schulmeisters in Walddorf ununterbrochen in der Hand dieser Familie.