.. in älteren Zeiten bedeutete „Garten“ etwas anderes als heute. Es bedeutete ursprünglich einfach ein „eingezäuntes“ Stück nutzbares Land.
Darauf konnte dann einfach Gras wachsen als Viehfutter oder auch einfach nur ein eingezäunter Kartoffelacker (oder eben Hirseacker bevor es bei uns Kartoffeln gab).
Der Unterschied zum üblichen Bild eines Bauern bestand darin, daß sie ihren Wohnsitz innerhalb einer (rechtlich gesehenen) Stadt hatten – nicht unbedingt auch ihre Felder – und volles Bürgerrecht besaßen. Das traf auf das übliche Umfeld und Status eines Bauern i.d.R. eben genau nicht zu.
Zu ergänzen ist noch, dass der Garten (= kleines Stück Land, auf dem für den Eigenbedarf angebaut wurde) meist außerhalb der Stadtmauer bzw. der Ortseinfriedung lag.
Es gibt ja auch heute noch die Bezeichnungen „Weingarten“, „Hopfengarten“ etc.

Über die Jahrhunderte veränderte sich die Bedeutung des Wortes ein wenig, und unter dem „Gartenbesitzer“ ist dann, genau wie unter dem „Stellenbesitzer“, dem Brinksitzer, dem Freigärtner, Kötter, etc. pp. keine Berufsbezeichnung im Sinne des Broterwerbs zu verstehen, sondern eine Standesbezeichnung im Sinne der Besitzverhältnisse.