Occupé dès l'époque gallo-romaine, Aubiet garde de cette période la villa de la Toulette et le Togatus, un buste de marbre sans tête. Dès 1158, le bourg existait sous le nom de Castellum Albineti et tirerait son nom d'un lieu couvert de fleurs ou de feuillages blancs. Dernière cité castrale de l'Armagnac, elle était une étape du chemin de Saint-Jacques. Guerres de Religion et Révolution ne l'ont guère épargnée, et en 1789 son château disparaissait, tout simplement. Ses nombreux pigeonniers, la belle croix de Saint-Taurin, sa majestueuse église ainsi que la "cloche de la sourde", méritent une halte à mi-chemin entre Auch et L'Isle-Jourdain.