La ville a été fondée Daniel Gray, originaire de New York, qui construisit un hôtel en 1845. C'est le point culminant de la ligne de chemin de fer qui relie Saint-Louis et Kansas City, avec un tunnel ferroviaire construit sous la ville. On peut s'arrêter à Gray Summit pour la Shaw Nature Reserve, un vaste arboretum qui s'étend sur 8 km2. Cet espace naturel est consacré à l'éducation environnementale, ainsi qu'à l'entretien et la restauration de la flore et de la faune. La réserve abrite plusieurs maisons historiques (dont la Maison Joseph H. Bascom), une grande prairie et une vaste zone humide. Plus de 23 km de sentiers traversent la réserve.