Togakushi se trouve au sein d'une région montagneuse devenue, depuis quelques années, l'une des destinations préférées des grimpeurs et skieurs. C'est également le lieu de la légende d'Amaterasu, déesse du Soleil, qui se serait servie d'un rocher pour s'enfermer dans une caverne dissimulée dans cette montagne. Les trois sanctuaires de Togakushi sont dédiés à Ame no Omoi Kane no Mikoto, déesse qui exécuta une danse paillarde amusante pour qu'Amaratesu fasse basculer le rocher sur le côté afin d'y jeter un coup d'oeil. Un des dieux de la Force aurait saisi le rocher et l'aurait lancé du Kyūshū sur la montagne de Togakushi (soit à 800 km de distance). Togakushi fut également un centre important du shūgendō, culte syncrétique dont les yamabushi (moines vivant dans les montagnes) enseignaient la doctrine. À partir de l'ère Meiji, ce culte syncrétique disparut peu à peu.