Située à 3 km au nord-ouest de San Pedro, dans une vallée arrosée par le río San Pedro et le río Grande, la forteresse tire son nom des champs cultivés de l'Ayllo de Quitor qui prennent naissance à ses pieds. Quitor, comme les autres forteresses de la région, fut construite au XII^e siècle pour freiner les visées expansionnistes des voisins aymaras. Elle est défendue au nord par un farellón vertical qui domine la plaine fertile du río Grande, à l'ouest par une profonde fracture, au sud par un ravin couronné par un mur et à l'est par une épaisse muraille. Cette forteresse est, de toutes les pukaras atacaméennes, l'une des mieux situées stratégiquement.