大彦命は第八代孝元天皇の嫡男の御子で、第十代崇神天皇の御代に四道将軍のおひとりとして北陸地方の平定を任され、平定後、伊賀國を本貫の地として留まられ、その地が阿拝(あえ)郡であったことから、阿拝氏・阿部氏・安部氏の性を名乗るようになり、伊賀の国中に子孫がひろがっていき栄え、この地に国府が置かれた。
社伝によると神社の創建は658年とあり、当初は大彦命と少彦名命が祭神とされており、後997年神社前方の南宮山に鎮まる金山比咩命が合祀された。南北朝時代には、後村上天皇が当社に行幸され、5日間参篭後御祈願されたことが園太暦に記載されている。
江戸時代には藤堂高虎が伊賀へ入府後、伊賀上野城から、丑寅鬼門の方角にあたるところから[鬼門鎮守厄除]の神社として累代の庇護を受けた。伊賀が生誕地である松尾芭蕉も当社を参拝し[手鼻かむ音さえ梅の匂ひかな]の句を詠んでいる。