櫻井神社の始まりは、古代にこの地で暮らしていた櫻井朝臣（あそん）の一族が、大和朝廷初期に活躍した伝説上の人物、武内宿禰（たけのうちのすくね）を祖先として祀ったことに起源をもつといわれています。後の597年には、八幡神（やはたのかみ）が神社の杜（もり）に現れたことで、応神天皇、仲哀（ちゅうあい）天皇、神功皇后（じんぐうこうごう）の「八幡三神」を併せてお祀りするようになり、上神谷八幡宮（にわだにはちまんぐう）という別名がつきました。現在、本来のご祭神 武内宿禰は、末社（まっしゃ）である武内神社にお祀りされています。
境内の見所は、国宝に指定されている拝殿。装飾が少ない簡素な造りは、鎌倉時代の建築です。一般的な拝殿は床が張られていますが、こちらは中央が通り抜けできる「割拝殿（わりはいでん）」という造り。祭礼の際には、通路両脇の建具を降ろして床にすることができるようになっています。
また、こちらで秋祭りの際に奉納される「上神谷（にわだに）のこおどり」は、国の無形民俗文化財。絵馬殿には、これにちなんだ赤鬼・黒鬼の巨大なお面が掲げられています。