世田谷吉良氏の城館。世田谷吉良氏は三河国東条吉良氏の末裔で、治家の頃、上野国碓氷郡飽間郷を領し、「飽間殿」と呼ばれた。1366（貞治5）年、鎌倉公方足利基氏からから戦功として武蔵国世田谷郷を与えられ、この地に移り住んだと言われる。1426（応永33）年には、頼治か頼氏の代には世田谷に本拠を置いていた。

　成高の代になると、戦国大名としての名実を備え、江戸城の太田道灌と同盟を結び、共闘。1477（文明9）年の長尾景春の乱では江戸城の防衛を任せられたが、その子頼康の代になり小田原北条氏と婚姻関係を結び、事実上北条氏に吸収される形となる。北条氏は世田谷新宿に六斎市を開き、世田谷城は南武蔵における軍事・交通の要衝となり、城下町も繁栄した。

　天正18年の小田原攻めでは抵抗を示さず落城し、世田谷城の石材は江戸城修築の際に運び去られた。