築城年代は不明。古くから交通の要衝を占め、武蔵・相模を押さえる拠点のひとつとして重視されてきた。

　文明年間（１４６９〜８７）には小机氏の居城として存在した。文明5年（１４７３）年、山内上杉家の長尾景信の死に伴い、関東管領山内上杉顕定は嫡子景春を差し置き、景信の弟忠景に家宰職を命じたが、景春はこれを不満とし主家に背いて武蔵鉢形城に拠った。翌年、景春は五十子に陣取っていた山内上杉氏と扇谷上杉氏を攻め、上野へ退却させた。さらに勢力を張った景春側の小机城主矢野兵庫助は河越へ遠征するが、敗退。扇谷上杉家の太田道灌が景春を攻め落とした。

　その後、後北条氏の属城となり、笠原信為が城主として在城、3代続いた。1590（天正18年）の小田原攻めで、本城の小田原城開城とともに廃城となった（すでに放棄されていたとする説もある）。現在は「小机城址市民の森」として中世的な城郭遺構が保存されているが、城址の一部を第三京浜国道が横断し、西郭出丸が破壊されている。