Сугимото-дэра самый старый храм, основанный задолго до установления сёгуната Камакура. В легенде рассказывается, что императрица Комё (701-760), супруга императора Сёму, приказала высокопоставленному министру Фудзивара Фусасаки и известному священнику Гёки основать храм, чтобы умиротворить разоренные области на востоке страны. Гёки часто бывал в том месте, где позже построили святыню, и нашел его наиболее подходящим, чтобы посвятить Бодхисаттве Каннон. Гёки в свое время был известным проектировщиком мостов, дамб и других ирригационных систем. Говорят, что он имел отношение и к строительству Тодайдзи в Нара. В Японии более 1 200 храмов, которые более или менее связаны с именем священника. За выдающиеся заслуги и достоинства его наградили благородным званием Дайбосацу или Великий Бодхисаттва императора.
Знаменуя 1250-летнюю годовщину его смерти, в Тодайдзи отслужили Большую Поминальную службу (Онки) в ноябре 1998 года, которую проводят по великим священникам каждые 50 лет.
Гёки сам вырезал статую одиннадцатиликой Каннон в натуральную величину и установил в возведенном в 731 году Сугимото-дэра.
В 851 году глава школы Тэндай Эннин (Великий Учитель - Дзикаку) сделал для храма новую статую. Затем в 985 году император Кадзан, удалившись от дел в монастырь, назначил священника Гэнсина для создания дополнительной статуи одиннадцатиликой Каннон. Эннин и Гэнсин – видные религиозные деятели, они играли в те дни ключевые роли в распространении буддизма.
Кадзан, посетив храм, назначил его первой остановкой Бандо («Паломничество по 33 святыням Канто»). Позже Сугимото-дэра – четвертая остановка в «Паломничестве по 33 святыням Камакура».
В 1189 году храм сильно пострадал при пожаре. Вначале думали, что все статуи Каннон сгорели, но позже их нашли у основания большого кедра. Отсюда и пошло название храма. Японский кедр – суги, основание – мото, храм – дэра.
Минамото но Ёритомо глубоко верил в божественную силу Бодхисаттвы. В 1191 году он посетил храм, помог его восстановлению и подарил новую статую одиннадцатиликой Каннон.
В общей сложности сейчас в храме пять статуй. Пятую добавили в 1963 году. Она работа тогдашнего главного священника.
В отношении самой старой статуи существует история, рассказанная во времена правления пятого регента Ходзё Токиёри. Если тот, кто не имел истинной веры и случайно проезжал верхом на лошади возле храма, то лошадь его обязательно сбрасывала.
Ранкэй, священник из Кэнтёдзи, посетил храм и обратился к служащим с просьбой прислонить кэса (буддистский стихарь) к лицу Каннон, сделанной Гёки. После этого, никто не падал с лошади. Храм также называли Фукумэн (скрытый) Гэба (удаленный) Каннон.