Yoritomot Izu provinciába száműzték, ez kb. a mai Shizuoka prefektúrával egyezik meg. Itt 20 éven át várakozott, mire 34-35 évesen nekilátott a konkrét cselekvésnek. Természetesen a várakozással töltött évek sem voltak hiába valók. Óvatosan, nehogy felkeltse az udvar és Kiyomori figyelmét, lépésről-lépésre haladt befolyásának megszilárdításában. Jó kapcsolatot alakított ki a környező birtokok uraival és katonáival. Figyelemmel kísérte a Kyotoban zajló eseményeket, barátok és még Minamoto hű emberek révén. Érdekes megemlíteni, hogy sokan a környező birtokok urai közül rokoni vagy hűbéri kapcsolatban álltak a Tairakkal. Maguk a Hojok is Taira csatlósok, sőt egy oldalágon leszármazottak voltak. De mind szerette volna hatalmát és területeiket növelni, emellett Kiyomori viselkedése az udvarban már nagyon sokak számára volt ellenszenves. Amikor pedig Michihito herceg felszólítása megérkezett 1180-ban, megvolt az indok és a legitimáció is a hadbavonulásra. Mochihito mellesleg úgy érezte, hogy Kiyomori megtagadta tőle a trónt, ami jogosan az övé lett volna, hiszen ő Go-Shirakawa fia volt, mégis helyette Antoku-t, egy gyermeket ültettek a trónra, aki maga is félig Taira volt.
Yoritomo ezt a csatát azonban elvesztette. A végső győzelmet a Tairak felett később, 1185-ben aratta a Dan no ura-i csatában.
Yoritomo 1192-ben megkapta a shoguni rangot. Majd 1199-ben bekövetkezett haláláig irányította az országot. A hatalma a keleti országrészben abszolút volt, a többi területen pedig elég erős ahhoz, hogy meggátoljon komolyabb lázadások kialakulását.
Yoritomo kemény ember volt, aki lépésről lépésre, de nagyon határozottan haladt a célja felé: egy új rendszer felépítése és az ország feletti hatalom megszerzése. Úgy tűnik mindent ennek vetett alá. Okos volt, tudott bánni az udvarral-tisztelettel, de határozottan fordult feléjük. Képes volt felismerni a tehetséges embereket, és rangjuktól, származásuktól függetlenül kitüntette, magas pozíciókba emelte őket. Ugyanakkor a céljainak elérésének érdekében nagyon sok mindenre hajlandó volt. A Tairakkal való kiegyezésre is, egy bizonyos mértékig. Szembefordult a hagyományokkal, céljainak megfelelően alakította át a tradíciókat ha kellett. Az emberi élet se jelentett neki sokat. Testvérét is megöletette, amikor felmerült benne az árulás gyanúja. Sokaknak rendelte el a halálát, többek között olyanoknak is, akik nélkül pedig nem kerülhetett volna hatalomra.
Kétségtelenül, Yoritomo a japán történelem egyik legnagyobb alakja, hiszen kiépített egy olyan rendszert, ami hosszú évszázadokon át fennmaradt, amire később Nobunaga, Toyotomi és a Tokugawak is építkezhettek. Azonban nem népszerű és gyakran ábrázolják őt a gonosznak a különböző történetekben, amiket róla és a korról írtak. 1199-ben lovaglás közben megsérült és meghalt.
Szakirodalom:
George Sansom, 306-308, 337
Mark Weston: Giants of Japan, 139
