Moc a bohatství řádu samozřejmě popuzovaly světské panovníky. Proti templářům od roku 1307 začal vystupovat i francouzský král Filip IV. Sličný, jako důvod uvedl, že mu templáři údajně odmítli přispět na jeho válečné výlohy. Do jaké míry to byla záminka a do jaké míry skutečný důvod lze těžko posuzovat, každopádně důvodů k zakročení proti této mocné síle bylo více než dost. Templáři byli bohatí a samostatní, nepodléhali světské moci ani biskupům a sloužili pouze zájmům papeže.

Přestože většina prelátů shromážděných na koncilu ve Vienne, který měl rozhodnout o osudu řádu, se zrušením templářů nesouhlasila, byl zrušen papežskou bulou Vox in Excelso datovanou 22. března.

Templářská pečeť (dva jezdci na jednom koni měli symbolizovat chudobu nebo byli interpretováni jako zobrazení dvojí role templářů - mnich/voják)

A tak přestože byl značný počet templářů skutečně zatčen, většina ostatních přešla do jiných křižáckých řádů. Existuje dokonce i teorie, podle níž celé skupiny templářů, kterým se podařilo uprchnout, přešly do ilegality a založily zcela tajné bratrstvo, jež se o tři sta let později stalo základem jiné tajné organizace - svobodných zednářů.