Царь велел произвести следствие о злых умыслах митрополита на царя. Под пытками монахи Соловецкого монастыря дали клеветнические показания на своего бывшего игумена. После этого Филипп во время службы в Успенском соборе был окружен пришедшими в храм опричниками, их предводитель, боярин Алексей Басманов, развернул свиток, и удивленный народ услышал, что митрополит лишен сана. Опричники сорвали с Филиппа митрополичье облачение, погнали из храма метлами, на улице бросили в дровни и отвезли в Богоявленский монастырь, в темницу. Царь казнил нескольких родственников митрополита, голову одного из казненных принесли ему в тюрьму. Затем он был водворен в тюрьму дальнего Тверского Отроч монастыря, а год спустя Иван Грозный послал туда Малюту Скуратова, и царский опричник собственноручно задушил Филиппа.
Еще при жизни Филипп был окружен любовью и почитанием народным. Его слова передавали тайно из уст в уста. Рассказывали о таком чуде: Иван Грозный повелел затравить митрополита медведем, и однажды вечером к нему в темницу запустили лютого зверя, которого до того нарочно морили голодом, а когда на следующий день тюремщики открыли дверь, то увидели Филиппа, стоящего на молитве, и лежащего тихо в углу медведя.
Царь Федор Иоаннович - сын и наследник Ивана Грозного - в отличие от отца славился благочестием, он приказал перенести останки святителя в Соловецкий монастырь и похоронить его там. В 1648 году Филипп был причислен к лику святых, так как обнаружилась чудотворность его мощей: они давали исцеление больным.
В 1652 году по представлению митрополита Новгородского (будущего патриарха Никона) царь Алексей Михайлович распорядился перевезти мощи святого Филиппа в Москву, полагая, что поскольку Филипп не был отрешен от Московской митрополичьей кафедры, то и должен быть там, где его паства.
Подобно тому, как византийский император Феодосии, посылая за мощами Иоанна Златоуста, чтобы перевезти их в Константинополь, написал молитвенную грамоту к святому, царь Алексей Михайлович также вручил Никону, назначенному сопровождать мощи, свое послание, обращенное к Филиппу:
"Молю тебя и желаю пришествия твоего сюда... - говорилось в послании, - ибо вследствие того изгнания и до сего времени царствующий град лишается твоей святительской паствы... Оправдался Евангельский глагол, за который ты пострадал: "Всяко царство, раздельшееся на ся, не станет" и нет более теперь у нас прекословящего твоим глаголам..."
Встречу мощей 3 июля 1652 года за Москвой на Троицкой дороге возле села Напрудного царь Алексей Михайлович описал в письме к боярину Оболенскому: "Бог даровал нам, великому Государю, великое солнце. Как древле царю Феодосию возвратил Он мощи пресветлого Иоанна Златоуста, так и нам благоволил возвратить мощи целителя... Филиппа митрополита Московского. Мы, великий Государь, с богомольцем нашим Никоном митрополитом Новгородским, со всем священным Собором, с боярами и со всеми православными даже до грудного младенца встретили его у Напрудного и приняли на свои главы с великой честью. Лишь только приняли его, подал он исцеление бесноватой немой: она стала говорить и выздоровела..."
Мощи святителя Филиппа были поставлены в Успенском соборе Кремля, а на месте встречи их царем и москвичами за Москвой установили дубовый крест с надписью, сообщающей о событии, послужившем причиной его установки.
Местность вокруг него впоследствии получила название "У креста" и "Крестовская застава". Сам крест стоял при дороге до 1929 года, а в этот год был перенесен в ближайшую церковь - Знамения в Переяславской слободе, где находится и поныне. Старое название местности сохранилось в названиях Крестовский переулок и Крестовский рынок.
Со временем позабылась связь между именем непокорного митрополита и выражением "Филькина грамота" - злобным словцом Ивана Грозного. Выражение "Филькина грамота" пошло гулять по Руси с тем значением, которое вложил в него царь Иван Грозный, а образ Филиппа остался в памяти народной как символ честного и неподкупного народного заступника.