Честное слово, я не понимаю - как эта простейшая ситуация может вызывать затруднения.
Если, как Вы пишете, меня прижало к стенке и я одновременно вижу, что и кирпич тоже падает на эту стенку, то самое естественное предположение - что на нас действует одна и та же сила. (Точнее одна и та же физическая причина - это чтобы любители "изящной словесности" не приписали мне равенство векторов силы.)
Далее, может эта сила Вам и покажется какой-то неведомой, но для любого человека, имеющего понятие о силе инерции - это первое и самое естественное объяснение.
Хотя можно вспомнить, что на бытовом уровне обыватели могут сделать следующую ошибку:
Если в момент трогания поезда и резкого рывка вагона человека мотнуло в сторону - то некоторые выражаются, что на них якобы подействовала сила инерции.
Но это чушь, поскольку как раз потому, что на него ещё не успела передаться внешняя сила - потому он и сохранил положение относительно таких внешних предметов, как например, вокзал. А настоящая сила инерции, это та - с которой его масса будет воздействовать на любые жёсткие элементы конструкции вагона до тех пор, пока его скорость не изменится от нулевой скоростит железнодорожного вокзала, до той скорости, с которой уже движется вагон.

Я как раз понимаю, что в обоих этих случаях есть место силе инерции - но только это вовсе не та якобы "фиктивная" сила, которая заставляет людей и кирпич падать, а та реальная сила, которая действует с их стороны в качестве ответной реакции до тех пор, пока это падение не прекратится!
Напоминаю ещё раз:
Сила инерции - это реакция любой массы на попытки заставить её изменить своё состояние покоя или равномерного прямолинейного движения!
Отсюда следует, что и кирпич и пассажиры автобуса сопротивлялись приданию ускорения вовсе не тогда когда начали якобы падать, а именно тогда, когда препятствуя этому падению изменяли свою прежнюю скорость.
Мне кажется, что будучи не просто обывателем, а физиком, человек просто обязан понимать эту разницу.