Сделать новый стиль - какой? Я ведь не убирал ничего.

поведение кнопки если курсор на нее наводят описано в ее стандартном стиле. а когда вы клацаете на кнопку, курсор находится на ней, поэтому вы и не видите, что там что-то меняется, пока курсор с нее не съедет.

чтобы этого не происходило, следует переопределить стиль для кнопки. в кзэмл файле сразу после (угольные скобки я заменил везде на круглые, иначе не покажет как надо)

(Grid)

допишите следующее:

(Grid.Resources)
(Style x:Key="btnstle" TargetType="Button")
(Setter Property="Template")
(Setter.Value)
(ControlTemplate TargetType="Button")
(Grid Background="{TemplateBinding Background}")
(ContentPresenter HorizontalAlignment="Center" VerticalAlignment="Center"/)
(/Grid)
(/ControlTemplate)
(/Setter.Value)
(/Setter)
(/Style)
(/Grid.Resources)

, и кнопке определите этот стиль:

(Button Content="A" Style="{StaticResource btnstle}"... HorisontalAlignment="..... .../)

и ваша кнопка перестанет замечить, что на ней находится курсор.

если название стиля btnstle вам не нравится, назовите по своему. остальное все - ключевые слова.