На самом деле Аристотель в своей "Физике" (в пер. В.П. Карпова) писал так:

"Когда же есть предыдущее и последующее, тогда мы говорим о времени, ибо время есть не что иное, как число движения по отношению к предыдущему и последующему. Таким образом, время не есть движение [само по себе], но [является им постольку], поскольку движение заключает в себе число. Доказательством этому служит то, что большее и меньшее мы оцениваем числом, движение же, большее или меньшее, -- временем, следовательно, время есть некоторое число. А так как число имеет двоякое значение: мы называем числом, с одной стороны, то, что сосчитано и может быть сосчитано, а с другой -- то, посредством чего мы считаем, то время есть именно число считаемое, а не посредством которого мы считаем. Ибо то, посредством чего мы считаем, и то, что мы считаем, -- вещи разные."

(Со смартфона мне предъявить это было неудобно, теперь я опёрся на свой десктоп и его базу.)

К прошлому и будущему мы пристраиваем числа исключительно в нашем воображении, тогда как к настоящему мы можем делать это по-настоящему. Что -- первое и второе принципиально, сущностно, отличает от третьего.