Download не увеличивался бы, если каждый участник конференции был бы подключен к серверу конференции.

А за счет чего к участнику конференции должны доходить аудио/видео других участников?

Если увеличивается количество участников, то и информации каждому участнику поступает больше.

Разговаривают трое и рекомендованная скорость 2Mbps / 512kbps.

Т.е. 512kbps на то чтобы аудио/видео от участника уходили на сервер MS.

2Mbps на то чтобы он получал аудио/видео еще двух участников с сервера MS.

Разговаривают пятеро и рекомендованная скорость 4Mbps / 512kbps

Т.е. все те же 512kbps на то чтобы аудио/видео от участника уходили на сервер MS.

И уже 4Mbps на то чтобы получать информацию с сервера от 4х участников конференции.

Разговаривают семеро и рекомендованная скорость 8Mbps / 512kbps

Все те же 512kbps на то чтобы аудио/видео от участника уходили на сервер MS.

И 8Mbps, чтобы получать информацию с сервера от 6 участников конференции.

Если бы кому-то из участников нужно было выступать в роли сервера, то ему бы пришлось обрабатывать больше информации и соответственно передавать(Upload) ее другим. А раз Upload постоянный, значит он только передает свои аудио/видео, независимо от количества участников.

Но при увеличении количества участников, увеличивается и количество данных, которые получает(Download) каждый участник.

можно предположить

Последняя ссылка всего лишь говорит о том, что старая архитектура peer-to-peer заменена на cloud. Ничего конкретного о конференции там нет, общие слова.

Если переход от p2p на облачные сервисы M$ для вас просто "общие слова", то предполагайте дальше, только других не вводите в заблуждение.