У меня много аквариумных ламп на УСБ. Каждая подлючена к сети отдельным адаптером (стареньким телефонным). Я вижу в продаже адаптеры с множественным подключением. На что нужно обратить внимание при покупке такого адаптера, чтобы ничего не перегревалось и в воздух не взлетело? Вот что-то типа такого подойдёт?

Да. Можно и попроще, лишь бы было много гнезд USB A и ток по 1-2 ампера на гнездо. Лампам ни PD, ни Fast Cahrging, ни USB C не нужны.