Чем больше папок, тем больше работы для программы.
Конкретно Яндекс (кажется, у Вас есть) последние несколько месяцев "подтупливает".
Для некоторых серверов в программе есть оптимизация, когда она быстро определяет, что в некоторых (или всех) папках не было никаких изменений. Но только для некоторых.
Так что в целом -- да, хотя и не кардинально. Вот уменьшение времени "простоя" с минуты до 10 секунд, это более заментное изменение.
И ещё. Фильтриация писем на сервере, чтобы сразу в нужную папку (по теме, отправителю, и т.п.) рулит и бибикает. Есть в Яндексе, Mail.ru, Gmail, и многих других.