Связь просто на виду. Рабочий стол находится в ведении диска С, который является программным по умолчанию, там все программы, что нагружают комьютер и делают его рабочим, и дают выход в сеть.
Поэтому чем больше диск С загружен, тем больше тратится его памяти на обработку данных, да, вы не пользуетесь сразу всем, что на рабочем столе нагружено, но компьютер это чувствует как данные, за которыми надо следить.
Вариант - оставьте только ярлыки на рабочем столе, а ярлыки можно сделать не только программам, но и папкам, картинкам, фильмам, музыке в отдельности.
Остальное все храните на диске Д, если на съемном - то он тогда должен быть подключен, когда щелкаете ярлык, иначе файл не откроется, то же самое и с флешкой.
Вы оставите все на рабочем столе как есть, изменится лишь то, что значки будут ярлыками, весящими очень и очень мало, а компьютер перестанет тормозить во всем, как в сети, так и без нее.