И технически и юридически (Вы ведь не собираетесь продавать интернет на сторону) можно.
Для этого нужно подключить компьютеры через роутер. Причем, если у Вас есть ноутбук или смартфон, то имеет смысл приобрести роутер с WiFi.
Далее всё зависит от способа подключения к провайдеру. Кабель кабелем, но может быть привязка по MAC-адресу (аппаратному номеру сетевого интерфейса), а может таковой и не быть. Если есть привязка, то можно либо прописать MAC-адрес компьютера в роутер, но не все роутеры поддерживают это, либо обратиться к провайдеру, чтобы он прописал у себя новый MAC.
Возможно потребуются дополнительные настройки роутера, в частности если у Вас на компьютере для доступа в Интеренет еще настроено VPN-подключение.
Сами компьютеры обычно не требуют дополнительной настройки, достаточно просто подключить их кабелем к роутеру. Разве что нужно будет убрать "лишние" настройки с того компьютера, что уже был подключен к сети провайдера.
Если будут компьютеры с WiFi, то для них (как и для роутера с WiFi) понадобятся дополнительные настройки, как имя WiFi сети и пароль на доступ к ней.