Существуют характеристики типа: "он очень толковый человек". То есть разумный, может быть и дальновидный. Следовательно, толк - это разумность, наличие смысла.
"Вы меня сбили с толку", "он его с толку сбивает". Эти фрагменты предложений содержат в себе устойчивое выражение "сбить с толку". Оно может быть представлено в высказываниях в разных грамматических формах.
Фразеологизм "сбить с толку", в общем-то, уже становится довольно прозрачным.
"Сбивать с толку" - это значит резко менять верное направление мышления человека. Когда кого-то сбивают с толку, он начинает суетиться, теряться, не понимать сказанное и происходящее. Он не может объяснить, что же происходит, о чём говорят, в чём дело.
_
Есть довольно интересный синоним выражения "сбить с толку", позволяющий понять его более ярко. Это фразеологизм "сбить с панталыку":