"Дойти до ручки" - в этой фразе имелась в виду ручка калача.
Как пекли калач? Кусок теста раскатывали скалкой вдоль и поперек, и получалась заготовка в виде лепешки квадратной формы, затем её сворачивали в рулет по диагонали и получалась такая колбаска: толстая в середине и тоненькая по краям. Колбаску сворачивали в круг и концы соединяли. Эти концы и образовывали тонкую ручку, даже ребенок мог спокойно держать за неё калач. Тесто было дрожжевое и толстая середина калача подрезалась надвое - чтобы лучше пропекалась. Так образовывалась на калаче "губа" - та самая. которая "не дура". т.е. самое вкусное место у калача.
Ели калачи из пшеничной муки только богатые люди, поэтому они и могли себе позволить не есть жесткую ручку калача, за которую многие (пекари, продавцы, разносчики) брались грязными руками. Да и сам, если голоден, мог съесть калач на улице. держась за ручку.
Про заболевания от грязи и немытых рук и тогда знали, поэтому ручку и не ели: её можно было отдать собаке, раскрошить птицам. Но если рядом был нищий, который следил за поедающим калач, ручку отдавали ему - все же как-никак голодный человек!
Поэтому вскоре эта фраза и стала означать - дойти до состояния крайней нищеты, если протягиваешь свою ручку за ручкой калача.