Толково-фразеологический словарь Михельсона
(иноск.) — каемся да продолжаем грешить, не сворачивая с пути
Ср. Привыкла собака за возом бежать — бежит и за санями — а седина в бороду... и договаривать не надо — старая пословица! Кайка-то есть у нас, у всех, да воротки нету.
Даль. Отец с сыном.