Как видно из текста вопроса, вы официально оформили отпуск, получили средний заработок, сохраняемый на период отпуска, но отгуливать его не захотели и продолжали работать.
Так как вы могли работать исключительно с ведома работодателя, то он должен был отменить приказ о предоставлении вам отпуска, а выплаченную среднюю зарплату вы обязаны были вернуть в кассу или же эту сумму должны были вычесть из вашей последующей зарплаты. Отпуск вы бы использовали в другое время.
Если вы часть отпуска отгуляли, а потом по просьбе руководителя с вашего согласия были официально отозваны из отпуска, то на основании ст. 125 Трудового кодекса РФ не использованная в связи с этим часть отпуска должна быть предоставлена по выбору работника в удобное для него время в течение текущего рабочего года или присоединена к отпуску за следующий рабочий год.
Неофициальные взаимоотношения работника и работодателя (некие договоренности) трудовое законодательство не регулирует.