Создание игры с нуля - это и есть создание движка. Ты имеешь в виду создание движка, интегрированного в графический пользовательский интерфейс - в редактор?

Такая литература есть - в разделе "Литература", вроде, уже обсуждалось что-то.