У меня абсолютно такая же конфигурация. Бекбернер который ставится вместе с максом работает. У вас не запускается сервер и монитор? Попробуйте вырубить антивирус и файрволл, запустить от имени админа. На крайний случай перекачать бекбернер.
Р.S. А моя проблема решилась. Оказывается такая ошибка возникает при нехватке памяти. Рендерил страйпами с перекрытием в 1%, все отлично рендерится. Он сам все склеил, только в 1ом месте был небольшой косяк, который можно в фотошопе заделать. Из минусов рендера страйпами - увеличение времени на рендер, 10 страйпов при перекрытии в 1% дают 20ти процентный прирост времени. Сейчас доставил оперативку до 6ти гб, перешел на х64 и все проблемы пропали. Но как вариант страйпы можно рассматривать.