AO - ambient occlusion. Можете прямо по этому названию и гуглить. Делается в отдельном файле, в фотошопе накладывается в режиме Multiply.
Вот пример сейфа
http://graphicriver.net/item/safe/19...catastrophic3D
Как видите там 4 слоя. И 4 как-раз ambient occlusion - добавляет реалистичных теней, в местах всяческих неровностей, стыков и изгибов.
object ID - файл в котором объекты залиты сплошным цветом, без каких-либо теней. Это позволяет выделять их при пост-обработке. Выглядит примерно так:
http://www.pixelcg.com/blog/wp-conte...aterial_id.jpg
AptTone правильно говорит что в максе object ID не имеет антиалиасинга. Поэтому будет лесенка. Чтобы этого избежать - как вариант object ID рендерится в вдвое большем разрешении и потом уменьшается.