Re: 2 x Xeon E5-2690 (BX80621E52690)
|
|
Как владелец аналогичной системы, прокомментирую немножко данную тему. Вообще, когда-то собирался писать её подробный обзор, как я обычно раньше делал это здесь на форуме, но потом как-то руки не дошли. Собрал такую систему ещё в прошлом году, осенью, почти сразу после того, как серия серверных процессоров Intel Xeon E5-2600 V2 поступила в продажу. Собирал тоже, естественно, для 3D рендеринга. Скажу сразу, что за исключением серверных приложений (базы данных и т.д.), 3D - рендеринг - это единственная задача, которая может полностью загрузить всю эту мощь. Никакая обработка видео, фото не могут занять одновременно столько потоков.
Итак, моя конфигурация:
Процессор: 2 x Intel Xeon E5-2697 V2
Система охлаждения: 2x Thermalright Silver Arrow SB-E
Материнская плата: ASUS Z9PE-D8 WS
Оперативная память: 64GB DDR3-2400 GeiL
Видеокарта: ASUS NVidia GeForce GTX Titan
Жёсткий диск: 2 x Seagate 4TB ST4000NM033
SSD: 480GB OCZ RevoDrive X2 Max IOPS PCI-e
Блок питания: 1200W Antec HCP-1200
Корпус: Lian LI PC-A70F
Монитор: ASUS PQ321QE
Скажу сразу - покупать такую систему - не просто дорого, а офигенно дорого, поэтому нужно изначально отдавать себе отчёт, как именно такая система будет использоваться и окупит ли она себя в процессе работы, и если даже окупит, то за какой срок.
Процессоры E5-2697 V2 - 12 ядерные, штатная частота 2700MHz. Это топовая модель в линейке E5-2600 V2. Ниже идёт ещё одна 12-ядерная модель на 2400MHz, за ней идут 10-ядерные и ниже. TurboBoost успешно разгоняет эту модель максимально до 3500MHz, что для таких монстров очень неплохо. При полной загрузке всех 12 ядер частота поднимается до 3000MHz. При работе в парной конфигурации общее количество ядер насчитывает 24 штуки, а виртуальных - все 48. Сначала прицеливался к чуть более дешёвым 10-ядерным моделям с чуть более высокой частотой, но потом всё-таки остановился на 12-ядерных, потому что подсчитал, что преимущества от большего числа ядер по сравнению с большей частотой будут сказываться на рендеринге в большей степени.
По поводу поддержки операционных систем - не верьте никому, что нужны только серверные ОС. Это бред дилетанта. Обычная Wndows 7 Ultimate успешно поддерживает такую и даже большую конфигурацию, активны и видны все 48 виртуальных процессоров. То же самое, понятное дело, касается и более новых версий ОС.
Материнская плата - ASUS Z9PE-D8 WS. Двухпроцессорная для рабочих станций. Конечно, ещё существует масса других 2-процессорных материнских плат для серверов, на которых тоже можно собрать такую систему, но они другого формата и чаще всего потребуют специального корпуса. Эта же модель - формата EEB, т.е. совместима с корпусами ATX формата. В общем, я бы назвал её лучшим настольным 2-процессорным решением. По поводу корпусов - корпус нужен очень большой, это необходимо тоже сразу учитывать. Рассматривать только Full Tower, и то, подойдут не все модели. Но даже если и подойдут, то надо быть готовым к тому, что придётся просверлить в металлической пластине, к которой прикручивается материнская плата, дополнительные отверстия, и нарезать в них резьбу. При наличии инструментов это несложно, но нужно иметь это в виду при подборе корпуса. Мне в моём корпусе, к счастью, ничего сверлить не пришлось. Пришлось только докрутить дополнительные стойки с резьбовым отверстием, поскольку плата большая и прикручивается по-другому, чем обычные материнские платы. Также нужен достаточно глубокий корпус, чтобы уместились высокие кулеры. Мне посчастливилось и удалось достать замечательный, просторный и очень продуманный корпус из анодированного алюминия с отличным охлаждением Lian Li PC-A70F, в который всё отлично поместилось и осталось достаточно места для хорошего продува и доступа ко всем компонентам. Жаль только, что в последнее время продукция этой фирмы недостаточно распространена.
Материнская плата ASUS Z9PE-D8 WS ещё хороша тем, что, так сказать, довольно дружественная к пользователю, в отличие от серверных моделей. У неё нормальный BIOS, хоть и отсутствует нынче модная UEFI оболочка. А самое главное - есть функции разгона. Т.е. если установить обычный "гражданский" процессор, то он будет обычно разгоняться. Правда следует помнить, что "обычный" процессор можно установить в эту плату только один, в паре могут работать только серверные процессоры, у которых есть две линии QPI, у обычных процессоров линия QPI только одна. И да, серверные процессоры можно тоже разгонять. Правда, разгоняются они по сравнению с "обычными" аналогами гораздо хуже. Но не потому, что они ниже качеством или не прошли для разгона по отбору, а по той простой причине, что у них заблокирован множитель, в отличие от настольных моделей, у которых он разблокирован. Причём поднять частоту серверного Xeon'а, к сожалению, нельзя даже до предельной частоты TurboBoost, что обычно можно сделать с настольным процессором, у которого даже заблокирован множитель. Поэтому единственный способ разгона серверных процессоров - это повышение частоты FSB (т.е. системной шины), которое возможно в очень небольших пределах, потому что частота FSB тянет за собой частоты PCI-e, контроллера памяти и пр. В общем, при сильном повышении FSB система не может работать стабильно. Частоту FSB при работе серверного процессора в лучшем случае можно поднять максимум со 100 до 110MHz, но это стабильной работой назвать нельзя. Путём подбора вышел на 108MHz, что дало максимальную частоту процессора в 3240MHz. 24 ядра на 3240MHz - считаю, отличный результат.
Да, ещё немаловажный момент. Материнская плата ASUS Z9PE-D8 WS была выпущена уже достаточно давно, ещё для первого поколения серверных процессоров Intel Xeon E5-2600 на ядрах SandyBridge. Наверняка все эти платы, что есть сейчас в продаже, уже оснащены новой версией BIOS, но у меня осенью 2013 года было по-другому - ведь на тот момент серверные процессоры Xeon серии E5-2600 V2 только вышли. Причём сразу об этом как-то не вспомил. В общем, когда уже был собран весь компьютер и настал торжественный момент включения, он не заработал. Точнее, система запустилась, кулеры завертелись, но был чёрный экран и дальше ничего не происходило. На многих старших моделях материнских плат ASUS есть специальный 2-разрядный индикатор, на котором показываются коды этапов загрузки и возможные ошибки. Я посмотрел код, на котором всё останавливалось, и сверил его с инструкцией, в которой было указано, что данный код свидетельствует о том, что BIOS не может распознать процессор. Всё стало ясно - нужно обновлять BIOS. Но как это сделать, когда процессоры уже установлены? У меня под рукой был процессор Core i7-3930K с прошлой конфигурации. Пришлось снова вынуть оба Xeon'а, вместо них вставить один 3930K, загрузиться, скачать и обновить BIOS, после чего опять установить пару Xeon'ов, после чего всё благополучно запустилось. В общем, тем кто будет собирать, на всякий случай стоит всё это иметь в виду.
По поводу охлаждения. Процессоры эти, несмотря на всю свою мощь, в работе достаточно холодные, особенно в сочетании хорошим оверклокерским кулером и правильным термоинтерфейсом. Работав раньше с Noctua NH-D14, на новой конфигурации решил перейти на другую топовую модель Thermalright Silver Arrow SB-E, которая чуть лучше. А также тише работает со штатными кулерами. В качестве термоинтерфейса использовал наилучшее решение - жидкий металл Cool Laboratory Liquid Pro, который по эффективности минимум раз в 5 лучше самых лучших термопаст. По виду похожа на ртуть, наносится на обезжиренную входящей в комплект спиртовой салфеткой крышку процессора ватным тампоном, который тоже идёт в комплекте. При этом надо быть осторожным, чтобы не было излишков жидкого металла, посколько он электропроводный и в случае излишка может вытечь и что-то замкнуть. При нанесении металл сначала скатывается в шарики и не хочет приставать, однако через мгновение нанесение становится нормальным. В сети есть много илюстрированных материалов на эту тему, есть таже ролики на Ютубе. При этом нужно стараться, чтобы жидкий металл не попал в дырку для выравнивания воздушного давления в крышке процессора. Да, на заметку - кулеры Thermalright Silver Arrow SB-E именно на этой материнской плате ASUS Z9PE-D8 WS перекрывают первый разъём PCI-e 16х, поэтому видеокарту приходится ставить в 3-й разъём. Я бы не стал называть это недостатком - всё же при своём функционале материнская плата достаточно компактная, она вся напичкана компонентами, на ней нет свободного места. Thermalright уже выпустила обновление этих кулеров под названием Silver Arrow IB-E, где решётка радиатора сдвинута вверх и поэтому первый слот уже не закрывает.
По поводу памяти. Вам будут рассказывать, что для серверных процессоров нужна только память с коррекцией ошибок ECC, но это не так - данные процессоры поддерживают как ECC память, так и самую обычную, без ECC. ЕСС полезна для больших объёмов памяти, для 100%-критичных корпоративных задач, в обычной работе это функция не так важна. Кроме того, ECC память немного медленнее аналогичной без ECC. В материнской плате ASUS Z9PE-D8 WS 8 слотов для оперативной памяти. Решил установить 64GB. До этого 32GB уже было на прошлой системе на i7-3930K. Для такого объёма пришлось искать 8GB планки памяти. Обычных DDR3-1600 полно, но хотелось найти побыстрее, т.к. сам процессор официально поддерживает до DDR3-1866. В последнее время использовал хорошо зарекомендовавшую себя память Kingston HyperX, но планок этого производителя в наличии нужного объёма и скорости не нашлось, в итоге нашёл 8GB планки GeiL DDR3-2400. Внимание: планки для установки совместно с такими большими кулерами нужны низкопрофильные, без высоких "гребешков", поэтому это было ещё одним критерием отбора. В итоге, низкопрофильные 8GB Geil DDR3-2400 - наверное, наилучшее решение.
По поводу режимов работы памяти. Конечно, сразу попытался выставить в BIOS максимальный режим работы памяти 2400MHz, при этом ещё не разгоняя сам процессор. Попытка не увенчалась успехом - компьютер не запускался, но винить тут некого - даже если память и поддерживает такие высокие частоты, то нет никакой гарантии, что вся система заработает в целом. Этому есть целый ряд причин, на которых нет смысла сейчас останавливаться подробнее. Одним словом, это не повод для расстройства. Начал понижать частоту. В режиме DDR3-2133 компьютер тоже не запустился. Дело в том, что контроллеры памяти этих процессоров очень чувствительны к объёму и типу памяти - 2-банковая или 1-банковая, и в какой конфигурации по слотам они работают. Та или иная частота работы памяти вполне официально может поддерживаться только при определённой конфигурации памяти по слотам и её типу по количеству банков. Недаром в инструкциях ко всем материнским платам обычно содержится список протестированных и совместимых модулей памяти от разных производителей и допустимые режимы работы для них.
Итого, остановился на частоте DDR3-1866MHz. При этом частота системной шины была выставлена на 108MHz а режим работы памяти - DDR3-1600, что в итоге давало DDR3-1728. Учитывая большой объём памяти и вообще доступность нормальных 8-гиговых планок, далеко не худший результат.
Ещё на заметку. Компьютер с такой конфигурацией ОЧЕНЬ долго загружается. По сравнению с обычным компьютером на каком-нибудь Core i7 - просто бесконечно долго. Но надо понимать, что это всё-таки серверная материнская плата. А сервер заводят один раз и больше не выключают. В процессе включения происходит куча тестов, инициализируется куча устройств и режимов, так что удивляться не стоит. Просто это не похоже на обычный компьютер.
По блоку питания. Уже давно перешёл на блоки питания 1200W. Конечно, можно сказать, что для такой конфигурации хватит и 1000, но я люблю, чтобы было с запасом. Ещё блоки питания такой мощности хороши тем, что у них уже есть две 8-pin линии ATX12V, которые нужны для подпитки процессора. В данном случае на 2-процессорной материнской плате таких разъёма два, поэтому это очень кстати, и при наличии такого блока питания нет нужды мудрить с переходниками. Использую Antec HCP-1200 - отличная, практически бесшумная модель с всего одним 80 мм вентилятором на выдув. Кто-то может испугаться, что для такого мощного блока питания нужен ещё один большой 140 мм вентилятор на вдув, но дело в том, что этот блок питания класса 80+ Gold, т.е. он обладает очень высоким коэффициентом преобразования энергии, поэтому сильное охлаждение ему не требуется. Это и подтверждается на практике - в момент максимальной нагрузки при такой конфиурации он совершенно реально почти не греется. Ещё есть довольно хорошие блоки питания Cooler Master на 1200W, могу посоветовать и их.
По поводу сравнения с AMD Opteron. Если вкратце - даже не пытайтесь сравнивать. В принципе, выше об этих процессорах уже упоминали. Я не могу сказать, что они так уж плохи. Особенно за свою цену - система с 48 ядрами AMD Opteron (т.е. 4 16-ядерных процессора AMD Opteron 6386 SE 2800MHz/3500MHz) выйдет даже дешевле, чем эта. Но архитектурно эти процессоры гораздо слабее даже первого поколения SandyBridge, это общеизвестный факт. Кроме того, как также было выше верно подмечено, у всех процессоров AMD, начиная с поколения Bulldozer, есть один серьёзный недостаток - на 2 ядра ALU приходится только один FPU, в итоге эти пары AMD называет модулями, фактически скрывая правду о том, что 16-ядерный процессор поколения Bulldozer/Piledriver - фактически 8-ядерный, точно так же и с настольными. В итоге получается закономерным, когда "8-ядерный" процессор AMD проигрывает 4-ядерному Core i7, и даже более младшему Core i5. По сути, последние процессоры AMD - своеобразная жертва неправильного маркетинга, который погнался за красивыми цифрами. Назвали бы свои настольные "8-ядерные" процессоры честными 4-ядерными, и "16-ядерные" серверные 8-ядерными - тогда было бы другое дело.
Вкратце по поводу остальных компонентов: видеокарта GeForce GTX Titan - отличное решение для профессиональной работы, несмотря на то, что эта модель официально позиционируется как игровая. Имея такую видеокарту, нет нужды в Quadro, которые, по сути, представляют собой те же самые игровые модели с другим BIOS. Видеокарта очень быстро визуализирует вьюпорты, даже сложные модели, в общем, моделировать с ней очень и очень удобно. Ну и аппаратный рендеринг тоже поддерживает на очень высоком уровне, хотя это перспетивное направление ещё недостаточно развито и распространено. Для тех, кто знает, зачем это: у этой видеокарты полноскоростной модуль Floating Point, в отличие от других хоть и топовых, но обрезанных Kepler'ов типа GTX680-780, у которых Floating Point очень сильно замедлялся. Причём полноскоростной Floating Point принудительно включается в драйвере, при этом снижается игровая производительность. Т.е. вычислительные ресурсы видеокарты просто переходят в другой, вычислительный режим. Чтобы играть на полную мощность, нужно это параметр выключать.
Жёсткие диски Seagate 4TB ST4000NM033 - отличные, надёжные и очень быстрые серверные модели. 2 x 4TB - более чем достаточно и для работы, и для создания резервных копий. У серверных моделей MTBF выше (время наработки на отказ), поэтому в последнее время выбираю только их.
SSD 480GB OCZ RevoDrive X2 Max IOPS PCI-e - отличная уникальная модель с интерфейсом PCI-e. По скорости среди потребительских моделей ей нет равных. Минимум в 3 раза превосходит по скорости записи и чтения любые самые топовые SSD с интерфейсом SATA 3. Быстрее - только корпоративные модели за космические деньги. Правда, дело сдвинулось с места и сейчас уже появились в продаже потребительские SDD с интерфейсом PCI-e и от других производителей, а также и обновлённые модели и от самой OCZ Technology, советую обратить внимание.
Монитор ASUS PQ321QE - 31.5-дюймовый топовый представитель нынче только зарождающегося класса 4K мониторов с разрешением 3840x2160 пикселов. Сделан на особой матрице SHARP IGZO, которая по всем свойствам очень близка к S-IPS. Отличная цветопередача, плавность подсветки и градиентов. При таком разрешении на экране можно разместить всё мыслимое количество панелей инструментов в любых самых тяжёлых программах, будь то 3dsmax, After Effects, Premiere и т.д. Например, в видеоредакторах FullHD видео можно свободно обрабатывать в 100% увеличении. Ну а работать с фото и вектором - одно удовольствие. Да и при веб-сёрфинге - только приятные впечатления. Сразу приятно бросается в глаза неприычногладкий текст. При таком разрешении и диагонали пикселы фактически не видно. Кстати, уже есть в продаже значительно более дешёвые 24" и 28" модели, которые также обладают разрешением 4К, кому нравятся новые технологии, советую обратить внимание на них.
Теперь, собственно, по поводу того, зачем всё это надо, т.е. о скорости работы. Не знаю, как это описать, это надо просто показать или попробовать самому. Это не быстро, это просто охреннено быстро. С новой конфигурацией я просто в принципе забыл вообще о таком понятии, как время рендеринга. То, что раньше делалось час, теперь делается ровно за 5 минут! То, что делалось раньше 3 часа, теперь делается за 15 минут! Просто для примера оптимизации времени - если раньше я ставил на рендеринг и мог пойти себе заварить кофе или даже пообедать, то сейчас я реально успеваю только разве что заглянуть в интернет, глянуть стоки, и ещё каких-нибудь пару сайтов. Всё. И уже всё готово. Последние версии большинства современных рендереров способны полностью загрузить все 48 виртуальных ядер. Правда, некоторые загружают полностью максимум только 32. Но это не мешает в это же время запустить в другой копии программы ещё один рендеринг, или просто в это время заниматься чем-то ещё. В итоге, возможности такой системы просто безграничны. Т.е. для тех, кто серьёзно занимается 3D, такая система - решение фактически всех проблем. Работая на такой системе, даже отпадает всякая мысль о какой-либо необходимости в услугах онлайн рендер-ферм, т.к. всё уже есть у тебя на столе.
Теперь важно. По поводу извечного спора о том, что лучше - одна большая дорогая коробка или куча маленьких дешёвых коробков. Скажу сразу - я однозначный сторонник одной большой коробки. Уверен, те, кто является противником такого подхода, просто не пробовали. Если попробуют, то придерживаться другого подхода после этого будет очень сложно. У этого подхода есть целый ряд очень веских преимуществ. Во-первых, размер и вес. 24-ядерный компьютер на столе пусть и в большом корпусе, вмещающий в себя по мощности, по сути, 6 (шесть!) обычных 4-ядерных компьютеров - это сила. По стоимости - 6 отдельных компьютеров, суммарная производительность которых будет эквивалентна этой, будет ненамного ниже. И при этом не забывайте о таких немаловажных вещах, как обслуживание, наладка и поддержка - установка и обновление всех необходимых программ одновременно на все компьютеры, устранение неполадок и ремонт в случае потенциальной поломки - всё это обязательные хлопоты. Т.е., по сути, надёжность такой домашней рендер-фермы в 6 (!) раз ниже, чем надёжность одного компьютера. Ну и не стоит упускать из вида проблему, где содержать весь этот, как выше верно было подмечено, "компьютерный зоопарк", который ещё, к тому же, будет немало шуметь. Да, хочу отдельно отметить - даже в максимальной нагрузке система на двух 12-ядерных Xeon реально очень тихая! Её абсолютно без преувеличения почти не слышно, она шумит не громче обычного компьютера. Например, моя прошлая система на разогнанном Core i7-3930K шумела ощутимо громче. То же самое касается и энергопотребления - одна система на двух 12-ядерных Xeon будет потреблять меньше, чем 6 раздельных компьютеров, каждый со своим блоком питания, материнской платой, жёстким диском и т.д. Да-да, всё это требует электропитания. А здесь - материнская плата - одна, и все остальные компоненты тоже в единственном числе.
Кроме всего прочего, нужно ещё иметь в виду такую немаловажную вещь, как вычислительные затраты на распределение вычислений, которые тоже будут отнимать часть вычислительной мощности и времени (пример ниже). Почему-то многие об этом забывают. Также незначительные финансово (по сравнению с общей стоимостью всей системы), но всё же затраты на сетевое оборудование для связи всех компьютеров в сеть. А также подключение, наладку этой сети и пр. Вот пример: как известно, при моделировании немало времени занимают промежуточные рендеры, которых в процессе создания модели может быть не один десяток. Знаете, что происходит при сетевом рендеринге? Каждый раз перед рендерингом хост-приложение отправляет по сети каждому компьютеру всю сцену, все модели, текстуры и пр. Пока все компьютеры не получат полностью всю сцену, рендеринг не начнётся. Если сцена сложная и текстуры большие, то всё это в конечном итоге приведёт к значительной потере времени, и все преимущества этого "зоопарка" сведутся на нет. А тут - все ресурсы всегда под рукой. Все текстуры загружены, все модели уже в памяти. Нажал всего лишь одну кнопку - и процесс рендеринга начался мгновенно, без никаких задержек! Можно, конечно, отказаться от промежуточных рендеров по сети, но в чём же тогда будет заключаться преимущество такой рендер-фермы, если всё равно значительная часть времени будет уходить на моделирование с промежуточными рендерами, а финальный рендер будет занимать ничтожную часть времени всего процесса.
Да, и ещё один момент - контроллеры памяти во всех процессорах LGA2011, как серверных, так и настольных - 4-канальные. Во всех остальных настольных процессорах контроллеры памяти только 2-канальные. Т.е. доступ к памяти у процессоров LGA2011 в 2 раза быстрее.
Ну вот, вроде бы, вкратце и всё. Писал действительно вкратце, потому что в работе такой серьёзной системы есть масса нюансов и особенностей, которые сразу не вспомнишь. Большинство этих особенностей относятся к плюсам и преимуществам работы. Если есть ещё какие-то вопросы по поводу работы 2-процессорных систем на процессорах серии Xeon E5-2600 V2 в настольном окружении - задавайте, постараюсь на них ответить, поскольку я прошёл весь этот путь до конца, и следовательно, у меня есть чем поделиться.
Последний раз редактировалось alexey-dn, 11.08.2014 в 16:52.
|
2 x Xeon E5-2690 (BX80621E52690)
) то не уверен, но вроде на сетевой рендринг не нужно полноценную версию того же макса. Впрочем, никогда не интересовался. 
Линейный вид
