Автор Тема: Установка Afanasy CGRU для Blendera  (Прочитано 5668 раз)

Оффлайн ThreeDancingFlies

  • Житель
Установка Afanasy CGRU для Blendera
« : 05 Апрель 2017, 14:57:47 »
Вычислительная -ферма просто и не фига не просто.
Часть 1 Общие принципы, установка и настройка.

Введение:

Что такое вычислительная ферма(ВФ)?
Набор программ и скриптов для автоматизации распределения решений задачи по вычислительным мощностям ЛВС. Как правило серверно- клиентская архитектура, сервер организует удаленный запуск процессов решения на рабочих машинах и ведет общий мониторинг решения. Допустимы только задачи с возможностью распараллеливания их решения, т.е. решение каждой части задачи не зависит от решения других ее частей. Все как в жизни: у меня теща если замечает что ее негативные реплики в мою сторону не вызывают ответную реакцию заводит мою жену против меня и они с двойной силой начинают выносить мне мозги.

А тоже самое но человеческим языком можно?
Общий принцип работы «менеджера рендеринга» можно описать так: Пользователь выставляет задачи с указанием их приоритетов последовательности выполнения а менеджер должен выбрать рендер-станции которые могут выполнять эти задачи, распараллелить ее вычисления между выбранными станциями. Менеджер так же отслеживает прогресс решения задач и ошибки выполнения, хронометраж и запись событий, авторизацию клиентов и еще много всего о чем скажем позже.
Для лучшего понимания концепции работы менеджера рендер-фермы можно объяснить ее понятной каждому аналогией: проститутки — сутенер — клиенты.
Итак сутенер Гиви (сервер) прекрасно осведомлен о том какие шлюхи (рендер-станции) у него есть в обойме и их возможности. Он знает что его проститутка Сашка Грейка имеет груди 1 размера и может как стандартный секс так и ОГО-ГО какой нестандартный секс , Лизка Энн имеет 3 размер груди и занимается только стандартным сексом, Елена Беркова имеет 2 размер и любой вид секса.
Приходит первый клиент (задача) к сутенеру и говорит: «Мне нужны проститутки с 2-3 размером для стандартного секса».
Сутенер смотрит кто подходит из шлюх к выставленным клиентом требованиям и кто из подходящих свободен: Ленка и Лизка свободны и удовлетворяют условиям клиента, уходят с ним, а сутенер отмечает для себя что эти две шалавы заняты.
Вдруг к сутенеру прибегает еще один клиент и говорит: «Мне СРОЧНО требуется на день рождения хорошего человека -депутата все проститутки с любым размером груди для совсем-совсем нестандартного секса, даю тройную цену!»
Сутенер прикидывает что к этим условия подходит Сашка и Ленка но вот незадача последняя уже занята, однако второй клиент предложил тройную цену так что он более приоритетный в обслуживании. Сутенер бежит и ломает кайф первому клиенту забирая у него Ленку и передает ее второму клиенту.
Надеюсь принцип работы менеджера рендеринга Вам теперь понятен.

Для чего это мне нужно?
Для решения сложных задач: майнинга, рендеровки, научных расчетов,прогрев углов с плесенью в квартире. Также вы можете предоставлять вычислительные мощности вашей фермы другим людям через интернет за деньги, платных ВФ сейчас очень много: https://ru.rebusfarm.net, http://megarender.ru/,http://ru.forrender.com/ и тд. Подвид ВФ есть рендер-ферма(РФ)

Рендер-ферма(РФ) что это?
Это частный случай вычислительных ферм, когда они профилируется на работе с графикой, например прорисовка изображения из трехмерной сцены. В нижеследующем примере мы будем настраивать РФ на работу с ПО Blender.
Рендер-ферма как правило управляется специальным программным обеспечением называемым Рендерменеджер.

Сколько и каких компьютеров мне нужно для РФ
Чем больше ПК и чем они мощнее тем лучше. Но дополнительно для ускорения работы РФ применяйте несколько правил:
- Скорость сетевого соединения критична при больших размерах пересылаемых данных поэтому лучше использовать скорость 1gb и более
- Сетевые папки с данными для рендеровки располагайте на отдельном диске, при большом количестве записей\чтений с диска его пропускная способность может стать ограничителем скорости работы фермы. Во избежания этого размещайте несколько дисков с эквивалентными данными на разных ПК фермы и настройте доступ к ним рендер станций по группам или показателю текущей загрузки диска.
- GPU все больше используют как устройства рендеринга(да и не только) поэтому на рендер станции хорошо иметь мощную видеокарту с большим объемом VRAM, для blender cycles положительно зарекомендовали себя видеокарты NVIDIA, при этом чем больше CUDA ядер и чем больше частоты работы видеокарты тем лучше. Для освобождения VRAM памяти занятой под интерфейс ОС и уменьшения нагрузки рендер станции как правило грузятся в текстовом режиме. Имеет смысл использования нескольких GPU на одном ПК.
- Автоматизация включения и выключения рендер станций по наличию для нее работы, это снизит расход энергии и увеличит ресурс РФ.
- Ученные эксперты с b3d.org.ua и blender-3d.ru опытным путем доказали что если в полнолуние в одних трусах встать посреди рендерфермы и напевая "Чижик - пыжык" пальцами правой ноги дотронуться до вашего левого носа то это ускорит работу вашей рендерфермы примерно на 0% а ваши шансы попробовать галоперидол на 99%.

Почему в качестве РМ выбран Afanasy (cgru.info)?
-стабильность работы
-постоянное развитие и выпуск новых версий
-открытость и бесплатность
-масштабируемость и тесная интеграция с большим количеством ПО по работе с графикой, высокий уровень мониторинга и автоматизации
-расширяемость функционала работы
-поддержка Linux,Windows,MacOs,BolgenOS
-разработчики просто.... приплатили мне... а... а я не умею отказывать когда мне в лицо кидают пачки долларов.

Сколько все эти программы стоят?
$=0,нервов туюву хучу.

Повторим из чего будет состоять наша РФ:
Компьютер с сервером далее просто серверПК(AFSever) - получает и распределяет решение задач от клиента.
Компьютер(ы) решающий задачу на своих локальных мощностях по запросу сервера, далее просто рендерПК(AFRender).
Компьютер(ы) создающие задачи для сервера далее клиенты.
Кот Васька далее просто шерстяной засранец- жрет пыль с ковра и блюет ей на углы хаты из-за чего на них растет плесень.

Итак начнем минимальную (базовую) установку РМ Афанасия для РФ с Blender на Ubuntu 16.4 64bit и удаленным администрированием через SSH клиент Putty.
1.Установка AFServer:
1-1)Настройка пользователя
Создайте нового пользователя Ubuntu или используйте существующего, для примера я буду использовать пользователя igor
1-2)Настройка шары
Проверьте что у вас установлена служба доступа к шаре Samba введя в терминале:
samba
если она не установлена введите:
sudo apt install samba
Если вы не планируете под шару отдельный диск то создайте в директории /home/igor/ новую папку под эту шару
нажмите правой клавишей мыши на созданную папку или диск который вы выбрали под шару и выберете:
Свойство-Общедоступная папка локальной сети
Введите любое имя шары (я буду использовать имя Prj) и установите галочку "Опубликовать эту папку" и "Разрешить другим создавать и удалять файла"
Нажмите ОК
Добавьте права доступа к шаре Prj пользователю igor и его пароль, для чего введем в терминале:
smbpasswd -a igor
smbpasswd -e igor
sudo service smbd restart
Если под шару выбран диск то для полноценной его работы в сети необходимо его перемонтировать из /media/igor/ в /home/igor/Prj для автоматического монтирования при загрузки необходимо:
Создать папку под точку монтирования в /home/igor/
В терминале введите:
lsblk -fs
в таблице найдите диск для шары и скопируйте его UUID
В терминале введите:
sudo nano /etc/fstab
Добавьте в самом конце файла строку:
UUID=fd53ba8b-8c9b-4e66-af43-899e5b6ad211 /home/igor/Prj ext4 auto,rw,user,async 0 2
но при этом поменяйте UUID на свой и вместо /home/igor/Prj укажите свой путь до созданной вами папки.
перезапустите ПК
1-3)Установка сервера Афанасий
скачайте из http://cgru.info/downloads установочный архив для своей ОС
разархивируйте его в папку и откройте терминал
проверьте что у install_afserver.sh есть права на исполнение, для этого нажмите на файл install_afserver.sh правой кнопкой мыши и выберете свойства-Права и установите галочку "Разрешить выполнение файла как программы"
В терминале введите:
cd <путь до разархивированной папки>
sudo ./install_afserver.sh
откройте браузер и в адресной строке введите http://127.0.0.1:51000/, должна появиться вэбморда Афанасия
1-4)Установка мониторинга
В терминале введите:
sudo apt install putty

2.Установка AFRender:
Повторите нижеописанные действия для всех рендерПК
2-1)Добавление пользователя.
Создайте нового пользователя Ubuntu или используйте существующего, для примера я буду использовать пользователя igor
2-2)Подключение шары
создайте папку в домашней директории пользователя
В терминале введите:
sudo nano /etc/fstab
Добавьте в самом конце файла строку:
//192.168.0.105/Prj* /home/igor/Prj** cifs username=igor***,password=werq11****,iocharset=utf8,sec=ntlm 0 0
звездочки печатать не надо, это сноски!
*-укажите ваш сетевой путь до шары
**-укажите путь до созданной вами папки
*** и **** - укажите имя пользователя и пароль samba шары (см п.1-2)
перезапустите ПК
Итак мы подключили шары и они надежно присоединены к файловой системе в отличии от шаров моего кота Васьки.
2-3)Настройка сервиса рендеринга AFRender
скопируйте разархивированную папку полученную в п.1-3 в домашнюю директорию на данном ПК
проверьте что у install_cgru.sh есть права на исполнение, для этого нажмите на файл install_afserver.sh правой кнопкой мыши и выберете свойства-Права и установите галочку "Разрешить выполнение файла как программы"
В терминале введите:
cd <путь до разархивированной папки>
sudo ./install_cgru.sh
Создадим файл конфигурации рендера
В терминале введите:
sudo nano /opt/sgru/config.json
измените afanasy на ip серверПК
Настроим пользователя запускающего AFRender по умолчанию:
В терминале введите:
sudo nano /opt/sgru/afanasy/nonrootuser
удалите весь текст и напишите логин вашего пользователя созданного в п.2-1 в моем случае это igor
сохраните.
В терминале введите:
sudo /etc/init.d/afrender start
перезапустите ПК
в правом верхнем углу у вас должна появиться иконка CGRU с зеленой R в центре
нажмите на иконку и выберете:
AFANASY-Set server и укажите IP сервера созданого в п.1-1
AFANASY-Set user и укажите вашего пользователя созданного в 2-1
AFANASY-Software-Setup software-Blender и укажите путь до исполняемого файла Блендера
3-4)Отключение Xserver
В терминале введите:
sudo nano /etc/default/grub
отредактируйте GRUB_CMDLINE_LINUX_DEFAULT="text"
сохраните.
введите в терминале:
sudo update-grub
sudo systemctl multi-user.target --force
sudo systemctl set-default multi-user.target
если вам понадобиться включить графический интерфейс наберите sudo startx
3-5)Установка SSH сервера.
sudo apt install openssh-server
3-6)Настройка Blendera.
Укажите устройства рендеринга в настройках, нажмите сохранить настройки.
4.Установка клиента:
скопируйте разархивированную папку полученную в п.1-3 в домашнюю директорию на данном ПК
проверьте что у install_cgru.sh есть права на исполнение, для этого нажмите на файл install_afserver.sh правой кнопкой мыши и выберете свойства-Права и установите галочку "Разрешить выполнение файла как программы"
В терминале введите:
cd <путь до разархивированной папки>
sudo ./install_cgru.sh
Создадим файл конфигурации клиента
В терминале введите:
sudo nano /opt/sgru/config.json
измените afanasy на ip серверПК
в правом верхнем углу у вас должна появиться иконка CGRU с зеленой R в центре
нажмите на иконку и выберете:
AFANASY-Set server и укажите IP сервера созданого в п.1-1
AFANASY-Set user и укажите вашего пользователя созданного в 2-1
AFANASY-Software-Setup software-Blender и укажите путь до исполняемого файла Блендера (если необходимо)
Пока все устал.... продолжение следует)
« Последнее редактирование: 05 Апрель 2017, 15:53:02 от ThreeDancingFlies »

Оффлайн Striver

  • Житель
  • недоинженер, полупрограммист
    • http://striver00.ru
Re: Установка Afanasy CGRU для Blendera
« Ответ #1 : 06 Апрель 2017, 10:23:42 »
Понравилось про "хорошего человека -депутата" и про "Чижик - пыжык"  :D

А если серьёзно... Блин, насколько крутым моделлером-текстурщиком-аниматором-визуализатором надо быть, чтобы дойти до стадии, когда рендер-ферма понадобится... Я, когда читаю тут, что кому-то скорости рендера не хватает, вижу, что чего-то в этой жизни не понимаю. Мне для хорошей картинки надо неделями-месяцами моделить, текстурить, настраивать материалы, расставлять, и 20 раз всё это поменять-переделать. И поэтому мне почти по-барабану, будет ли это 5 минут или 2 часа рендериться в окончательном виде.

Но для аниматоров это действительно нужно. Так что ПЕШИ ИСЧО!

Оффлайн ThreeDancingFlies

  • Житель
Re: Установка Afanasy CGRU для Blendera
« Ответ #2 : 06 Апрель 2017, 13:41:32 »
Спасибо! Скоро интересный урок запилю!

Оффлайн M.Fitzgerald

  • Житель
Re: Установка Afanasy CGRU для Blendera
« Ответ #3 : 18 Сентябрь 2019, 13:56:34 »
Спасибо!
Продолжение-то будет?  :D

 


Яметрика

* По форуму

* Рекламный блок

* Последние вложения

1 (1).png
Скачано: 68
Автор: LEXA ANЭGROWND
blender.png
Скачано: 78
Автор: ipv2007
4.png
Скачано: 100
Автор: hiroyukiss
2.png
Скачано: 122
Автор: hiroyukiss

Скачано: 112
Автор: Dilifa12