Enzo’s блог
13 карт на одной ферме, личный опыт
Запись опубликована Enzo · 26 дек 2016, 13:26
Наконец-то, сбылась мечта идиота: запустить более 10 карт на одной ферме. Почему именно более 10? Потому-что в Windows не обнаруживается более 10 GPU (так говорят, сам не проверял). И вроде как только линукс может поддерживать более 10 графических ядер. Спортивный интерес, так сказать.
А началось всё с того, что у меня в планах временный переезд за границу, при этом все мои фермочки остаются на родине, за ними нужно как-то следить. Для решения данной задачи было решено перевести все фермы на серверный сокет, потому-что в серверных материнских платах есть Managment Port, который позволяет иметь полный доступ к управлению компьютером: можно в биос зайти, можно ресет нажать, можно выключить/включить, переустановить операционную систему и т.п. Таким образом, физическое присутствие возле ферм понадобится только при необходимости заменить какую-то деталь, всё остальное можно делать удалённо и не напрягать лишний раз кума/свата/брата. Т.к. все наслышаны о большом количестве линий PCI-E в серверных системах, потому попутно проснулся и спортивный интерес: воткнуть больше карт. Дайте мне таблеток от жадности, да побольше, побольше! 😆 Кроме того, я люблю вау эффект, готов переплачивать за плюшки и прочие удобства.
Начал искать в каталогах оптимальную материнку: максимум PCI-E слотов (не менее 6), сокет 2011/2011-3 (на 1366 искать не стал, устаревшие), наличие менеджмент порта (далеко не на всех платах он есть), наличие M.2 порта было бы плюсом. Процессоры под 2011-3 оказались черезчур дорогими, тогда как для 2011 на рынке полно б/у ксеонов E5-1620 (4 ядра/8 потоков, 3.6Мгц), всего по 40-50$, потому остановился на сокете 2011.
Обошлась она мне в 340$ за новую. У этой платы (или может производителя в целом) оказалась самая жлобская комплектация, которую я когда-либо видел 😆 В коробке с мамкой была заглушка на корпус и 6 SATAII кабелей. Т.е. ни одного SATAIII кабеля, ни одной косички, даже руководства пользователя не было :huh: Стоит также отметить, что в данной плате один из портов является PCH.
Т.к. расчёт был на установку 8 карт в одной ферме, для этого не обойтись без мощного блока питания, потому-что имеющийся корпус не позволял установить в него 2 БП (без колхоза), и я вновь отправился на поиски по каталогам. Серверные БП не рассматриваю, это на уровне религии наверное 😛 Выбор пал на Super Flower Leadex Platinum 2000W, как самый мощный из доступных с одной линией 12В.
Стоит он правда, не мало: 450$. На текущих моих фермах стоит по два SeaSonic Platinum P-1200 (1200Вт), так-что один новый «пупсик» стоит дешевле, чем эти два, а его мощности с головой достаточно на 8 популярных на данный момент RX 480, ещё и на апгрейд карт есть немного запаса.
В качестве первой партии видеокарт заказал 8 Sapphire Nitro+ RX 480 8Gb.
Отдельно хочу рассказать про историю с процессором, а точнее, с его охлаждением. Купленный б/у процессор был без кулера, потому я заказал самый дешёвый попавшийся на глаза кулер: Supermicro SNK-P0047P.
Учитывая нулевую нагрузку на процессор при майнинге, не стал я заказывать активный кулер (с вентилятором), т.к. в каталоге самый дешёвый вариант был в 4 раза дороже этого б/у.
Т.к. с 2011 сокетом я дела никогда не имел, для меня стало неожиданностью, что в нём есть два типа крепления процессорного охлаждения: Square ILM и Narrow ILM.
И, как оказалось, купленный кулер не подходит на данную МП. Дело было в субботу, что-либо заказать и получить сегодня же не предоставлялось возможным, а я так ждал этих выходных 😆
Ну, что же делать, полез искать другой кулер. Выбрал Scythe Katana 4 SCKTN-4000, как недорогой и небольшой, кулер универсальный, с поддержкой многих сокетов, в том числе и 2011.
Ну что, приехал этот кулер во вторник, и я бегом побежал примерять его к мамке. И что вы думаете? Снова из меня сыпется куча мата, ибо это гавно имело переходник только на квадратное крепление 😆 Ради интереса полез на сайт производителя, там написано «кулер поддерживает сокет 2011», и на этом всё, о типе крепления ни слова. Как оказалось позже, просматривая другие кулеры, почти во всех каталогах и сайтах производителей не указан тип крепления, при этом загуглив конкретную модель, находились отзывы, что кулер поддерживает только квадратное крепление. Мой нос снова свесился, ибо я не мог в каталоге найти нужный кулер, потому-что приходилось гуглить каждую модель в поисках информации о поддержке типа крепления, а на это уходило много драгоценного времени.
Позже вспомнив, что с первым пассивным куллером попадался на глаза и другой пассивный, немного крупнее, решил посмотреть его. И о чудо, он имел именно нужное мне крепление 😆 Им оказался Supermicro SNK-P0048PS, который стоил в два раза дороже первого, но в первый раз я зажлобил на него, ибо если нет разницы, зачем платить больше? 😀
Не долго думая, собираю всех купленных «лузеров» и еду с ними к продавцам в столицу (70км), на возврат. Продавец нужного кулера уверил, что без сильной продувки проц будет перегреваться, потому из 3х корпусных вентиляторов средний я развернул в сторону процессора.
Собрал я всё это дело в кучу. Память 2х 4Гб, винт SSD 120Gb. Почему 120Гб? Чтобы поселить на нём несколько операционных систем, и работать в той, где выгоднее на текущий момент. Установил Ubuntu 16.04, последний на тот момент драйвер amdgpu-pro 16.50 и optiminer для майнинга Zcash.
3 карты завелись без проблем, при подключении 4й получил звуковую алярму и переход в биос, где был устрашающий варнинг:
PCI OUT OF RESOURCES CONDITION:
Error: Insufficient PCI Resources Detected.
System is running with Insufficient PCI Resources!
In order to display this message some
PCI devices were set to disabled state!
It is strongly recommended to Power Off the system and remove some PCI/PCI Express cards from the system!
WARNING: If you choose to continue booting some Operating
Systems might not be able to complete boot correctly!
Т.е. плата нам сообщает, что PCI ресурсы заканчиваются, выдерните что-нибудь лишнее. Но там же был и такая инфа:
Please change your BIOS settings:
BIOS > Advanced > PCIe/PCI/PnP Configuration > Above 4G Decoding and set it to Enabled.
Не долго думая, лезу туда и правлю указанный конфиг. Попутно отключаю всё лишнее/ненужное. Теперь всё заводится, система грузится, майнинг на 4х картах работает.
При работе в биосе меня ждал серьёзный нежданчик: проц очень сильно грелся, иногда доходило до звуковых алертов перегрева, после чего приходилось быстро сохранять биос и тушить систему на некоторое время. Вентилятор не справлялся, как позже оказалось, из-за моей рукожопости: я его воткнул (голые провода) в 5В, вместо 12В. При этом, при майнинге на таких оборотах вентилятора радиатор процессора со временем становился и вовсе холодным, т.е. активный кулер оказался нужным только для биоса :unsure:
При добавлении 5й карты хешрейт у всех карт изменился до 50-60 сол/с, тогда как обычно у карт RX 480 хешрейт на уровне 200-220 сол/с. Полез в биос, там есть возможность указать режим совместимости каждого PCI-E слота: Gen1/Gen2/Gen3. По умолчанию у 6 слотов установлено Gen3, седьмым слотом управлять нельзя, т.к. это PCH слот, но видеокарта в нём успешно работает. В общем, при Gen1 хешрейт не изменился, при Gen2 всё заработало как планировалось.
Пора добавлять третий расширитель, думаю куда его воткнуть, учитывая что в двух х16 слотах работает только один из них (отдельно один расширитель работает в обоих слотах). Не долго думая, решаю подключить третий каскадно, т.е. воткнуть его в расширитель. Тоже никаких особенностей, всё завелось и работало как нужно. Таким образом, нарастил количество карт до 12 штук: 8 RX 480 и 4 R9 390.
В майнере «правильный» хешрейт:
Потом ради интереса воткнул коммутатор в PCH слот, там тоже всё работало как положено.
Всё это собиралось «на коленке», в ограниченном пространстве, особенно учитывая изначальное расположение фермы в 4U корпусе. Получилось вот такое чудо-юдо 😆
У меня были ещё карты, ещё расширители, но как подумал куда всё это дело пристроить в таком хаосе, решил, что этого пока достаточно для первого эксперимента. Разгоны не проводил, все карты в стоке.
Ещё перед сборкой этого зоопарка я мечтал, что смогу запустить на такой системе более 8 карт, и для размещения такой фермы заказал себе корпус Thermaltake Core X9 http://www.overclockers.ua/case/thermaltake-core-x9/all/
Скажу честно, когда это чудо приехало, я был шокирован его размерами, ожидал увидеть гробик меньше раза в два. Но теперь я точно уверен, что в него и 20 карт влезет 😆 Так-что, наверняка следующая моя запись в блоге будет «Установка фермы с 12+ карт в корпус Thermaltake Core X9» :rolleyes: ну и, раз влезет 20 карт, значит пора собирать двухпроцессорное решение 😀 Скажу сразу, попадались нужные материнские платы в примерно той же ценовой категории, в пределах 350$, а второй процессор, как я уже писал, можно купить за 40-50$ + 40$ на комплект памяти для него, итого получаем не сильное удорожание для ещё ХХ карт.
PS. Эксперимент окончен, ферма из 12 карт разобрана, сейчас на ней трудятся купленные 8 карт RX 480, так-что что-либо проверить по желанию комментаторов не смогу.
Upd. 10.01.2017
Пришла вторая партия карт, свободных слотов с переходниками хватило только на 15 карт. При подключенных 15 картах майнинг Zcash работал только на 13, как оптимайнер, так и клеймор. Причина не ясна, т.к. в списке устройств отображаются все карты. Другие майнеры и монеты не проверял. Собственно, сейчас на ферме трудятся 13 карт RX 480 8G.
[Total] 1943.0 I/s 3627.8 S/s (5s) 1948.7 I/s 3661.1 S/s (1m) 1949.7 I/s 3663.0 S/s (1h)
Upd. 07.02.2017
На данный момент в риге работает 10 карт, продолжать эксперименты пока-что нет возможности. Думаю, через месяц-два вернусь к этим вопросам.
Insufficient PCI Resources!
carlos.negron.ny153f02db
New member
I too have the same issue.
The solutions here do not work. @mimonto14e002c7 can you post your bios settings here instead of providing a download?
Also, if you are using HiveOS, like myself, you can not boot into UEFI mode. There are methods out there but it’s really involved and time-consuming.
I go through the process of F7, save and exit and things seem to run fine until it reboots. Then I have to manually move it along. (Not sustainable for mining).
I am convinced that these early MSI boards are simply not built for mining (i.e. supporting multiple GPU setup with risers).
On top of that, my biggest frustration is my CPU doesn’t have integrated graphics and the mother board is hit or miss in detecting that I have GPU in place, on a riser.
It would be great if someone had a concrete solution even if that solution was that that motherboard doesn’t support certain configurations.
mimonto14e002c7
New member
I too have the same issue.
The solutions here do not work. @mimonto14e002c7 can you post your bios settings here instead of providing a download?
Also, if you are using HiveOS, like myself, you can not boot into UEFI mode. There are methods out there but it’s really involved and time-consuming.
I go through the process of F7, save and exit and things seem to run fine until it reboots. Then I have to manually move it along. (Not sustainable for mining).
I am convinced that these early MSI boards are simply not built for mining (i.e. supporting multiple GPU setup with risers).
On top of that, my biggest frustration is my CPU doesn’t have integrated graphics and the mother board is hit or miss in detecting that I have GPU in place, on a riser.
It would be great if someone had a concrete solution even if that solution was that that motherboard doesn’t support certain configurations.
carlos.negron.ny153f02db
New member
junk015a602e5
New member
mimonto14e002c7
New member
mimonto14e002c7
New member
Attachments
Well-known member
carlos.negron.ny153f02db
New member
carlos.negron.ny153f02db
New member
studioinformatio152e02d7
New member
This worked for me.
using the following settings with the BIOS from January / February 2021, 6 Graphic devices (GPUs) could be successfully used:
Settings/Advanced/Integrated Peripherals
— HD Audio Controller: Disabled
Settings/Advanced/Integrated Graphics Configuration
— Initiate Graphic Adapter: IGD
Settings/Advanced/Super IO Configuration
— Serial Port: Disabled
— Parallel Port: Disabled
Settings/Advanced/Power Managenment Setup
— Restore after AC Power Loss: Power On
Settings/Advanced/Windows OS Configuration:
— Windows 10 WHQL Support: UEFI
— FAST Boot: disabled
Settings/BOOT:
— POST Beep Enabled
— Boot mode slect: UEFI
vegasreward159302e9
New member
I purchased a MSI Z390-A PRO motherboard to upgrade my mining rig. I have 6 GPU’s connected. I do not have this issue with other MSI motherboards.
I am getting the following error on bios boot. Error goes away if I disconnect 2 GPU’s
System is running with Insufficient PCI Resources! PCI devices were set to disabled state! It is strongly recommended to Power Off the system and remove some PCI/PCI Express cards from the system!
Any solutions for this issue?
I purchased a MSI Z390-A PRO motherboard to upgrade my mining rig. I have 6 GPU’s connected. I do not have this issue with other MSI motherboards.
I am getting the following error on bios boot. Error goes away if I disconnect 2 GPU’s
System is running with Insufficient PCI Resources! PCI devices were set to disabled state! It is strongly recommended to Power Off the system and remove some PCI/PCI Express cards from the system!
Any solutions for this issue?
I found these settings to work. I’m not sure they are all needed, but I think these are the main two: Integrated Graphics Adapter-IGD and Windows 10 WHQL Support-UEFI. This worked while running Linux when mining.
Settings/Advanced/PCIe/PCI Sub System Settings:
PEG0 Max Link Speed->Gen 2
PCI Latency timer->32 PCI Bus Clocks
Above 4G memory/crypto Currency Mining->Enabled
Settings/Advanced/Integrated Graphics Configuration:
Integrated Graphic Adapter->IGD
Integrated Graphics Share Memory->32MB
Settings/Advanced/Power Management Setup:
Restore after AC loss->Power On
Settings/Advanced/Windows OS:
Windows 10 WHQL Support->UEFI
-UEFI. This worked while running Linux when mining.
Settings/Advanced/PCIe/PCI Sub System Settings:
PEG0 Max Link Speed->Gen 2
PCI Latency timer->32 PCI Bus Clocks
Above 4G memory/crypto Currency Mining->Enabled
Settings/Advanced/Integrated Graphics Configuration:
Integrated Graphic Adapter->IGD
Integrated Graphics Share Memory->32MB
Settings/Advanced/Power Management Setup:
Restore after AC loss->Power On
Settings/Advanced/Windows OS:
Windows 10 WHQL Support->UEFI
Как исправить ошибку «Недостаточно свободных ресурсов для работы данного устройства (код 12)»
Среди проблем, которые возникают на оборудовании с Windows 10, 7 и 8 в процессе подключения «свежего» девайса (видеокарты, ЮСБ и прочих), а в некоторых случаях и на уже работающем допоборудовании – уведомление о том, что недостаточно свободных ресурсов для работы данного устройства (код 12), как исправить это? В сегодняшней публикации подробнее рассмотрим ошибку и варианты ее исправления, в том числе и для начинающих юзеров.
Простейшие способы
Для начала стоит попытаться справиться с ситуацией, исправить ее простыми вариантами, часто оказывающимися весьма эффективными. Если вы увидели, что появилась надпись «Недостаточно свободных ресурсов для работы данного устройства» код 12, необходимо:
Еще одна проблема
Хочется отметить еще одну проблему, которая стала встречаться в последнее время довольно часто. Пользователи приобретают и доподключают к МП видеокарты по числу имеющихся разъемов PCI-E, после чего, например, из четырех функционируют две карты, а остальные выдают код 12.
Причиной могут быть ограничения непосредственно материнки, к примеру, такие: из шести разъемов PCI-E можно использовать не больше двух NVIDIA и трех от AMD. Иногда можно поменять параметры обновлением БИОС, но если у вас возникли такие сложности, внимательно ознакомьтесь с руководством или напишите консультантам производителя МП.
Недостаточно сводных ресурсов для нормальной работы устройства код 12 в Виндовс. Продвинутые способы, позволяющие исправить все
Теперь рассмотрим варианты исправления посложнее. При неправильной последовательности или неверному следованию алгоритма, вы можете ухудшить положение. Так что их можно использовать, если у вас достаточно знаний.
Если уведомление появляется снова, необходимо вернуть первое значение вводом
bcdedit /set CONFIGACCESSPOLICY DEFAULT.
Далее пройдите по такому пути:
В пункте «Компьютер с ACPI» и подпунктах надо найти устройство, ставшее причиной появления проблем. Выполнить правый клик по контроллеру, к которому подключено, для удаления. Ниже можете увидеть примеры.
При возникновении ошибки «недостаточно свободных ресурсов для работы данного устройства» код 12, исправить ее можно несколькими способами. Как уже было отмечено, начните лучше с самых простейших. Только потом переходите к более усложненным.
Insufficient PCI Resources Detected
Biwot
Reputable
This is my current build:
Intel i7- 5930k
Gigabyte X99P-SLI MOBO
16gb Corsair Dominator DDR4 3000mhz
PNY GTX 970 4GB X3
Corsair RM1000 1000w PSU
Its worth mentioning before i explain the problem that i do NOT yet have a 3way SLI bridge for the cards, as this bridge doesnt come with my motherboard and i have to special order it from Gigabyte.
Ever since i put together this build (both with this motherboard, and the one i originally RMA’d) i have been having this issue with loading my computer. Every time i load up, i get a PCI Out of Resources error in the BIOS. Here is the description in Classic mode:
WARNING: If you choose to continue booting some Operating
Systems might not be able to complete boot correctly!
Now, from what i am understanding, if the issue is with my GPU’s, it clearly states that it disabled the PCI devices that were causing the issue. However, when i look in the Device manager, these are the only issues present:
I’ve googled this issue to high heaven, and all fixes i see are related to Vista, and im running Windows 7 Ultimate 64 bit. Now i spoke with Gigabyte and did a few tests. I dont have the luxury however of trying many different things, as my system is custom water cooled. I cannot simply take it all apart. I managed to test one card by itself and the problem does not arise. I cannot test two cards because of the way the loop is done. As i mentioned before, i do not have a 3 way SLI bridge. I do however have a 2 way bridge, and with it i have been able to do benchmarks, load videos, and even play video games perfectly fine (albeit in 2 way SLI). The third card remains w/o use, but labeled as the Physx card in Nvidia Control Panel.
The man i spoke with in Gigabyte says that with the proper SLI bridge this problem should disappear, though im not quite sure. Does anyone have any ideas? Thank you in advanced for the help.
Ошибка «Недостаточно свободных ресурсов для работы данного устройства. (Код 12)» в майнинге
Случается, что в диспетчере устройств горят восклицательные знаки (желтые треугольнички) на видеокартах. Данная проблема может возникать при подключении 5-ой видеокарты, при этом остальные видеокарты могут продолжать работать нормально. Встречаются и другие варианты поведения, может происходить попарное отключение карт или вообще хаотичное.
При этом, в свойствах адаптера, красуется следующая ошибка:
Недостаточно свободных ресурсов для работы данного устройства. (Код 12) или This device cannot find enough free resources that it can use. (Code 12) в английском варианте.
Причины и способы устранения:
1. Включаем Above 4G Decoding
Чтобы включить 4G-декодирование адресного пространства, на примере msi, необходимо перейти на вкладку Settings > Advanced > PCI Subsystem Setting и установить опцию «Above 4G memory / Crypto Currency mining» в режим «Enabled». Данная опция будет работать только на 64-разрядной операционной системе.
Актуально только для Windows: Причем, после включения данной опции, если на ведущей видеокарте не будут установлены драйвера, то система загрузится с черным экраном. Можно установить драйвер с помощью удаленного доступа, либо временно отключить данный режим и загрузится с ошибкой 12. Проблема черного экрана, в основном, возникает на фермах с HDD диском, так как требуется определенное время для установки драйверов. На SSD дисках данная проблема может возникать в случае отсутствия подключения к интернету или при отключенном центре обновлений Windows.
На Linux данная проблема замечена не была, запуск происходит на Open Source драйверах с последующей установкой проприетарных.
2. Установка последней версии BIOS
Если вы купили «залежавшуюся» плату, то на ней может быть установлена устаревшая прошивка базовой системы ввода-вывода (BIOS). Соответственно на такой плате будет отсутствовать какой-либо намек на запуск более 4-х графических карт. Для обновления BIOS идем на сайт производителя ваше материнской платы (например, Z170A-KRAIT-GAMING-3X) и скачиваем последнюю версию прошивки.
В версии 2.8 появилась поддержка нескольких графических карт, а в версии 2.9 опция Above 4G memory была переименована в Crypto Currency mining.
Далее, записываем скачанный файл на обычную usb-флешку, запускаем BIOS, включаем режим M-Flash.
Выбираем прошивку со съемного носителя и производим обновление BIOS.
На многих материнских платах, после обновления BIOS до последней версии, функция 4G Decoding начинает называться — режим для майнинга криптовалют (Crypto Currency mining).
3. Отключаем LAN, Audio, USB 3.0
В диспетчере устройств, если перейти к свойствам устройства на котором «висит» ошибка 12, можно прочитать один из методов решения проблемы: «Чтобы использовать это устройство, нужно отключить одно из прочих устройств в системе.». Данный совет может оказаться действительным для некоторых моделей материнских плат, в таком случае, следует в диспетчере устройств, а если поможет и в биосе, откюлчить все интегрированные устройства (звук, видео, lan, com) и попробовать перезагрузить компьютер. Но мне кажется, сейчас сложно найти платы у которых аппаратное, а нен программное распределение устройств по шинам и скорее всего ошибка кроется в другом — универсальные драйвера на чипсет. Собственно проверить можно прямо в диспетчере устройств, выбрав группировку «Устройства по подключению».
4. Установка последнего драйвера на чипсет
Вместе с операционной системой сразу устанавливается универсальный драйвер чипсета, который может вызывать неверное распределение/конфликт прерываний (IRQ) и адресации. На современных платах распределением ресурсов управляет программа Intel ME. Лучше сразу переустановить драйвера на чипсет, также можете посмотреть какие чипсеты устанавлены на материнских платах подходящих для майнинга.
Скачать Intel Chipset Driver можно на официальном сайте производителя материнской платы из раздела «Поддержка» на вкладке «Драйвера».
5. Увеличение оперативной памяти
Обычно на ферме, в целях экономии, устанавливают 2Гб оперативной памяти, этого будет недостаточно для полноценной работы операционной системы, поэтому принято увеличивать файл подкачки до необходимого размера. Подробнее в статье: правильная настройка ОС для майнинга.
6. Проблемы из-за подключения через райзеры
Не редко ошибка с кодом 12 возникает в следствии подключения видеокарт посредством низкопробных райзеров. Покупайте только качественные райзеры. Не лишним будет проверить линии питания, которые идут к райзеру, на котором установлена неработающая видеокарта.
7. Linux или Windows?
Прочитайте небольшую выдержку с одного из популярных форумов по майнингу (кликабельно для увеличения):
Появились жалобы пользователей на Windows сборки 1709 (Fall Creators Update). Самая стабильная версия винды для майнинга 1703 (Build 15063.0).
8. Проверка блоков питания и синхронизаторов
При недостаточном питании ошибка 12 не появляется сразу. Нужно подождать определенное время пока система выйдет на рабочий режим, достаточно прогреются видеокарты, стабилизируется потребление. В какой-то момент может происходить отключение, как ведущего, так и ведомого блока питания. Аварийное отключение блока питания из-за перегрузки, называется — защита. Говорят: «Блок ушёл в защиту.» Подобное поведение может так же возникать из-за некачественного синхронизатора, который размыкает реле и отключает ведомый блок питания. Какие бывают типы синхронизаторов можно прочитать по ссылке: синхронизатор 2-ух блоков питания.
Всегда покупайте блоки питания с запасом по мощности и обращайте внимание на наличие сертификата 80 PLUS. Со временем КПД блоков понижается и они уже не выдают заявленных ватт.
9. Ошибка 12 на h81 btc
Все просто, на данной материнской плате по-умолчанию идет поддержка более 4-х карт, скорее всего вы забыли подключить дополнительное sata-питание или вам попался брак. Попробуйте переставить райзеры местами, возможно, один из разъемов окажется нерабочим.
10. Выбор другой материнской платы
Если ни один из приведенных выше советов не помог исправить сложившуюся ситуация с ошибкой 12, то возможно, следует присмотреться к материнским платам, который уже протестированы другими майнерами и точно подходят для подключение нескольких видеокарт. Материнские платы для майнинга.





























