Перейти к содержанию
Иммерсионное охлаждение для майнинга
  • записей
    8
  • комментария
    4
  • просмотров
    1 439

О блоге

Про решения ComBox, системы с двухфазным иммерсионным охлаждением GPU и их применение в майнинге и наукоемких вычислениях. Тренды, перспективы и обзор технологий, доступных сегодня и перспективных в будущем. 

Записи в этом блоге

Секреты невозможных вычислений

Наш опыт использования вычислительного кластера из 480 GPU AMD RX 480 при решении математических задач. В качестве задачи мы взяли доказательство теоремы из статьи профессора Чуднова А.М. “Циклические разложения множеств, разделяющие орграфы и циклические классы игр с гарантированным выигрышем“. Задача заключается в поиске минимального числа участников одной коалиции в коалиционных играх Ним-типа, гарантирующее выигрыш одной из сторон.  Развитие CPU Первый процессор, получивший действительно массовое распространение – это 8086 от компании Intel, разработанный в 1978 году. Тактовая частота работы 8086 составляла всего 8 МГц. Спустя несколько лет появились первые процессоры внутри которых было 2, 4 и даже 8 ядер. Каждое ядро позволяло выполнять свой код независимо от других. Для сравнения — современный процессор Intel Core i9-7980XE работает на частоте 2,6 ГГц и содержит 18 ядер. Как видите — прогресс не стоит на месте! Развитие GPU Одновременно с развитием центральных процессоров развивались и видеокарты. В основном их характеристики важны для компьютерных игр, там новые технологии проявляются особенно красочно и рендеринг 3D картинки постепенно приближается к фотографическому качеству. В начале развития компьютерных игр расчет картинки выполнялся на CPU, но вскоре был достигнут предел изобретательности разработчиков 3D-графики, ухитрявшихся оптимизировать даже очевидные вещи (хороший пример тому — InvSqrt()). Так, в видеокартах стали появляться сопроцессоры со специальным набором команд для выполнения 3D вычислений. Со временем число таких команд росло, что, с одной стороны, позволяло гибче и эффективнее работать с изображением, а с другой — усложнило процесс разработки.

С 1996 года начали выпускаться графические ускорители S3 ViRGE, 3dfx Voodoo, Diamond Monster и другие. В 1999 году nVidia выпустила процессор GeForce 256, введя в обиход термин GPU — графический процессор. Он уже универсальный, может заниматься геометрическими расчетами, преобразованием координат, расстановкой точек освещения и работой с полигонами. Отличие GPU от других графических чипов заключалось в том, что внутри, кроме специализированных команд, был набор стандартных команд, с помощью которых можно было реализовать свой алгоритм рендеринга. Это дало значительное преимущество, так как позволило добавлять любые спецэффекты, а не только те, которые уже запрограммированы в видеокарту. Начиная с GeForce 8000/9000 в GPU появились потоковые процессоры — уже полноценные вычислители. Их число варьировалось в зависимости от модели от 16 до 128. В современной терминологии они называются унифицированные шейдерные блоки, или просто шейдерные блоки. В производимых сегодня GPU AMD Vega 64 содержится 4096 шейдерных блока, а тактовая частота может достигать 1536 МГц! Что содержит в себе GPU Архитектура GPU отличается от CPU большим количеством ядер и минималистичным набором команд, направленных в основном на векторные вычисления. На уровне архитектуры решены вопросы параллельной работы большого числа ядер и одновременного доступа к памяти. Современные GPU содержат от 2-х до 4-х тысяч шейдерных блоков, которые объединены в вычислительные юниты (Compute Unit). При параллельных вычислениях особенно остро стоит проблема одновременного доступа к памяти. Если каждый из потоковых процессоров попытается выполнить запись в ячейку памяти то эти команду упрутся в блокировку и их необходимо будет поставить в очередь, что сильно снизит производительность. Поэтому потоковые процессоры выполняют команды небольшими группами: пока одна группа производит вычисления, другая загружает регистры и т.д. Также можно объединить ядра в рабочие группы, обладающие общей памятью и внутренними механизмами синхронизации. 

Еще одной важной особенностью GPU является наличие векторных регистров и векторных АЛУ, которые могут выполнять операции одновременно для нескольких компонентов вектора. Это в первую очередь нужно для 3D графики, но поскольку наш мир трехмерный, ничто не мешает использовать это для многих физических вычислений. При наличии свободных векторных АЛУ их можно использовать и для вычисления скалярных величин. Они такие разные, CPU и GPU Для полноценной работы вычислительной системы важны оба типа устройств. К примеру, мы выполняем пошаговую программу, некий последовательный алгоритм. Там нет возможности выполнить пятый шаг алгоритма, так данные для него рассчитываются на шаге четыре. В таком случае эффективнее использовать CPU с большим кэшем и высокой тактовой частотой. Но есть целые классы задач, хорошо поддающихся распараллеливанию. В таком случае эффективность GPU очевидна. Самый частый пример — вычисление пикселей отрендеренного изображения. Процедура для каждого пикселя почти одинаковая, данные о 3D объектах и текстурах находятся в ОЗУ видеокарты и каждый потоковый процессор может независимо от других посчитать свою часть изображения.

Вот пример современной задачи — обучение нейронной сети. Большое количество одинаковых нейронов необходимо обучить, то есть поменять весовые коэффициенты каждого нейрона. После таких изменений нужно пропустить через нейросеть тестовые последовательности для обучения и получить вектора ошибок. Такие вычисления хорошо подходят для GPU. Каждый потоковый процессор может вести себя как нейрон и при вычислении не придется выстраивать решение последовательным образом, все наши вычисления будут происходить одновременно. Другой пример — расчет аэродинамических потоков. Необходимо выяснить возможное поведение проектируемого моста под воздействием ветра, смоделировать его аэродинамическую устойчивость, найти оптимальные места установки обтекателей для корректировки воздушных потоков или рассчитать устойчивость к ветровому резонансу. Помните знаменитый “танцующий мост” в Волгограде? Думаю, что никто не хотел бы оказаться в тот момент на мосту… 

Поведение воздушного потока в каждой точке можно описать одинаковыми математическими уравнениями и решать эти уравнения параллельно на большом количестве ядер. GPU в руках программистов Для выполнения вычислений на GPU используется специальный язык и компилятор. Существует несколько фреймворков для выполнения общих вычислений на GPU: OpenCL, CUDA, С++AMP, OpenACC. Широкое распространение получили первые два, но использование CUDA ограничено только GPU от компании nVidia.

OpenCL был выпущен в 2009 году компанией Apple. Позднее корпорации Intel, IBM, AMD, Google и nVidia присоединились к консорциуму Khronos Group и заявили о поддержке общего стандарта. С тех пор новая версия стандарта появляется каждые полтора-два года и каждый привносит все более серьезные улучшения. 

На сегодняшний день язык OpenCL C++ версии 2.2 соответствует стандарту C++14, поддерживает одновременное выполнение нескольких программ внутри устройства, взаимодействие между ними через внутренние очереди и конвейеры, позволяет гибко управлять буферами и виртуальной памятью. Реальные задачи Интересная задача из теории игр, в решении которой мы принимали участие — доказательство теоремы из статьи профессора Чуднова А.М. “Циклические разложения множеств, разделяющие орграфы и циклические классы игр с гарантированным выигрышем“. Задача заключается в поиске минимального числа участников одной коалиции в коалиционных играх Ним-типа, гарантирующее выигрыш одной из сторон. 

С математической точки зрения это поиск опорной циклической последовательности. Если представить последовательность в виде списка нулей и единиц, то проверку на опорность можно реализовать логическими побитовыми операциями. С точки же зрения программирования такая последовательность представляет собой длинный регистр, например, 256 бит. Самый надежный способ решения этой задачи — перебор всех вариантов за исключением невозможных по очевидным причинам.

Цели решения задачи — вопросы эффективной обработки сигналов (обнаружение, синхронизация, координатометрия, кодирование и т.д.).

Сложность решения этой задачи в переборе огромного числа вариантов. Например, если мы ищем решение для n=25, то это 25 бит, а если n=100, то это уже 100 бит. Если взять количество всех возможных комбинаций, то для n=25 это 2^25=33 554 432, а для n=100 это уже 2^100=1 267 650 600 228 229 401 496 703 205 376 комбинаций. Возрастание сложности просто колоссальное!

Такая задача хорошо распараллеливается, а значит она идеально подходит для нашего GPU кластера. Программисты vs математики Изначально математики решали эту задачу на Visual Basic в Excel, так удалось получить первичные решения, но невысокая производительность скриптовых языков не позволила продвинуться далеко вперед. Решение до n=80 заняло полтора месяца… Склоняем голову перед этими терпеливыми людьми.

Первым этапом мы реализовали алгоритм задачи на языке Си и запустили на CPU. В процессе выяснилось, что при работе с битовыми последовательностями многое можно оптимизировать. 
Далее мы оптимизировали область поиска и исключили дублирование. Также хороший результат дал анализ генерируемого компилятором ассемблерного кода и оптимизация кода под особенности компилятора. Всё это позволило добиться существенного прироста скорости вычислений.

Следующим этапом оптимизации стало профилирование. Замер времени выполнения различных участков кода показал, что в некоторых ветках алгоритма сильно возрастала нагрузка на память, а также выявилось излишнее ветвление программы. Из-за этого “маленького” недочёта почти треть мощности CPU была не задействована.

Очень важным аспектом решения подобных задач является аккуратность написания кода. Правильных ответов на эту задачу никто не знает и тестовых векторов соответственно нет. Есть лишь первая часть диапазона решений, которые были найдены математиками. Достоверность новых решений можно гарантировать только аккуратностью написания кода.

Вот и наступил этап подготовки программы для решения на GPU и код был модифицирован для работы в несколько потоков. Управляющая программа теперь занималась диспетчеризацией задач между потоками. В многопоточной среде скорость вычисления увеличилась в 5 раз! Этого удалось добиться за счет одновременной работы 4 потоков и объединения функций.

На этом этапе решение производило верные расчеты до n=80 за 10 минут, тогда как в Exсel’e эти расчеты занимали полтора месяца! Маленькая победа!  GPU и OpenCL Было принято решение использовать OpenCL версии 1.2, чтобы обеспечить максимальную совместимость между различными платформами. Первичная отладка производилась на CPU от Intel, потом на GPU от Intel. Уже потом перешли на GPU от AMD.

В версии стандарта OpenCL 1.2 поддерживаются целочисленные переменные размерностью 64 бита. Размерность в 128 бит ограничено поддерживается AMD, но компилируется в два 64-х битных числа. Из соображений совместимости и для оптимизации производительности было решено представлять число размерностью 256 бит как группу 32-х битных чисел, логические побитовые операции над которыми производятся на внутреннем АЛУ GPU максимально быстро. Программа на OpenCL содержит ядро — функцию, которая является точкой входа программы. Данные для обработки загружаются с CPU в ОЗУ видеокарты и передаются в ядро в виде буферов — указателей на массив входных и выходных данных. Почему массив? Мы же выполняем высокопроизводительные вычисления, нам нужно много задач, выполняемых одновременно. Ядро запускается на устройстве во множестве экземпляров. Каждое ядро знает свой идентификатор и берет именно свой кусочек входных данных из общего буфера. Тот случай, когда самое простое решение — самое эффективное. OpenCL — это не только язык, но и всеобъемлющий фреймворк, в котором досконально продуманы все мелочи научных и игровых вычислений. Это здорово облегчает жизнь разработчику. Например, можно запустить много потоков, диспетчер задач разместит их на устройстве сам. Те задачи, которые не встали на немедленное исполнение, будут поставлены в очередь ожидания и запущены по мере освобождения вычислительных блоков. У каждого экземпляра ядра есть свое пространство в выходном буфере, куда он и помещает ответ по завершению работы.

Основная задача диспетчера OpenCL — обеспечить параллельное выполнение нескольких экземпляров ядра. Здесь применён накопленный десятилетиями научный и практический опыт. Пока часть ядер загружает данные в регистры, другая часть в это время работает с памятью или выполняет вычисления — в результате ядро GPU всегда полностью загружено.
Компилятор OpenCL хорошо справляется с оптимизацией, но разработчику влиять на быстродействие проще. Оптимизация под GPU идет в двух направлениях — ускорение выполнения кода и возможность его распараллеливания. Насколько хорошо распараллеливается код компилятором зависит от нескольких вещей: количество занимаемых scratch регистров (которые располагаются в самой медленной памяти GPU — глобальной), размер скомпилированного кода (надо поместиться в 32 кб кэша), количество используемых векторных и скалярных регистров. ComBox A-480 GPU или один миллион ядер Эта самая интересная часть проекта, когда от Excel мы перешли на вычислительный кластер состоящий из 480 видеокарт AMD RX 480. Большого, быстрого, эффективного. Полностью готового к выполнению поставленной задачи и получению тех результатов, которых мир еще никогда не видел.

Хочется отметить что на всех этапах совершенствования и оптимизации кода мы запускали поиск решения с самого начала и сравнивали ответы новой версии с предыдущими. Это позволяло быть уверенными, что оптимизация кода и доработки не вносят ошибки в решения. Тут нужно понимать, что правильных ответов в конце учебника нет, и никто в мире их не знает. Запуск на кластере подтвердил наши предположения по скорости решений: поиск последовательностей для n>100 занимал около часа. Было удивительно видеть как на кластере ComBox A-480 новые решения находились за минуты, в то время как на CPU это занимало многие часы.

Всего через два часа работы вычислительного кластера мы получили все решения до n=127. Проверка решений показала, что полученные ответы достоверны и соответствуют изложенным в статье теоремам профессора Чуднова А.М. Эволюция скорости Если посмотреть прирост производительности в ходе решения задачи, то результаты были примерно такими: полтора месяца до n=80 в Excel; час до n=80 на Core i5 с оптимизированной программой на С++; 10 минут до n=80 на Core i5 с использованием многопоточности; 10 минут до n=100 на одном GPU AMD RX 480; 120 минут до n=127 на ComBox A-480. Перспективы и будущее Многие задачи стоящие на стыке науки и практики ожидают своего решения, чтобы сделать нашу жизнь лучше. Рынок аренды вычислительных мощностей только формируется, а потребность в параллельных вычислениях продолжает расти. 

Возможные области применения параллельных вычислений: задачи автоматического управления транспортными средствами и дронами; расчеты аэродинамических и гидродинамических характеристик; распознавание речи и визуальных образов; обучение нейронных сетей; задачи астрономии и космонавтики; статистический и корреляционный анализ данных; фолдинг белок-белковых соединений; ранняя диагностика заболеваний с применением ИИ. Отдельное направление — облачные вычисления на GPU. Например, такие гиганты как Amazon, IBM и Google сдают свои вычислительные мощности на GPU в аренду. Сегодня с уверенностью можно сказать что будущее высокопроизводительных параллельных вычислений будет принадлежать GPU кластерам.
ComBox Technology

ComBox Technology

0

"Смерть" домашнего майнинга и глобализация добычи криптовалют. Переходим в промышленные масштабы

Майнинг криптовалют медленно трансформируется из создания монет на базе одной карты или фермы дома в обособленную отрасль и переходит на промышленные масштабы. Такие компании, как AMD и Bitmain, внедряют инновационные продукты, помогающие модернизировать добычу, наращивать ее объемы. Однако со временем майнинг требует все больших капиталовложений, становясь эффективным только для пользователей, решивших профессионально работать в этом направлении. В то же время затраты огромного количества электроэнергии продолжают вызывать вопросы, что может приводить к новому пересмотру деятельности. Исходяиз этих предпосылок, компания «ComBox Technology», силами собственного научно-исследовательского отдела (R&D), разработала и предложила рынку уникальное решение «ComBox», предназначенное для майнинга альткоинов с помощью продуктов «ComBox» на базе графических карт (GPU) с системой двухфазного иммерсионного охлаждения. Уникальность «ComBox» состоит в использовании жидкостного охлаждения на базе негорючей жидкости «Novec 3М» и достигнутой высокой плотности установки видеокарт в рамках мобильных платформ, таких как контейнеры. В основе изначальной концепции решений «ComBox» для двухфазного жидкостного охлаждения заложена идея высокой безопасности работы на всем протяжении эксплуатации и высокие технико-экономические показатели. К примеру, раньше для организации ЦОД требовалось постройка зданий и сооружений, т.е. организация собственной большой и затратной инфраструктуры. Наше мобильное решение на базе 20-ти футового контейнера позволяет быстро собрать, доставить и установить его в месте с наименьшей ценой на электроэнергию. Спроектированная и разработанная компаний «ComBox Technology» расширительная плата SMART IC-6 позволяет крепить 6 современных видеокарт вплотную друг к другу, по 3 штуки с каждой стороны. За счет минимизации зазоров, их можно установить в очень большом количестве на ограниченной площади и очень плотно друг к другу. Также платы поддерживают каскадное подключение, т.е. в одну, даже самую дешевую, материнскую плату с одним PCIe можно подключить не менее 12 видеокарт. При других решениях, не используя такую расширительную плату, этого сделать не получится. Плата спроектирована с нуля и представляет собой не просто прототип, а серийно-производимое устройство. Она снабжена функциями контроля напряжений, которые идут с блоков питания, а встроенный процессор дает возможность блокировать видеокарты удаленно с интерфейса и наблюдать за всеми элементами системы в режиме реального времени, собирая телеметрию в объеме, который необходим и достаточен, например, температуру и уровеньжидкости. В качестве основного элемента системы охлаждения используется специальная жидкость, которую производит компания «3М». Это экологически безопасная фтор-органика, прозрачный диэлектрик, который кипит при температуре 61 градус. Следовательно, любая точка электроники в системе будет иметьмаксимальную температуру 61 градус. Это происходит из-за того, что для отвода тепла используетсяфазовый переход из жидкого состояния в газообразное. Температура жидкости при этом не меняется. Таким образом, мыполучаем охлаждение всех элементов: от памяти и процессоров, до мельчайших деталей. Именно эта жидкость используется для пожаротушения, поэтому с позиции рисков пожара и огня она полностью безопасна. В отличие от минерального масла, которое применяется в других системах, жидкость «3М» не может загореться, в принципе. Тепло в системе отводится за счет кипения, и эффективность такого отвода, по сравнению с воздушными системами охлаждения, крайне высокий. Поэтому технология, разработанная компанией «ComBox Technology», позволяет устанавливать оборудование минимум в 10 раз плотнее, чем при классической воздушной технологии. Благодаря наличию жидкостного охлаждения, резко снижаются затраты на кондиционеры, на кулеры и иные движущие части, которые теперь не могут сломаться или потребовать замены. В системе иммерсионного охлаждения отсутствуют подвижные детали, а просто работает физика: жидкость кипит, отводя тепло от нагретых элементов и, конденсируясь, стекает обратно в систему. Это качественное преимущество нашей системы. В результате мы получаем практически идеальное решение для вычислительных систем на базе видеокарт (GPU). Данное решение легко масштабируется и полностью готово для установки видеокарт повышенной производительности, с более высоким тепловыделением, в случае необходимости. Основные характеристики решения «ComBox»: 20-футовые мобильные контейнеры, в которых установлено 10 секций с иммерсионным охлаждением, размером 70х80х40 см по 96 видеокарт AMD RX470 в каждой. Итого – 960 карт/контейнер. Энергопотребление 1 контейнера – 170 кВт/час. Хешрейт на Ethereum – 26 GH/s. Энергопотребление рассчитано как потребление всей системы непосредственно от энергосети, а не только процессоров видеокарт.
ComBox Technology

ComBox Technology

4

Жидкостное охлаждение в майнинге: двухфазное VS однофазное

На сегодняшний день существует два направления по внедрению иммерсионного охлаждения в майнинг и наукоемкие вычисления: Однофазное иммерсионное охлаждение с использование минерального масла Двухфазное иммерсионное охлаждение с использование фторорганики Оба направления активно развиваются и применяются для охлаждения, в основном, айсиков. Основные минусы минерального масла заключаются в его горючести, необходимости использования гидравлических помп для его перекачки внутри резервуаров, а также в том, что процесс является однофазным. Суть однофазного процесса заключается в том, что отвод тепла происходит не за счет испарения и конденсации, а за счет перемешивания при помощи помп, что в любом случае только увеличивает потребление энергии и снижает эффективность охлаждения. Такие системы не способны отвести большое количество тепла от радиатора с малой поверхностью. Т.о. можно сделать вывод, что перспективными являются технологии именно двухфазного иммерсионного охлаждения, которые и используются в системах «ComBox». Сегодня существует как минимум два больших проекта, применяющих двухфазное иммерсионное охлаждение. Любой проект, реализованный в ближайшие годы с использованием двухфазного иммерсионного охлаждения, сможет собрать финансирование, но все они, по сути, повторяют друг друга. Все крупные проекты и еще несколько небольших стартовали в своих разработках, примерно, в одно время. Следовательно, примерно в одно время им предстоит делить и без того насыщенный рынок. При этом все проекты ориентированы только на саму технологию и, в основном, погружают готовые типовые устройства в жидкость и реализуют обвязку для ее работы. А этого недостаточно чтобы ввести системы двухфазного иммерсионного охлаждения в промышленную эксплуатацию по нескольким причинам: Системы, изначально разработанные под воздушное охлаждение, не подходят, т.к. они занимают много места и не обеспечивают высокой плотности установки устройств, а низкая плотность - нецелесообразна, т.к. требует большого количества дорогостоящей жидкости для охлаждения компонентов системы. Таким образом, простое применение и погружение в жидкость «Novec 3M» неподготовленных для этого систем, будет в эксплуатации не дешевле, а существенно дороже. Именно это останавливало массовое внедрение двухфазного иммерсионного охлаждения до появления и реализации нашего решения. Недостаточно погружения плат в жидкость, нужно делать экосистему и комплексное решение, составными частями которого являются аппаратные и программные компоненты. В «ComBox» мы сделали автономную автоматизированную систему для промышленного майнинга и решения наукоемких задач. Инженеры компании «ComBox Technology» разработали собственное уникальное решение для двухфазного иммерсионного охлаждения, которое включает платы собственной разработки с видеокартами по 6 шт. на каждой, которые устанавливаются вплотную друг к другу внутри бойлера с жидкостью 3M Novec, что позволяет существенно сэкономить на самой жидкости. За счет этого на выходе мы получаем уникальную комплексную модульную систему с высокой плотностью установки видеокарт, минимальной стоимость расходных материалов, а также с минимальным энергопотреблением (в сравнении с однофазными системами).
ComBox Technology

ComBox Technology

0

Иммерсионное охлаждение высокой мощности

Современные электронные компоненты с каждым годом работают все быстрее. Растут скорости, растет потребление и тепловыделение. Современные тенденции иммерсионного охлаждения процессоров и видеокарт все больше входят в нашу жизнь. На рынке присутствуют множество предложений систем иммерсионного охлаждения, однако при первом знакомстве их принципиальные различия не так легко определить. Мы провели сравнение технологий опытным путем и выявили их недостатки и преимущества. Перегрев оборудования как бич современной электроники Каждый знает, что современная электроника работает от электрической силы. В таком устройстве есть либо батарейка, либо его нужно включать в розетку. И всех их объединяет ещё одна общая черта — они нагреваются. Например, современные телефоны активно выделяют тепло при выполнении ресурсоёмких задач: играх, записи видео высокого качества и т.д., а геймеры знают, что для бесперебойной работы их мощных компьютеров нужны большие и производительные кулеры. Электрический ток от источника питания проходит через микросхемы, состоящие в основном из полупроводников сложной структуры. Полупроводник — это некий материал, который частично проводит электрический ток, а частично нет. Его проводимость зависит от напряжения, температуры и других условий. Если взять несколько разных полупроводников и расположить их в три слоя, можно добиться неожиданного результата. Если подать напряжение на 1-ый и 3-ий слой, ток через такой “бутерброд” не протекает. А если же пустить совсем небольшой ток по 2-му слою, то между 1-ым и 3-им слоем ток начинает протекать почти беспрепятственно. Прибор, действующий по указанному принципу, называется транзистором. Сейчас его структура, разумеется, является более сложной, но правило осталось тем же — управление протеканием тока за счёт управляющего затвора. Этот эффект можно сравнить с водопроводным краном. Особое внимание в работе транзистора уделяют процессу перехода из закрытого состояния (ток не течёт) в открытое (ток течёт беспрепятственно). Здравый смысл подсказывает, что переход из одного состояния в другое не может быть моментальным, и занимает хоть и очень короткий, но всё же не нулевой отрезок времени. Именно в момент переключения между этими состояниями ток проходит плохо, что и вызывает нагрев транзистора. Современные процессоры работают на частотах до 4 ГГц, это означает, что транзисторы в процессоре совершают 4 000 000 000 переключений в секунду! И каждое такое переключение вызывает нагрев прибора. Именно по этой причине при разгоне процессора (оверклокинге) процесс нагрева проявляется особенно сильно. Для отвода тепла к поверхности процессора применяют радиатор с вентилятором. Вентилятор продувает рёбра радиатора холодным воздухом и отводит тепло, выделяемое процессором. Такой подход наиболее прост в использовании, поэтому он и получил массовое распространение. Развитие электроники привело к тому, что с каждым годом скорость процессоров и количество транзисторов стремительно увеличивались, а размер процессора неизменно оставался на прежнем уровне. Сравните процессор Intel 486 со скоростью 33 МГц и современный Intel I7 с скоростью 3,8 ГГц. Размер — тот же, скорость — намного выше, а, значит, выше электропотребление и тепловыделение. Необходимо отметить тот факт, что для корректной работы транзистора его температура должна оставаться низкой, иначе он начинает проводить электрический ток даже тогда, когда от него это не требуется. Получается, что чем быстрее процессор, тем больше он нагревается, и тем выше шанс того, что транзисторы внутри него будут работать некорректно. Такой эффект наблюдается, например, при оверклокинге и выражается в виде знаменитого “синего экрана смерти”. Когда процессор обнаруживает сбой в собственной работе, ОС останавливает его работу, а пользователю демонстрируется синий экран с информацией о текущем состоянии. Если продолжать эксплуатацию в таком режиме — высока вероятность того, что хотя бы один транзистор из нескольких миллиардов сломается. Это приведет к регулярным сбоям в работе и невозможности использовать такой процессор в дальнейшем. Именно поэтому так важно использовать хорошие системы охлаждения и эксплуатировать электронику в заданном температурном режиме. Погоня за скоростью может привести сначала к случайным зависаниям, а потом — и к постоянным, с дальнейшей поломкой процессора. Этот принцип распространяется, в первую очередь, на современные CPU — и особенно GPU. Из-за разницы в архитектуре двух этих вычислительных устройств нагрев GPU получается более сильным — просто потому, что при работе используются почти все транзисторы, имеющиеся внутри. Средняя мощность топового CPU составляет 90 Вт, а GPU — 200 Вт. Поэтому радиаторы современных видеокарт по размеру намного больше радиаторов центральных процессоров. При охлаждении больших вычислительных мощностей возникают дополнительные сложности. Мощность серверного оборудования, расположенного на одном квадратном метре, крайне высока, и составляет десятки кВт. К тому же необходимо поддерживать постоянный микроклимат, без колебаний температуры и влажности. Рассмотрим внимательно определение слова «влажность»: концентрация молекул воды на единицу объема воздуха; при определенных обстоятельствах влага может конденсироваться и превращаться в воду, которая очень хорошо проводит электрический ток — что очень опасно для электроники. В серверных также имеется ещё один враг — пыль, которая забивает радиаторы и существенно снижает эффективность охлаждения. Традиционные и альтернативные системы охлаждения Даже несмотря на все указанные сложности, производители современного серверного оборудования по-прежнему продолжают использовать воздух для отвода тепла. Почти все современные серверные спроектированы под воздушное охлаждение, с разделением на холодные и горячие коридоры. Для обеспечения климатических условий в течение всего года устанавливают мощные климатические установки, в состав которых входит кондиционеры. Такие установки сами по себе потребляют много электроэнергии и, как это не парадоксально, сами же выделяют много тепла. И это решение, к сожалению, распространено массово. Альтернативные технологии воздушного охлаждения — это фрикулинг. Воздух поступает извне и продувает серверную, свободно уходя наружу. При таком подходе снижаются затраты на оборудование, но данное решение не подходит для жарких стран. К тому же, воздух остаётся запыленным, а его влажность соответствует влажности на улице, что сопровождается колебаниями как влажности, так и температуры внутри объекта. Иммерсионная система охлаждения Сравнительно недавно получили популярность технологии иммерсионного охлаждения. Разработки на эту тему велись давно, так как сама технология уже не нова, однако сейчас её востребованность растёт необычайными темпами. Слово «иммерсионное» означает «погружное». Это значит, что вся электроника, все платы сервера, процессор, видеокарты, блоки питания и жёсткие диски полностью погружены в жидкость. Естественно, что эта жидкость диэлектрик и не проводит ток — иначе работа электроники была бы невозможна. При дальнейшем анализе предлагаемых решений становится ясно, что иммерсионное охлаждение бывает разным, с фазовым переходом и без. Эти типы охлаждения отличаются не только своим физическим принципом, но и обладают существенными различиями при эксплуатации. Так, минеральное масло использовалось для охлаждения силовых трансформаторов на подстанциях очень давно. Это вещество отличается отсутствием электрической проводимости и достаточной теплоёмкостью. Также можно отметить его низкую стоимость. Жидкость Novec компании 3M для двухфазного охлаждения, в противовес минеральному маслу, используется относительно недавно. Она тоже не проводит электрический ток и обладает низкой теплоёмкостью. Удивительно, но эффект охлаждения с её помощью достигается за счёт кипения. Для более детального разбора этого явления нам понадобится вспомнить законы физики. Нагрев жидкости происходит за счёт передачи энергии от более тёплого объекта к более холодному. Количество энергии, или количество тепла, измеряется в Джоулях. Один Джоуль — это эквивалент нагрева тела при помощи 1 Вт в течение одной секунды. Таким образом, видеокарта выделяет 200 Вт * 1 с = 200 Дж тепла, если она проработала всего одну секунду. За минуту карта выделит 200 Вт * 60 с = 12 кДж тепла. Второй вопрос, который возникает при этом — это температура. На сколько изменится температура видеокарты при таком нагреве? Изменение температуры будет зависеть от теплоёмкости того объекта, который мы греем, и его массы. Вполне очевидно, что стакан воды в чайнике закипает намного быстрее, чем полный чайник. Представим, что мы пытаемся нагреть одной видеокартой 1 литр воды. Вес 1 литра воды составляет примерно 1 кг. Теплоёмкость воды равна примерно 3800 Дж/кг/К. Это значит, что для нагрева воды весом в 1 кг на 1 градус Цельсия потребуется 3800 Дж энергии. Сопоставим это с мощностью нашей видеокарты и получим 12000 / 3800 = 3,15 градусов Цельсия. И это — всего за минуту! Простыми вычислениями можно установить, что через 10 минут вода нагреется на 31°С. Естественно, такой процесс не будет продолжаться вечно. Так что, если пренебречь теплопроводностью материалов, вода нагреется до 85–90 градусов, после чего видеокарта перегреется и зависнет. Если доработать наш эксперимент и через 10 минут заменить нагретую воду на холодную, то процесс нагрева начнётся заново. В этом случае перегрева карты не наступит. Конечно же, менять воду каждые 10 минут неудобно, и приходит мысль протянуть трубы, по которым будет поступать холодная вода, а нагретая — будет вытекать. Такие жидкостные системы охлаждения существуют и продаются во многих компьютерных магазинах. Давайте вернёмся к иммерсионному охлаждению минеральным маслом. Для этого в наших расчётах нужно изменить теплоёмкость и массу вещества. Вес 1 литра масла чуть меньше литра воды и составляет 0,85 кг. Теплоёмкость равна 1800 Дж/кг/К. Значит, для нагрева литра масла нужно 0,85 кг * 1С * 1800 Дж/кг/К = 1,5 кДж энергии. Значит, видеокарта за 1 минуту нагревает масло на 12000 / 1500 = 8 °С. Это намного больше 3,15 °С. Однако, у данного метода имеется большое преимущество — ему не нужны трубы для подвода и отвода жидкости к каждой видеокарте. Можно просто положить несколько видеокарт в одну ванну и залить их минеральным маслом. Проблема перегрева самого масла в нашем случае также никуда не уходит. Как только масло прогреется до температуры видеокарты, оно больше не будет забирать тепло, и начнется перегрев оборудования. Придется опять каким-то образом подавать холодное масло и забирать горячее. Можно было бы использовать простое решение: большая ёмкость холодного масла и ёмкость для хранения уже нагретого масла. Естественно, установка таких огромных цистерн экономически нецелесообразна, поэтому нам придётся пускать масло по замкнутому контуру и охлаждать его за пределами иммерсионной ванны. Для этого потребуется дополнительная установка радиатора снаружи, где его будет обдувать более холодный воздух. Обеспечение продувки уличным воздухом вполне закономерно: холодного (по сравнению с температурой масла) воздуха на улице много, а горячий воздух уносится ветром. Но за сколько радиатор охладит 1 м3 воздуха на те же самые 8 градусов? Ведь, произведя расчеты, мы обнаружим, что для охлаждения одной видеокарты необходимо около 1 литра холодного (остуженного) масла в минуту; при этом масло будет успевать прогреваться на 8 градусов. То есть радиатор должен быть таким, чтобы охлаждать холодным воздухом масло как раз на 8 градусов. Еще один важный элемент, который остался за пределами наших расчетов — это насос. Требования к нему предъявляются намного проще — обеспечить циркуляцию 1 литра масла в минуту. Отдельное внимание нужно уделить вязкости масла. Понятно, что из-за меньшей вязкости 1 литр воды пройдет по трубам и через радиатор намного проще, чем 1 литр масла. То есть нам потребуется либо мощный насос, либо большие трубы и радиатор. Давайте теперь представим, что теперь у вас не одна, а хотя бы 100 видеокарт. Это уже 20 кВт тепла и 12 000 000 Дж энергии в минуту. Тогда при равных условиях насос должен прокачать уже 100 литров масла в минуту. Представьте, какие же сложности возникают, когда в системе 1000 видеокарт… Перейдем к двухфазному иммерсионному охлаждению жидкостью Novec. Очень часто можно услышать, что она дорогая, очень летучая, легко испаряется и т.д. Конечно же это так, ведь принцип её действия совершенно иной. При нагреве этой жидкости выше 61°С происходит её испарение. Однако, при этом с ней не происходит ни нагрева, ни охлаждения. При прогревании всего объёма жидкости после запуска по достижении ею 61°С температура просто не повышается. Это кажется абсурдным, однако, это так. Процесс испарения (кипения) сам по себе является очень энергозатратным. Пожалуй, этот процесс можно сравнить с ощущениями человека, который купается летом и выходит из воды. В воде ему тепло, а на ветру становится холодно. Причина этого явления — испарение воды с поверхности тела. Схожим образом Novec испаряется с горячих поверхностей микросхем и забирает с собой часть тепла. Для испарения 1 г Novec потребуется около 120 Дж. Это значит, что видеокарта 200 Вт испарит за 1 секунду около 2 г жидкости. А за минуту — всего 120 г. Эффективность отвода тепла за счет кипения крайне высока, а размер радиатора для отвода 200 Вт тепла может составлять всего 3–4 см2. Фактически, радиатор практически не нужен.
Как и минеральному маслу, данной системе требуется охлаждение жидкости. Для этого вы можете подливать 120 г жидкости из огромной цистерны каждую минуту. С другой стороны, при стоимости жидкости около 100 $ за литр такая цистерна выходит очень-очень дорогим решением. Поэтому совершенно естественно пойти другим путём — организовать замкнутый цикл с внешним охладителем. Конденсация паров жидкости Испарение — это переход вещества из жидкого состояния в газообразное. То есть получается, что Novec после закипания не исчезает без следа, а становится газом, который скапливается над поверхностью жидкости в виде тумана. Что, если этот туман охладить? Установим внутри несколько труб и пустим по ним холодную воду. Газ начнет на них конденсироваться и образовывать капли, которые объединятся в струи жидкости и стекут обратно. Таким образом, Novec никуда не будет уходить и останется внутри системы без каких-либо потерь. Процесс конденсации является полной противоположностью испарению, здесь всё происходит в обратном порядке. Что касается энергии, то её необходимо забирать у газа ровно в том же объеме, что и при испарении. Естественно, холодные трубы будут нагреваться, а мощность нагрева будет ровно такая, которая выделялась видеокартами при кипении. Для эффективной работы системы двухфазного иммерсионного охлаждения нам нужно постоянно охлаждать трубы. Самое простое и эффективное решение — пустить по ним воду, которая будет охлаждаться радиатором, расположенным на улице. По сравнению с минеральным маслом это выглядит намного проще. Ведь теплоёмкость воды в два раза больше, а объём циркуляции в минуту меньше. Плюс, вязкость воды существенно ниже, и, значит, насос без труда прокачает больший объем воды за единицу времени. Эти факторы позволят использовать более маленький радиатор на улице, более тонкие трубы и менее мощный насос — по сравнению с тем же самым минеральным маслом. Преимущества иммерсионной системы охлаждения Обе системы охлаждения — и минеральным маслом, и иммерсионной жидкостью Novec — обладают важным преимуществом по сравнению с воздушным охлаждением. Здесь отсутствует необходимость в дорогостоящих кондиционерах, потребляющих электроэнергию. Кроме того, отсутствует проблема пыли и влажности, как в системах фрикулинга. Одним из важных параметров дата-центров является коэффициент PUE (эффективность использования электроэнергии), равный отношению всей мощности потребления дата-центра к мощности потребления вычислительных устройств. Для иммерсионных систем этот коэффициент приближается к 1, для воздушных систем с кондиционерами — около 1,5. Различия являются весьма существенными, особенно, если учесть разницу в стоимости оборудования. Преимущества охлаждения жидкостью Novec перед минеральным маслом На данном этапе обе системы кажутся одинаковыми с точки зрения характеристик. Но в описанных расчётах мы не учли, что жидкости в иммерсионной ванне не перемешиваются сами по себе. Представим, что мы погрузили видеокарту в минеральное масло и включили её. Слой масла непосредственно рядом с радиатором видеокарты прогреется, а те объёмы масла, которые находятся на некотором расстоянии — нет. В этом случае произойдет локальный перегрев в районе видеокарты. Тогда становится очевидной необходимость обеспечения эффективного перемешивания масла внутри ванны либо при помощи вентиляторов видеокарты, либо каким-то другим способом. Это усложняет конструкцию и требует специальных технических решений. В двухфазных иммерсионных системах охлаждения с жидкостью Novec такая проблема отсутствует. Она постоянно кипит и сама себя перемешивает — особенно в тех местах, где происходит нагрев. Пузырьки отрываются от радиатора, и на их место поступает новая жидкость. Вторым важным отличием масла от Novec является горючесть. Novec не горит никогда, её даже используют для тушения пожаров в библиотеках. Масло же легко горит по своей природе, и, плюс, его нельзя тушить водой. Это указано в технических характеристиках любого масла. Температура начала горения составляет порядка 200–400 градусов. Мы провели серию экспериментов, чтобы удостовериться в описанных ниже выводах. При прогреве масла до 150 °С оно начало дымить, после чего появилось пламя, уверенно разгорающееся с каждой секундой. Дальше, за счёт горения, температура масла начала подниматься на 2 градуса в секунду, а языки пламени становились всё выше и выше. Пламя уже было сложно сбить, а температура, тем временем, продолжала расти. Аналогичный эксперимент с Novec показал, что жидкость активно испарялась, но нагреть её выше 61 °С так и не удалось. Поджигая пары Novec, добиться их горения также не получилось. Как и написано в спецификации на Novec — материал не горит, не загорается. Итак, можно ли использовать минеральное масло и его аналоги для эффективного охлаждения электроники — конечно же, да. Будет ли это рискованным с учетом крайне высокой стоимости оборудования? Безусловно. Пожар может возникнуть по многим причинам, а наличие минерального масла в большом количестве может сделать ликвидацию такого пожара крайне сложной, а последствия — катастрофическими. Жидкость Novec: слабые места Каковы самые серьёзные недостатки жидкости Novec? Высокая цена, повышенные требования к герметичности иммерсионной ванны, связанные с высокой летучестью жидкости Novec, и сложность конструкции последней. Кроме того, можно отметить необходимость тщательного контроля параметров процесса охлаждения для того, чтобы избежать выкипания жидкости. Плюс, использование жидкости Novec становится экономически оправданным только при использовании специализированных видеокарт с высокой плотностью установки. При проектировании системы охлаждения необходимо учитывать около 20 различных характеристик. Полные расчёты в обязательном порядке должны учитывать термосопротивление радиаторов и термоинтерфейсов, а также свойства материала и поверхностей теплообменников и радиаторов используемого оборудования. Прогресс не стоит на месте, уже очевидно, что будущее индустрии — за эффективным иммерсионным охлаждением, а не за воздушным. Остается лишь сделать выбор между сложным и безопасным решением, или более доступным, но рискованным.
ComBox Technology

ComBox Technology

0
 

ComBox ICO

Компания ComBox Technology - международная компания, разработчик и производитель систем с иммерсионным охлаждением для промышленного майнинга и решения наукоёмких задач. Суть проекта Получение прибыли от майнинга на 147-240 энергоэффективных контейнерах и её распределение между инвесторами. Решение Майнинг на GPU платах собственной разработки, установленных в контейнерах с двухфазным иммерсионным (Novec 3M) охлаждением. В каждом контейнере устанавливается 960 видеокарт AMD RX470, что позволяет получить вознаграждение в размере 60 ETH в месяц. Вычислительный кластер также будет использован для решения наукоёмких задач в секторах B2B/B2G. Для увеличения маржинальности бизнеса, помимо собственных мощностей, запускается внешний мультивалютный майнинговый пул с комиссией PPLNS 1%. После ввода в эксплуатацию планового числа контейнеров будет осуществляться их производство и продажа заказчикам с распределением прибыли среди инвесторов. Низкая себестоимость. Весь проект разработан собственным R&D центром Пожаробезопасность. Система анализа и предотвращения поломок Высокая энергоэффективность. Энергопотребление контейнеров всего PuE = 1.05 Быстрая окупаемость. ROI проекта - не менее 350%, срок окупаемости - 1,8 лет, инвестиционный период - 5 лет Страхование в «Альфастрахование». Страхование от хищения, действий третьих лиц, пожара и т.д. Длительная эксплуатация. GPU решение позволяет не только добывать криптовалюты, но и решать наукоемкие задачи Бизнес-модель Получение прибыли от майнинга и наукоёмких вычислений с ежемесячной выплатой дивидендов инвесторам в течении 5 лет с момента ввода первого контейнера в промышленную эксплуатацию. Производство контейнеров осуществляется на предприятии в России, по проекту собственной разработки. Видение Промышленный майнинг в интересах инвесторов. Мы можем построить контейнеры сами, но это будет долго. С внешними инвестициями мы сделаем это в течении 1 года, что позволит заработать и нам, и нашим инвесторам. ROI проекта – не менее 350%, срок выплаты дивидендов – 5 лет, ежемесячные выплаты. Майнинг с ComBox выгоднее содержания домашних ферм и ригов. Входите в промышленный майнинг профессионально вместе с нами. Вариативная финансовая модель проекта ComBox предоставляется по запросу после подписания NDA. География и локализация контейнеров - Россия Срок проведения preICO: 1 сентября – 31 октября Soft Cap: $39М USD Hard Cap: $45М USD Команда Команда проекта – опытные специалисты из разных сфер, обладающие необходимыми техническими и коммуникативными навыками для реализации проекта подобного масштаба. Мы – существующая команда, работающая на благо себя и своих инвесторов. Мы занимаемся и специализируемся на решении сложных технических задач с 2005 года и зарекомендовали себя надежным, стабильным и грамотным партнером, как на локальном, так и на международном рынках.  Александр Панкратов, Founder, CEO  Дмитрий Елагин, Founder, CTO  Дмитрий Рытвинский, Co-founder, CFO Коротко о решении Мобильные контейнеры с иммерсионным охлаждением по 960 видеокарт в каждом 10 секций с иммерсионным охлаждением Размер контейнера - 20 футов 960 видеокарт AMD RX470 внутри каждого контейнера Для охлаждения применяется негорючая и безопасная фтор-органика Novec 3M Скорость срабатываниявстроенных механизмов защиты - 1 секунда Энергопотребление 1 контейнера - 170 кВт Хешрейт на Ethereum - до 26 гигахешей/сек Soft Cap - $39 000 000 147 контейнеров; майнинг только ETH; внешний ETH-пул с честной PPLNS-комиссией в 1%. Hard Cap - $45 000 000 240 контейнеров; майнинг ETH и другие валюты в соответствии с планом; внешний мультивалютный пул с честной PPLNS-комиссией в 1%. Наше решение позволит: при промышленных масштабах производства сделать покупку токена более рентабельным чем домашний майнинг; приумножить вложенные средства минимум в 3,5 раза; зарабатывать майнингом без покупки оборудования; быстро и легко войти в мир криптоэкономики и майнинга. Наше решение помежет избежать: пожара и потери дорогостоящего майнингового оборудования; рисков увеличения сложности добычи решений на таких валютах, где применяются ASIC’s; шума, перегрева и выхода из строя ферм, которые устанавливаются дома. Обзор и тенденции рынка Хешрейт сетей растет, количество майнеров уменьшается Майнинг переходит в промышленные масштабы и централизуется в рамках пулов, которые распределяют задачи и консолидируют мощности для поиска блоков Увеличивается использование криптовалюты в мире Временно приостановился и зафиксировался в рамках текущих значений уровень сложности добычи, что обусловлено отсутствием технологического прогресса Снижаются награды за блок, но это компенсируется ростом стоимости криптовалюты Проблемы и решения Существует огромное количество решений для майнинга. Это и ASIC, и GPU-фермы с воздушным охлаждением, и ванны с минеральным маслом, в которых «купаются» ASIC’и или иное оборудование. Давайте сравним то, что есть, с нашим решением. Продукты Над решением мы работали 2 года и за это время сделали следующее: Разработали новое решение с высокими экономическими показателями, предназначенное для добычи криптовалют в промышленных масштабах. Реализовали 4 контейнера на базе воздушного охлаждения с применением видеокарт RX570. Выявили все недостатки, такие как плотность установки карт, температурные перепады, риски возгорания, загрязнение, перегрев и другое. Объединили контейнеры в цифровую экосистему «ComBox» путем внедрения собственного программного решения и набора аппаратных решений для автоматического пожаротушения, отключения, удаленного управления и т.д. Разработали новое решение для двухфазного иммерсионного охлаждения в виде секции на 96 GPU карт. Реализовали 1 контейнер на иммерсионном охлаждении, в котором установлено 960 видеокарт с максимальным энергопотреблением 170 кВт/час. Разработали финансовую модель и структуру производства под будущее масштабирование для пуско-наладки новой производственной линии конвейерного типа. Мы понимаем и изначально заложили в концепцию возможность применения разработанных технологий не только в майнинге, но и в наукоемких вычислениях, спрос на которые только формируется. Мы прибегаем к масштабированию путем привлечения внешних инвестиций для готового решения, обладающего необходимым потенциалом, в основе которого лежит уникальная технология, разработанная нами. Мы готовы к промышленному масштабированию готового решения. Наше решение проверено и готово к серийному производству! Наши технологии Плата расширения PCIe ComBox SMART A-6. Позволяет подключить 6 видеокарт через плату расширения к недорогой материнской плате через один PCIe разъем. Вторая плата с еще 6 картами может быть подключена каскадно. Плата для систем с двухфазным иммерсионным охлаждением ComBox SMART IC-6. На одной плате устанавливается 6 GPU AMD RX470, которые потом собираются в секцию из 16 штук для погружения и работы в жидкости. За счет компактности резко снижается расход и необходимое количество дорогостоящей фтор-органики. Шкаф АСУ собственной разработки для контейнеров с воздушным охлаждением ComBox A-480. Позволяет управлять контейнером по заданным изначально алгоритмам и отвечает за безопасность эксплуатации дорогостоящего оборудования внутри. Серверный шкаф для ComBox A-480. Позволяет загружать вычислительные блоки по сети, без использования жестких дисков, что позволяет оперативно менять алгоритмы вычислений. Вычислительный блок ComBox A-12 и программа «Агент». Бездисковая аппаратно-программная система с 12 высокопроизводительными видеокартами на воздушном охлаждении и дополнительным высокоэффективным отводом тепла. Вычислительный блок с иммерсионным охлаждением ComBox IC-96. В пространстве, которого раньше хватало для установки всего 6-8 видеокарт, теперь помещается 96 штук. В секции стоит 16 плат собственной разработки ComBox IC-6. Нет кулеров, нет шума, нет перегрева, нет поломок и сопутствующих затрат. Контейнер ComBox A-480. Мы построили 4 контейнера на базе собственных разработок систем с воздушным охлаждением. Они введены в промышленную эксплуатацию и выполняют функции майнинга на Ethereum со средней доходностью не менее 27 ETH в месяц каждый. Контейнер с иммерсионным охлаждением ComBox IC-960. Жидкостное охлаждение позволяет повысить энергоэффективность и плотность размещения оборудования. Возможность долгосрочной эксплуатации без проблем запыленности и влажности. Мультивалютный пул. Мы объединяем собственные мощности с внешними, чем компенсируем рост сложности добычи криптовалют и увеличиваем доходность для наших инвесторов. Дорожная карта и цели ICO ComBox и токен CBP Soft Cap - $39M USD Hard Cap - $45M USD CBP - это секьюрити-токен стандарта ERC20, цифровой актив, гарантирующий получение ежемесячных дивидендов в ETH в соответствии с долей владения CBP. Дивиденды начисляются от следующих видов деятельности: майнинга, мультивалютного пула, производства и продажи контейнеров. После проведения ICO будет произведена процедура листинга токена CBP на бирже. Распределение средств: Инвесторы - 80% Фаундеры и команда - 10% Резервный фонд - 7% Баунти - 3% Как приобрести токены CBP Команда проекта Контакты Если у вас возникли вопросы, замечания или предложения, то наша команда с радостью ответит на них в любое удобное время! Представительство в РФ: ООО «ЭВЕРЕСТ», 194295, Санкт-Петербург, Поэтический бульвар, дом 2 Телефон: +7 (812) 748-27-27 Сайт - www.combox.io Электронная почта: info@combox.io
ComBox Technology

ComBox Technology

0

Двухфазное иммерсионное охлаждение в промышленном майнинге. Решение от компании ComBox Technology

ComBox – это системы для промышленного майнинга криптовалют на GPU с двухфазным иммерсионным охлаждением. Компания ComBox Technologyспроектировала и разработала контейнеры ComBox IC-960, в которых устанавливается по десять секций ComBox IC-96 с двухфазным жидкостным охлаждением. В каждой секции устанавливается по 96 видеокарт AMD RX470. Хешрейт одной секции – 2,592 террахешей в секунду. Тепло отводится при помощи негорючей жидкости 3M Novec (фтор-органика), что позволяет поддерживать оптимальную и одинаковую температуру на видеокартах и памяти на всех этапах и при всех режимах работы. За счет отсутствия вращающихся элементов достигается более долгий и бесперебойный срок эксплуатации оборудования. Как известно, кулеры часто выходят из строя, а когда необходимо их заменить, получается вынужденный простой оборудования. Важным является тот факт, что применение двухфазного иммерсионного охлаждения позволяет сделать майнинг более выгодным за счет безопасного разгона видеокарт, снижения рисков возгорания и порчи оборудования, отсутствия вращающихся элементов и снижения затрат на их обслуживание и периодическую замену. Если сравнивать с системами на воздушном охлаждении, то PuE (коэффициент использования энергии) на классических системах достигает значения в 1,45, в то время как для систем с иммерсионным охлаждением это значение снижается до 1,05. А это означает, что потребляется меньше электроэнергии в майнинге при одинаковом хешрейте. Это важно, т.к. самой большой статье затрат в майнинге является оплата электроэнергии. Вот так выглядит одно лезвие ComBox IC-6, на котором установлено 6 видеокарт AMD RX470: Далее, 16 таких лезвий собираются в секцию ComBox IC-96: Секции опускаются в бойлер и работают в жидкости 3M Novec, которая отводит тепло от видеокарт. Десять таких секций устанавливаются в контейнер и вводятся в промышленную эксплуатацию: 1 контейнер – это 170 кВт/час по энергопотреблению и 25,9 террахешей в секунду по хешрейту на Эфириуме. Стоит отметить, что решения ComBox уникальны тем, что могут использоваться как для майнинга криптовалют, так и для решения наукоемких задач (через интерфейс MPI и организацию системы параллельных вычисления на базе GPU). Вот несколько примеров задач, которые могут быть решены на базе ComBox: Расчет сворачиваемости белковых соединений (фолдинг белка) Распознавание лиц и образов в рамках AI-систем Анализ стойкости криптографических шифров Моделирование поведения толпы И многое другое. На текущем этапе, компания ComBox Technology проводит ICO для привлечения инвестиций на постройку и ввод в эксплуатацию 147-240 контейнеров. ComBox – это будущее промышленного майнинга! Подробнее о проекте – https://combox.io/ru/
ComBox Technology

ComBox Technology

0

АСУ в майнинге

АСУ означает «Автоматизированная Система Управления». Такая система может управлять и производственными процессами, и автоматической парковкой, и газовым котлом или другими объектами. На заре развития промышленности рядом с каждым оборудованием стоял специалист, который управлял им и следил за исправностью его работы. Так, лифтёры управляли лифтом, а на самолётах имелись бортинженеры. Теперь же лифт двигается сам — достаточно нажать кнопку. Управление сложными системами самолёта осуществляется автоматически, двигатели уже давно сами выходят на заданный режим. Всё это происходит благодаря АСУ. Из чего же состоит АСУ? Обычные элементы — это шкаф автоматизации, исполнительные механизмы, датчики и программа управления. В шкафу АСУ располагается множество блоков: ПЛК (Программируемый Логический Контроллер), модули расширения различных интерфейсов, электрические автоматы, силовые шины, преобразователи сигналов от датчиков, преобразователи сигналов для исполнительных элементов, частотные преобразователи. На передней панели шкафа установлены кнопки, выключатели и индикаторы режимов работы. В отличие от домашнего ПК, логический контроллер — очень надёжное устройство. Вообще, слово надёжность — это второе имя АСУ. Представьте, что будет, если лифт неожиданно решит открыть двери во время движения, а самолёт выдвинет шасси. Поэтому безопасности и бесперебойности работы АСУ всегда уделяется максимум внимания. От шкафа АСУ идёт множество проводов к датчикам и исполнительным элементам. Например, в системах вентиляции можно встретить датчики температуры, скорости потока, давления и исполнительные элементы — актуаторы (устройства, преобразующие электрический сигнал в положение механического элемента). Важным элементом АСУ является программа ПЛК. Она определяет поведение системы в различных ситуациях, рассчитывает команды для исполнительных механизмов, обрабатывает сигналы от внешних датчиков. Чаще всего за большими и дорогостоящими установками всё же следит человек- оператор. Его функция состоит в том, чтобы наблюдать, как работает система, и корректировать режим работы, если это необходимо. Оператор сидит за пультом АРМ (Автоматизированным Рабочим Местом). На экране мониторов такого пульта отображаются параметры работы системы. Наглядная мнемосхема достоверно отображает множество данных, и одного взгляда на экран хватает, чтобы понять, что происходит с оборудованием. Если сравнить сложную и дорогостоящую систему АСУ с сотрудником, который мог бы следить за системой и производить переключения вручную, можно выявить ряд очевидных различий. АСУ работает 24 часа в сутки, не устаёт, не выходит покурить, не допускает ошибок. Выполняемые процессы предсказуемы и повторяемы. Также, не надо забывать, что зачастую человек не может реагировать на изменения с необходимой скоростью. Например, сложно нажать на специальную кнопку в машине, чтобы сработали подушки безопасности, когда это необходимо. Электроника же делает это надёжно, с заданной скоростью и только тогда, когда это действительно необходимо; именно в ту долю секунды, когда это будет безопасно и эффективно. Майнинг — процесс сложный. Его оборудование очень дорогостоящее. Любые простои техники приводят к существенным финансовым потерям. Обслуживание и частые ремонты, опять же, вызывают новые простои и приводят к большим убыткам. Также известны случаи пожаров и систематических поломок оборудования. Все эти факторы указывают на то, что промышленная эксплуатация майнингового оборудования — ответственный и сложный процесс и оставлять его без автоматизации нельзя! Сервисное обслуживание майнингового оборудования Существуют два основных вида объектов для майнинга: стационарная ферма и мобильный контейнер. В первом случае майнинговое оборудование располагается на стеллажах внутри большого здания — дата-центре. Как правило, в таких зданиях много свободного места, высокие потолки, много места для размещения вентиляционного и электрораспределительного оборудования. Но имеется один минус — стационарность таких объектов. Во втором случае оборудование располагается внутри мобильного контейнера. Места здесь намного меньше, размещение оборудования плотнее, потолки ниже. Металлические стенки контейнера обладают плохой теплоизоляцией: зимой выключенный контейнер промерзает, летом — сильно нагревается на солнце. Обычно в здании, где расположена майнинговая ферма, сидит специалист, который занимается настройкой параметров и контролем работы оборудования, техническим обслуживанием, запуском или остановкой системы. Рядом с контейнером такой специалист находиться не может, и, как правило, он выполняет сервисное обслуживание по необходимости, а основной период времени находится за пультом АРМ. Таким образом, необходимый объем работ по обслуживанию и процессу управлению этими объектами идентичен. Для промышленного майнинга необходима слаженная работа всех систем: вентиляционной и электрораспределительной систем, системы пожаротушения, локальной вычислительной сети, охранной системы, системы контроля доступа, плюс необходимо обеспечение надёжного доступа к сети Интернет с резервным каналом связи. Всеми этими системами необходимо управлять в реальном времени. АСУ для майнингового контейнера Сейчас на рынке появилось множество контейнеров для майнинга. Они отличаются как конструктивным исполнением и принципом системы охлаждения, так и системами АСУ. Чаще всего внутри таких контейнеров находится электрораспределительный шкаф, состоящий из вводного автомата и электросчётчика. Далее, от шкафа множество кабелей тянутся к розеткам для майнеров, расположенных на полках. Многие, но не все решения, используют отдельные автоматы на каждую розетку. С точки зрения правил эксплуатации электроустановок, отдельные автоматы на каждый майнер просто необходимы. На полках стоит коммутационное оборудование (свитчи), посредством которых строится локальная вычислительная сеть, которая связана через роутер с сетью Интернет. Что же касается системы вентиляции — тут всё гораздо сложнее. Внутри контейнера необходимо поддерживать постоянную температуру и сделать это можно двумя способами: можно управлять заслонками приточного воздуха, а можно регулировать обороты двигателя приточной установки. Как правило, применяются специализированные контроллеры для климатических установок. И в целом, весь комплекс оборудования выглядит логичным и работоспособным. Производители заверяют, что контейнер полностью готов к работе, и позволяет управлять им удалённо. Форс-мажорные ситуации для майнингового оборудования Давайте рассмотрим следующую ситуацию. Контейнер благополучно работал зимой несколько дней, после чего произошло технологическое отключение электроэнергии на 2 часа. На улице стоит температура –30 °С. Контейнер за эти 2 часа промерзает, вся электроника, соответственно, остывает до тех же –30 °С. Спустя два часа подаётся электропитание в контейнер… К слову, это достаточно типичная ситуация в суровых зимних условиях. Но в большинстве контейнеров нет циклограммы запуска. Система с АСУ должна контролировать, что температура внутри контейнера не соответствует температуре эксплуатации электроники, и запускать предпусковой прогрев. И только по достижению положительной температуры, начнётся запуск электроники. При больших отрицательных температурах большинство бытовой электроники, таких как материнские платы, процессоры и память работать не будут. Существует риск поломки майнингово оборудования. Другой существенной проблемой является одновременное подключение большого количества блоков питания к электросети. Например, на блоках питания без системы плавного пуска стартовый ток равен около 100 Ампер. 10 блоков питания уже дадут 1 кА. Представьте теперь, что у вас 10 контейнеров, в каждом из них находится по 100 блоков питания. При одновременном старте пусковой ток будет иметь недопустимое значение и может повредить электрораспределительное оборудование. Чтобы избежать этого, установленная АСУ должна производить включение вычислительных блоков последовательно, в соответствии с циклограммой запуска. Ещё ситуация. Если в контейнере установлена система пожаротушения (а многие на ней, к слову, почему-то экономят), то она может сработать только по двум причинам: превышение температуры или наличие задымления. Существуют решения и с применением тепловизоров, но они обладают рядом ограничений. Приточная установка обычно подает около 50 000 м3 воздуха в час. При таком потоке наличие даже сильного очага возгорания не прогреет воздух, а дым выдуется наружу ещё до того, как он попадёт на датчик дыма. Определение возгорания стандартными способами в этом случае также невозможно, а, следовательно, и своевременное тушение пожара становится невозможным. Также перед тушением пожара необходимо будет полностью отключить приточную установку, обесточить все потребители тока, и в случае использования систем газового пожаротушения обеспечить герметичность контейнера. Зачастую такой алгоритм работы в контейнерах без АСУ попросту невозможен. К слову, использование систем порошкового пожаротушения в случае срабатывания нанесёт огромный ущерб электронике, и восстановление работоспособности такого объекта затянется надолго. Рассмотрим другой пример. При некоторых климатических условиях в помещении возникает так называемая точка росы. Внутри контейнера даже после небольшого простоя, связанного с технологическим отключением, может скапливаться влага, и при перепаде температур она может проявится в виде росы на поверхности плат майнеров. Запуск системы в такой ситуации грозит повреждением электроники. Система АСУ должна отслеживать условия старта электроники и не допускать запуска при возникновении критической влажности, чтобы сберечь дорогостоящее оборудование от повреждения. Более частые ситуации — зависание оборудования. Если это происходит с майнером, работающим на видеокартах, то зависание потребует перезапуска системы. Для этого на оборудование ставятся вотчдог-таймеры. Эти устройства отслеживают работу майнера и перезагружают его. Однако, если, к примеру, произошла поломка кулера видеокарты, то возникнет необходимость как можно скорее отключить майнер. Если рядом сидит человек — он сможет это сделать с помощью тумблера блока питания. Но до этого момента видеокарта будет работать в режиме перегрева, что может привести к повреждению процессора. Удалённое же управление электропитанием каждого майнера отсутствует практически во всех контейнерах. На первый взгляд, это не существенно, однако различные проблемы в работе оборудования являются достаточно частым явлением и требуют немедленного отключения электропитания с целью предотвращения повреждений. Основы эффективной работы АСУ Для корректной и продолжительной работы объекта требуется тщательное взаимодействие всех систем. Для того, чтобы АСУ могла полностью управлять объектом, необходимо установить достаточный набор исполнительных элементов. Сложно предугадать все возможные ситуации, возникающие при эксплуатации, как правило, они являются совершенно не очевидными, поэтому иногда кажутся невозможными и даже фантастическими. Однако статистика ремонта оборудования и пожаров на таких объектах говорит об обратном. Корректная работа оборудования возможна только при наличии продуманных циклограмм, запрограммированных в ПЛК. Эти циклограммы должны обеспечить автоматический переход из одного режима в другой. Например, после подачи электропитания было бы логично проверить уровни напряжений электросети, проверить температуру и влажность внутри контейнера. До тех пор, пока все параметры не придут в норму, подавать питание на майнеры недопустимо. Включение майнеров необходимо осуществлять поэтапно, поочередно подавая питание на каждый майнер. Одновременно необходимо обеспечить работу приточной установки в нужном режиме. Дело в том, что зимой температура воздуха порой опускается до –40…–30 °С. Продувать таким холодным воздухом оборудование, которое только начинает майнить, нельзя. Нужно поддерживать баланс между нагревом воздуха майнерами внутри контейнера и притоком холодного воздуха. Также система АСУ должна взаимодействовать с системой пожаротушения и при необходимости немедленно отключать приточную вентиляцию, снимая питание со всего оборудования. Для чёткой работы всех режимов и безошибочных переходов из режима в режим по запросу оператора либо при наступлении определенных значений от датчиков нужно составлять соответствующую циклограмму. Она должна содержать перечень команд, отправляемых на исполнительное оборудование в определённые периоды времени. Важно предусмотреть все ситуации, в которых может находиться контейнер с оборудованием, и обеспечить правильный переход из одного состояния в другое. Только когда описаны все ситуации, проработана логика работы контейнера и проведены все тесты, можно сказать, что объект будет функционировать надлежащим образом во всех возможных ситуациях, и человеческий фактор не окажет влияние на своевременность выполнения действий. Поскольку все системы регулярно обмениваются данными друг с другом, отказ любой из них будет сразу же выявлен. Например, если сгорит двигатель приточной установки, об этом можно будет узнать ещё до того, как в контейнере начнется перегрев оборудования, поскольку АСУ среагирует автоматически. Что касается стоимости таких систем АСУ, то их цена сравнительно невысока — по крайней мере, по сравнению со стоимостью всех майнеров и их возможных ремонтов. А при правильном подходе к проектированию АСУ, система управления будет не только реагировать на уже произошедшие события, но и предсказывать возможные поломки оборудования, сопоставляя показания различных датчиков с уже накопленной информацией. Таким образом, значительно снизятся затраты на эксплуатацию техники, а управление таким объектом станет по-настоящему удаленным и эффективным.
ComBox Technology

ComBox Technology

0

Сравнение GPU и ASIC

В современном мире появилось новое, но уже очень распространенное слово «майнинг». Оно образовано от английского слова mining, что переводится как «добыча руды в шахте». Майнинг — это процесс математических вычислений для решения сложной математической задачи, результат которой можно легко проверить. Наличие решения такой задачи подтверждает факт того, что большое количество участников задействовали свои дорогостоящие вычислительные мощности и верят в высокую цену награды за свои действия. Наградой за нахождение решения такой задачи служит выплата в криптовалюте. Вычислительные мощности — дороже золота, так как решить задачу можно только на самых быстрых и современных процессорах. Процессор — это микросхема, состоящая из нескольких миллиардов логических элементов, каждый из которых выполняет простую операцию с 1 битом информации. Изготовление таких микросхем требует наличия производства стоимостью в десятки миллиардов долларов. Возможно, что в будущем такие микросхемы будет вытеснены новыми квантовыми компьютерами, но это только в самой отдаленной перспективе. Альтернатив высокоскоростным микросхемам для решения математических задач на сегодня не существует. Микросхемы бывают разные, а их внутренняя организация определяется разработчиком. Инженеры разрабатывают архитектуру и топологию микросхемы, исходя из требований к функционалу. Например, если вам нужен калькулятор — это одна микросхема, а если видеокарта — совсем другая. ASIC (Application-Specific Integrated Circuit) — интегральная схема специального назначения. Любая микросхема, разработанная под решение одной конкретной задачи, называется ASIC. Важен тот факт, что такие микросхемы иные задачи выполнять попросту не могут. GPU (Graphics Processing Unit) — графический процессор. Это тоже микросхема, но она является гибким процессором, который работает по той программе, которая будет в него загружаться. Графический процессор больше адаптирован для решения задач построения трёхмерного изображения на плоскости. Таким образом, функция этой микросхемы определяется не в момент её производства, а позже, пользователем, путём загрузки соответствующей программы. Важным отличием GPU от других процессоров является наличие внутри него большого количества вычислительных блоков — фактически, маленьких процессоров, работающих одновременно. Например, в GPU видеокарты RX580 имеется 2304 потоковых процессора. Оба типа микросхем, как правило, выпускаются на схожих производственных линиях. Часто — это даже одна и та же фабрика TSMC. Существенное отличие может заключаться в размере минимального элемента, измеряемого в нанометрах. Чем мельче структура — тем больше логических элементов помещается в одной микросхеме, тем они быстрее работают и меньше потребляют электроэнергии. Естественно, чем лучше технология, тем сложнее и дороже получается само производство. К тому же технический прогресс не идет спонтанно. Так, в 2003 году применялась технология 90 нм, а в 2015 — всего лишь 14 нм. Много лет назад, на заре майнинга, для добычи криптовалюты Bitcoin использовались обычные процессоры (CPU). Пользователь, веривший в светлое будущее криптовалюты, устанавливал себе специальное ПО, вводил номер кошелька, запускал расчёт и ждал заветного вознаграждения. Позже, с появлением первых скоростных видеокарт с GPU, майнинг на CPU перестал быть таким актуальным, так как сложность сети сразу возросла. Но предприимчивые программисты пошли дальше и переложили алгоритм расчета в ПЛИС (программируемые логические интегральные схемы). Это позволило реализовать математическую функцию расчёта Bitcoin на логических элементах микросхемы и добиться существенного прироста производительности. Логичным продолжением развития отрасли стало появление первых устройств на базе специализированных микросхем ASIC. Многократный рост производительности и сложности сети заставил всех остальных владельцев устаревших устройств прекратить добычу криптовалют в связи с тем, что оплата электроэнергии превысила выгоду от добычи. Новые криптовалюты, такие, как Ethereum, создавались защищёнными от майнинга на ASIC, поэтому майнинг на GPU стал снова актуальным. Сравним основные различия алгоритмов криптографической защиты элементов блокчейна. Их число постоянно растет, так как разработчики стараются достичь большей безопасности криптовалютной сети. Под безопасностью подразумевается невозможность существенно оптимизировать вычисления и сократить время поиска решения. Криптовалютной сети безразлично, каким образом будет найдено решение, будь то ASIC, GPU, CPU или нечто другое. Производители тех же ASIC’ов стараются разработать различные способы оптимизации работы, чтобы находить такие решения раньше других. И тут речь идёт не про какие-то десятки процентов прироста, а про тысячи и десятки тысяч процентов. Такое возможно, если оптимизировать поиск решения не на уровне программы, а на уровне самих логических элементов микросхемы и их взаимодействия. Предположим, что в сети 10 одинаковых устройств ищут решение. В среднем, одному из них требуется 1 час. Награду получит то устройство, которое первое найдет решение. По теории вероятности, в среднем раз в 10 часов каждое устройство будет получать одно вознаграждение. Сеть сбалансирована. Давайте представим, что один из 10 участников сети изобрёл способ находить решение быстрее: например, всего за 6 минут. В этом случае этот участник за 10 часов, скорее всего, найдёт все решения первым и заберёт себе все награды. Остальные 9 участников не получат ничего. Это очень выгодно для владельца этого суперустройства, но совсем не выгодно для всех остальных майнеров. К тому же, если такое ускорение возможно, возникает опасность раскола криптовалюты (так называемого “форка”) в результате владения одним участником более чем 51% вычислительных ресурсов. Владелец такого суперустройства сможет подписывать любые блоки единолично, и, тем самым, осуществлять манипуляции с денежными средствами в своих интересах, например, путём повторной траты (“double spending”). Но пока такие совершенствования потенциально возможны только для определённой группы алгоритмов, в частности, для алгоритма SHA-256, который используется в криптовалюте Bitcoin. В чём же отличие решения задач с использованием GPU по сравнению с ASIC? GPU — это процессор, который будет работать не по заданному алгоритму, а по программе. К тому же, у процессора есть некие внутренние регистры, шина данных, внешняя высокоскоростная память. Для обеспечения функционирования всех этих элементов нужен и контроллер шины, и сложный контроллер взаимодействия с памятью, и драйверы всех шин данных. Так как внутри него работают несколько тысяч потоковых процессоров, необходимо организовать взаимодействие между ними, обеспечить подключение к общей шине данных, их синхронизацию. Архитектура таких устройств является крайне сложной, а проектирует их всего несколько компаний в мире: AMD, nVidia, Intel. Хочется ещё раз повторить, что такие GPU крайне сложны в разработке и требуют большого опыта от инженеров. Алгоритм сети Ethereum носит название Ethash. Его сложность многократно превышает сложность алгоритма Bitcoin. Для его работы требуется память, в которую загружается огромный массив данных DAG (directed acyclic graph). При вычислениях необходимо активно взаимодействовать с этой памятью. Таким образом, для оптимизации работы алгоритма Ethash требуется два фактора: быстрые вычисления и быстрое взаимодействие с большим объемом памяти. На ASIC устройствах добиться этого уже намного сложнее и дороже, ведь потребуется работать и с памятью DDR5, и с шиной PCIe 3.0. Опыт показывает, что ASIC устройства хоть и быстры, но содержат скрытые риски. Из-за того, что технология производства развивается, а инженеры продолжают делать новые и новые модели ASIC, старые ASIC устаревают настолько быстро, что даже не успевают дойти до покупателя, желающего начать майнить. Это обусловлено тем, что разработка ASIC’а занимает намного меньше времени, чем разработка нового процессора. Таким образом, как только на производстве появляется новая технологическая линия, скажем, 5 нм, так ASIC устройства там будут производиться раньше, чем GPU. В этом случае все предыдущие модели ASIC сильно устареют. Риски майнинга криптовалют, где можно использовать ASIC, повышаются. Ещё одним существенным преимуществом GPU является возможность использования GPU ферм не только для майнинга, но и для других вычислительных задач: расчёта аэродинамических потоков, обучения нейросетей, искусственного интеллекта — все эти вычисления отлично осуществляются на GPU. Рынок блокчейн технологий — один из самых бурно развивающихся. Возможно, именно поэтому в ближайшее время мы увидим некие новые алгоритмы, более устойчивые к оптимизации поиска решений. Резюмируя, можно сказать, что ASIC предоставляет шанс получить преимущества и быстро заработать до момента возрастания сложности сети. Действовать здесь нужно быстро — первые получат все, последние — ничего. GPU же является более гибким решением, и спонтанные появления новых сверхпроизводительных процессоров здесь маловероятны. Явным достоинством GPU считается небольшое, но предсказуемое вознаграждение и возможность адаптации устройства под новые алгоритмы. В заключение хотелось бы сказать, что каждый сам выбирает, какой способ майнинга лучше. Очевидно, что популярностью у майнеров пользуются оба рассмотренных подхода. По-нашему же мнению, за счёт гибкости, майнинг на GPU даёт определённые преимущества по сравнению с использованием ASIC. В долгосрочной перспективе мы ожидаем высокую востребованность облачных параллельных вычислений, где решения с помощью GPU будут актуальными ещё длительное время.
ComBox Technology

ComBox Technology

0


×