облачная графика

[avva]

Много занимаюсь сейчас тренировкой нейронных сетей (не очень больших). Для этого неплохо иметь мощные GPU, и удобно делать это в облаке (хотя в зависимости от бюджетов и нужд и о возможности купить свои не стоит забывать). Я пользовался как стандартными лидерами индустрии в последние месяцы (AWS, Google Cloud), так и специализированными дешевыми сервисами (Lambda Labs, DataCrunch dot io). Я новичок в этой области, постепенно набираюсь опыта.

Общие впечатления:

- дешевые сервисы намного дешевле. Одна виртуальная машина с H100 стоит сейчас примерно В ПЯТЬ РАЗ больше в Google/AWS (11/12 долларов в час), чем в дешевых сервисах (2-2.5 доллара в час).

- везде устроено примерно одинаково, если вы можете затратить время на то, чтобы технически разобраться. Везде резервируешь Ubuntu-based VM, подключаешься к ней по SSH, присоединяешь к ней storage volume. Цена хранения данных, CPU, памяти машины итд. везде ничтожна по сравнению с ценой GPU. Везде нужно самому выбирать, в каком районе держать данные и резервировать машины. Одно важное отличие, на которое стоит обратить внимание: можно ли остановить машину и не платить, или остановленная машина продолжает собирать платеж (в таком случае обычно можно все равно оставить ее root volume, и быстро поднять новую машину с ней).

- основное неудобство дешевых сервисов с моей точки зрения: нет гарантии того, что нужный тип машины с нужным кол-вом нужных GPU будет в наличии, когда вам нужно. Сейчас они есть, а завтра нет. Если закачал кучу данных в данный регион и не можешь запустить тренировку, это сильно мешает. В AWS/Google с такими проблемами (в нужных мне небольших масштабах) не сталкивался.

- второе неудобство это что везде все по-своему, свое устройство storage volumes, свой API для командной строки итд.

- мне пока нравится datacrunch dot io, но не рекомендую его вот совсем уж сильно, я пробовал только два дешевых сервиса. Из нескольких сайтов, сравнивающих цены, что я видел, мне особенно понравился getdeploying dot com (выберите рубрику Cloud GPUs в нем). Полагаю, что самые супер-дешевые варианты скорее всего имеют свои недостатки (availability/reliability), хотя не проверял. Конкуренция очень высокая, и это хорошо

- если хотите что-то оспорить/добавить, всегда рад.

Comments

[dedekha]

в качестве развлечения написал минимальную нейронную сеть на с++. Удивительное дело, нет никаких наборов данных для тестирования - скажем набор данных XY, с сеткой S, параметром L, начальным набором весов W, после одного раунда обучения должен получиться набор весов W1.