Разработчик из Бангалора собрал ИИ-инфраструктуру на списанном серверном оборудовании

27-летний разработчик Радж из Бангалора купил на государственном IT-аукционе четыре стойки хранения данных, 96 ТБ жестких дисков и managed switch за 350 тыс. рупий. Как пишет YourStory, когда это оборудование было новым, оно стоило более 15 млн рупий. Позже он добавил к системе две башенные сборки с видеокартами RTX 3090.

Две RTX 3090 дают в сумме 48 ГБ VRAM. По словам автора материала, этого достаточно для запуска Llama 3.3 70B без облачной инфраструктуры и дата-центра. На этой конфигурации Радж занимается fine-tuning ИИ-моделей для 11 софтверных компаний из США, работая прямо из квартиры в Бангалоре.

В материале говорится, что ежемесячный счет за электричество составляет около 5 тыс. рупий. За счет отказа от облачных сервисов ему не приходится платить за вычисления и сталкиваться с лимитами на использование. Сам Радж утверждает, что зарабатывает 2,7 млн рупий в месяц и окупил вложенные 350 тыс. рупий всего за четыре дня.

Также в тексте описывается, как работают государственные аукционы в Индии. MSTC Limited проводит электронные торги по продаже списанного оборудования государственных структур и компаний госсектора, а банки устраивают собственные распродажи. Чтобы участвовать в таких аукционах, нужно зарегистрироваться на портале, пройти KYC, внести депозит и подать ставку.