NASA тестирует локальный запуск LLM для медицинской помощи экипажу в космических миссиях

NASA вместе с исследователями Johnson Space Center разрабатывает медицинского ИИ‑ассистента для экипажей будущих космических миссий. Система называется Crew Medical Officer Digital Assistant (CMO-DA). Она запускает LLM и другие модели прямо на локальном оборудовании, без обращения к облаку. Для инференса используется llama.cpp через инструмент RamaLama, который управляет запуском моделей.

Причина в ограничениях дальних полётов. Во время миссий к Луне или Марсу астронавты не смогут получать медицинские консультации с Земли в реальном времени: сигнал идёт с задержкой, а связь может прерываться. Поэтому NASA рассматривает вариант бортовой системы, способной помогать экипажу с диагностикой и лечением симптомов. Предполагается, что ИИ будет работать с RAG, опираясь на медицинскую литературу по космическим полётам.

Как сообщает r/LocalLLaMA (Reddit), изначально проект существовал как облачный proof of concept. Позже его перенесли в полностью автономное edge‑развёртывание на оборудовании HPE. Сейчас тестирование проходит на наземном аналоге компьютера HPE Spaceborne Computer, установленного на борту ISS.

RamaLama представляет собой open source CLI, поддерживаемый Red Hat. Инструмент оборачивает llama.cpp и другие движки инференса, включая MLX и vLLM. С его помощью модели можно запускать по принципу контейнерных образов, при этом система автоматически определяет доступные GPU.