В блоге NVIDIA Technical Blog описан подход к тонкой настройке biological foundation models с помощью LoRA в NVIDIA BioNeMo Recipes. Подобные модели всё чаще используют в computational biology.
Foundation models предварительно обучают на больших корпусах последовательностей белков или геномов. Среди примеров, ESM2 (a protein language model) и Evo 2 (a DNA language model). Такие системы улавливают статистические закономерности, которые скрыты внутри биологических последовательностей.
Полученные представления затем переносят на разные downstream‑задачи. Среди них, structure prediction, variant effect и functional annotation.
Ключевые факты
Модели ESM2 (языковая модель для белков) и Evo 2 (языковая модель для ДНК) обучаются на больших корпусах белковых или геномных последовательностей.
Такие модели извлекают статистические закономерности биологических последовательностей.
Предобученные модели могут переноситься на различные downstream‑задачи, включая предсказание структуры, оценку эффекта вариантов и функциональную аннотацию.