La maggior parte degli articoli su un nuovo modello fondativo biologico inizia dai conteggi dei parametri e dalle tabelle di benchmark. L'articolo su structRFM, pubblicato su Nature il 5 novembre dal gruppo di Shaohua Zhou e Peng Xiong dell'University of Science and Technology of China, merita un'apertura diversa: cambia ciò che si chiede al modello di imparare. Invece di trattare una molecola di RNA come una stringa di quattro lettere, l'obiettivo di preaddestramento costringe la rete a tenere conto della forma in cui quella stringa si ripiega. È un'affermazione diversa sull'oggetto modellato, ed è per questo che il rilascio conta più di una nuova voce in classifica.

L'RNA viene comunemente presentato come un messaggero tra informazione genetica e proteina, il che è una semplificazione comoda e fuorviante. La molecola partecipa alla sintesi proteica, al controllo dell'espressione genica e allo splicing, e il suo comportamento dipende sia dall'ordine dei nucleotidi sia dalle strutture secondarie e terziarie che assume. Uno stesso tratto di basi può produrre esiti diversi in stati strutturali diversi. Un codificatore in stile modello linguistico addestrato solo su A, U, C e G parte quindi con metà delle informazioni rilevanti mancanti, e nessuna quantità di dati di sequenza aggiuntivi può compensare pienamente una variabile che non gli è mai stata mostrata.

La risposta predefinita del campo è stata prendere in prestito il copione delle proteine: preaddestramento auto-supervisionato su grandi raccolte di sequenze, poi un fine-tuning separato per ogni attività a valle. Nel frattempo la previsione della struttura è cresciuta come toolchain autonoma, con ipotesi e formati propri. Il risultato è un flusso di lavoro frammentato in cui ogni nuova domanda richiede un set di feature appena progettato, e le attività con pochi dati etichettati soffrono di più perché non possono riutilizzare ciò che gli strumenti per la struttura già sanno. Chiunque abbia provato a passare dall'annotazione dei siti di splicing all'inferenza strutturale in un unico progetto riconoscerà quell'attrito.

Un modello aperto dell'RNA ha imparato a leggere la forma, non solo la sequenza 配图 1
FIG.01 · J.N. Eskra · CC BY-SA 4.0

structRFM parte da un dataset più che da un'architettura. Il team ha assemblato circa 21 milioni di coppie sequenza–struttura-secondaria annotate al calcolo, legando la domanda su quali basi siano presenti alla domanda su quali basi si appaiino tra loro. 'Annotate al calcolo' è una precisazione importante, e ci torneremo; il punto immediato è che l'informazione strutturale entra nel preaddestramento come segnale di addestramento invece di essere aggiunta dopo. L'appaiamento su questa scala rende anche la supervisione densa: ogni posizione in una sequenza porta una relazione strutturale, non solo un'etichetta singola alla fine.

L'obiettivo è dunque a due facce, apprende insieme il contesto della sequenza e la dipendenza strutturale, con uno schema di mascheratura progettato per rendere entrambi necessari. L'analisi di ablazione dell'articolo separa i contributi del ramo strutturale e della strategia di mascheratura, e scopre che entrambi contano. È un dettaglio facile da scorrere via, eppure risponde alla domanda più utile che un gruppo successivo possa porre: quale componente ha davvero prodotto il miglioramento? Un risultato che migliora solo perché il corpus è cresciuto è molto meno sfruttabile di uno il cui meccanismo è stato isolato.

Da una singola sequenza in ingresso il modello addestrato emette rappresentazioni a tre livelli di granularità: sequenza intera, per nucleotide e per coppia di nucleotidi. È una scelta di progettazione deliberatamente pratica. La struttura secondaria è fondamentalmente un problema di appaiamento, il rilevamento dei siti di splicing si comporta come un'etichettatura locale, e la classificazione dell'omologia richiede una vista globale. Coprire tutti e tre con un solo codificatore significa che i progetti a valle possono partire da una rappresentazione invece di costruire un codificatore su misura per ogni attività, ed è qui che tende a concentrarsi gran parte del costo ingegneristico in biologia computazionale.

Un modello aperto dell'RNA ha imparato a leggere la forma, non solo la sequenza 配图 2
FIG.02 · Gannu03 · CC BY-SA 4.0

L'elenco di valutazione è di conseguenza vario: previsione della struttura secondaria, classificazione dell'omologia zero-shot, previsione dei siti di splicing, riconoscimento dei siti interni di ingresso del ribosoma e classificazione degli RNA non codificanti. La varietà è l'argomento. Se il modello ha davvero interiorizzato le conoscenze priori strutturali, queste attività debolmente correlate dovrebbero migliorare insieme, piuttosto che una metrica essere ottimizzata a spese delle altre. Un modello che vince solo sul benchmark che interessava ai suoi autori dice pochissimo su quanto la rappresentazione si generalizzi.

Due risultati ulteriori meritano più attenzione dei numeri in evidenza. Immettere le feature di structRFM in una pipeline esistente di previsione tridimensionale ha migliorato sia l'output 3D sia la struttura secondaria ad esso associata, il che è sensato dal punto di vista fisico: i vincoli di appaiamento bidimensionali restringono lo spazio dei ripiegamenti plausibili. E il modello ha retto su famiglie di RNA appena rilasciate, con una strategia di segmentazione che lo estende agli RNA lunghi non codificanti. I database biologici acquisiscono nuove famiglie in continuità, quindi la robustezza verso famiglie mai viste in addestramento è più vicina all'utilità reale di un guadagno marginale su un set di test fisso.

Il rilascio include l'intero dataset di coppie, i pesi del modello e il codice sorgente. Per la biologia computazionale i dati sono spesso l'artefatto più difficile da riprodurre, perché le pipeline di annotazione recano parametri, versioni e regole di filtraggio che cambiano silenziosamente i risultati; pubblicare i pesi senza di essi può lasciare un articolo tecnicamente aperto ma praticamente irreproducibile. Unito alla scelta di condividere i dati accoppiati, il rilascio aperto offre ad altri gruppi una vera possibilità di verificare dove l'approccio si rompe — compreso il divario tra annotazione al calcolo e misurazione sperimentale, e la domanda su come si comporti il modello su ripiegamenti senza omologhi rilevabili. È un punto di partenza per la comunità, non una risposta definitiva.