Tether lansează framework-ul BitNet LoRA multi-platformă, permițând ajustarea fină a modelelor cu miliarde de parametri pe dispozitive de consum.

PANews a raportat pe 21 martie că Tether a anunțat lansarea unui framework cross-platform BitNet LoRA de ajustare fină în QVAC Fabric, permițând optimizări pentru antrenarea și inferența Microsoft BitNet (1-bit LLM). Acest framework reduce semnificativ cerințele de putere de calcul și memorie, permițând ca modelele cu miliarde de parametri să fie antrenate și ajustate fin pe laptopuri, GPU-uri consumer și smartphone-uri.

Această soluție este prima care permite ajustarea fină a modelului BitNet pe GPU-uri mobile (inclusiv Adreno, Mali și Apple Bionic). Testele arată că un model cu 125M parametri poate fi ajustat fin în aproximativ 10 minute, un model de 1B în aproximativ o oră, și poate fi extins chiar și la un model cu 13B parametri pe dispozitive mobile.

În plus, framework-ul suportă hardware eterogen precum Intel, AMD și Apple Silicon și realizează pentru prima dată ajustarea fină LoRA a 1-bit LLM pe dispozitive non-NVIDIA. În ceea ce privește performanța, modelul BitNet obține viteze de inferență de 2 până la 11 ori mai rapide pe GPU-uri mobile decât pe CPU-uri, reducând în același timp utilizarea memoriei cu până la aproximativ 77,8% comparativ cu modelele tradiționale de 16 biți.

Tether a declarat că această tehnologie are potențialul de a elimina dependența de puterea de calcul de înaltă performanță și infrastructura cloud, de a promova dezvoltarea antrenamentului AI către descentralizare și localizare și de a oferi o bază pentru noi scenarii de aplicare precum învățarea federată.