LLM Runner Llamafilen päivitys tuo 10-kertaisen suorituskyvyn AMD Ryzen AVX-512 -suorittimiin

Viimeisin Llamafile-päivitys on parantanut merkittävästi AMD:n Ryzen-suorittimien suorituskykyä hyödyntämällä niiden AVX-512-ominaisuuksia ja kasvattanut sen jopa 10-kertaiseksi.

Nopeuta suuria LLM-mallejasi Llamafilen uusimmalla päivityksellä: 10X nopeampi suorituskyky AMD Ryzen -suorittimissa AVX-512-tuella

Phoronixin mukaan Llamafilen uusin päivitys sisältää nyt tuen AVX-512-ohjesarjalle. Tämä tarkoittaa, että AVX-512:ta hyödyntävien suoritinten suorituskyky paranee huomattavasti ohjelmistoa käytettäessä. On raportoitu, että AMD:n tulevat Zen 4 ”Ryzen” -suorittimet kokevat kymmenkertaisen parannuksen nopeassa arvioinnissa tämän päivityksen myötä, mikä lopulta johtaa tehokkaampaan LLM-suorituskykyyn työkalua käytettäessä.

Llamafile on helposti käyttöön otettava työkalu, joka yhdistää LLM-mallin tarvittaviin kirjastoihin yhdessä suoritettavassa tiedostossa. Mozilla Ochon kehittämä sen tavoitteena on tehdä LLM:t laajemman yleisön ulottuville käyttämällä sekä suorittimen että grafiikkasuorittimen suorituksia. Työkalu on saavuttanut suosiota kehittäjien keskuudessa, koska se eliminoi kalliiden ratkaisujen tarpeen päästä LLM:iin. Koska Llamafile on kuitenkin vielä varhaisessa kehitysvaiheessa, saattaa esiintyä joitakin epätarkkuuksia, jotka korjataan reunalaskentatrendin vauhdittua.

Phoronixin mukaan uutta Llamafire 0.7:ää ei ole vielä testattu. He ovat kuitenkin ilmoittaneet suunnitelmistaan ​​suorittaa testejä sekä AMD- että Intel-järjestelmillä tulevaisuudessa. Uusin versio on saatavilla GitHubin kautta napsauttamalla tätä linkkiä. On tärkeää huomata, että vain AMD:n Ryzen-suorittimet tukevat tällä hetkellä AVX-512-ohjeita kuluttajatason siruille. Sitä vastoin Intel on päättänyt olla tukematta tätä ominaisuutta suojellakseen Xeon-sirujen myyntiään. Tämä antaa AMD:n Ryzen-alustalle edun käyttäjille, jotka tarvitsevat AVX-512-ominaisuuksia sovelluksissaan.