Meta Platforms ved den årlige Meta Connect-begivenhed i Californien fremlagde flere nye AI-funktioner til sine populære applikationer Facebook, Instagram og WhatsApp, men den mest imponerende innovation fra teknologigiganten er måske gået ubemærket hen af mange. Vi taler om Llama 2 Long AI-modellen.
Et team af forskere fra Meta-virksomheden offentliggjorde på en eller anden måde stille en artikel, hvori de præsenterede en ny kunstig intelligens-model, Llama 2 Long, der er i stand til at generere sammenhængende og relevante svar på lange brugerforespørgsler. Højst, siger de, overgår den nogle af de bedste konkurrenter i branchen.
Llama 2 Long er en forlængelse Lama 2, en open source AI-model Meta udgivet i løbet af sommeren, der kan lære af en række datakilder og udføre en række opgaver som kodning, matematik, sprogforståelse og mere. Imidlertid blev Llama 2 Long trænet i flere data indeholdende længere tekster, og denne algoritme blev modificeret til at håndtere længere sekvenser af information. Dette giver den mulighed for at overgå OpenAI's GPT-3.5 Turbo og Claude 2, som har begrænsninger på mængden af kontekst, de kan bruge til at generere svar.
Forskere Meta brugt forskellige versioner af Llama 2 - fra 7 milliarder til 70 milliarder parametre, det vil sige værdier som AI-modellen kan ændre ved at lære af dataene. De tilføjede yderligere 400 milliarder tokens (tekstenheder) af data, der indeholdt længere tekster end det originale modeldatasæt. De justerede også lidt arkitekturen af AI-modellen ved hjælp af Rotary Positional Embedding (RoPE) teknikken, så modellen kan generere nøjagtige og nyttige svar ved at bruge mindre information og hukommelse end andre metoder.
Holdet brugte forstærkende læring fra menneskelig feedback (RLHF), en metode, hvor AI-modellen belønnes for korrekte svar og korrigeres af menneskelige bedømmere, og syntetiske data genereres af selve Llama 2-chatten. for at forbedre dens ydeevne i forskellige opgaver .
Avisen hævder, at modellen kan generere højkvalitetssvar på brugermeddelelser på op til 200 tegn, svarende til omkring 40 siders tekst. Forskerne siger, at Llama 2 Long er et skridt i retning af at skabe mere generelle og alsidige AI-modeller, der kan opfylde brugernes komplekse og forskelligartede behov. De anerkender også de potentielle etiske og sociale implikationer af sådanne modeller og opfordrer til yderligere forskning og dialog om, hvordan man bruger dem ansvarligt og gavnligt.
Læs også: