Følgende artikel hjælper dig med: Databricks udgiver Dolly 2.0, den første kommercielt tilgængelige open source 12B Chat-LLM
Databricks har annonceret lanceringen af Dolly 2.0 som den første kommercielt tilgængelige open source 12B Chat-LLM. Dolly er et stort gennembrud for maskinlæringsindustrien, der giver virksomheder mulighed for at skabe kraftfulde sprogmodeller – såsom autoregressive LLM’er med dialogunderstøttelse – uden at skulle investere i dyre GPU-klynger.
For at få deres open source-sprogmodel havde Databricks brug for et stort datasæt af høj kvalitet. Efter først at have overvejet Alpaca GPT-3-datasættet og andre open source-datasæt, der ikke tillader kommerciel brug, besluttede de at bygge deres eget datasæt af høj kvalitet. For at gøre dette beskæftigede de 5.000 mennesker og bad dem om at skrive flere eksempler, der ville blive brugt til at træne en autoregressiv LLM, der er i stand til blot at fortsætte teksten og ikke føre en dialog. Ved hjælp af store incitamenter, såsom bonusser for at skrive de bedste eksempler, var de i stand til at samle en imponerende 15.000 prøvedatasæt.
Databricks tog det næste skridt og inkorporerede EleutherAI’s Pythia-12B sprogmodel med en MIT-licens, og genoplært den på deres eget datasæt, hvilket resulterede i Dolly 2.0. Dolly 2.0 er blevet udgivet under en MIT-licens sammen med den medfølgende kode. Med lanceringen af Dolly 2.0 har maskinlæringsindustrien nu et kraftfuldt værktøj til at skabe robuste sprogmodeller på en omkostningseffektiv måde. Dette kan bruges af både virksomheder og enkeltpersoner, der ønsker at skabe kraftfulde applikationer, der kan forstå og behandle komplekst sprog.
Samlet set lanceringen af Dolly 2.0 som den første kommercielt tilgængelige open source er 12B Chat-LLM en væsentlig milepæl for maskinlæringsindustrien. Ved at udnytte MIT-licensen og skabe sit eget datasæt af høj kvalitet, har Databricks gjort kraftfulde sprogmodeller tilgængelige for både virksomheder og enkeltpersoner. Dolly 2.0 står til at revolutionere industrien og er et stort skridt fremad for maskinlæring.
Brugerne venter nu på, at udviklerne kvantiserer Dolly i 4 bit og fremskynder den til at køre på CPU’en, samt et svar fra OpenAssistant, som forventes at levere deres model i løbet af de næste par dage.
- NTIA beder om offentlige kommentarer til mulige regler, der regulerer AI-systemer som ChatGPT for at hjælpe Biden-administrationen med at sikre, at de fungerer som lovet. NTIA udgav en erklæring om AI-ansvarlighedsregler, som kunne forhindre fremtidige uheld og minimere risiciene fra hypotetiske trusler.
Læs mere om AI:
