DBRX
 | |
| Autor | Databrics |
|---|---|
| Pierwsze wydanie | 27 marca 2024(dts) |
| Rodzaj | Duży model językowy |
| Licencja | Databricks Open License |
| Strona internetowa | |
DBRX – otwarty duży model językowy opracowany przez firmę Databricks i wydany 27 marca 2024[1][2][3]. Jest to model transformatora z architekturą mieszanki ekspertów, zawierający łącznie 132 miliardy parametrów. Dla każdego tokena aktywnych jest 36 miliardów parametrów (4 z 16 ekspertów)[4]. Wydany model jest dostępny w wersji bazowej lub w wersji dostrojonej do instrukcji.
W momencie wydania DBRX przewyższył inne znane modele open source, takie jak LLaMA 2 firmy Meta, Mixtral firmy Mistral AI i Grok firmy xAI, w kilku testach porównawczych, począwszy od rozumienia języka, umiejętności programowania i matematyki[5][6][7].
Szkolenie trwało 2,5 miesiąca[6] na 3072 kartach Nvidia H100 połączonych przepustowością 3,2 TB/s przez InfiniBand, a koszt szkolenia wyniósł 10 mln USD[1].
Przypisy
- 1 2 Introducing DBRX: A New State-of-the-Art Open LLM [online], Databricks, 27 marca 2024 [dostęp 2025-04-18] (ang.).
- ↑ New Databricks open source LLM targets custom development | TechTarget [online], Search Business Analytics [dostęp 2025-04-18] (ang.).
- ↑ Databricks’ open-source DBRX LLM beats Llama 2, Mixtral, and Grok [online], InfoWorld [dostęp 2025-04-18] (ang.).
- ↑ Anubhav, A New Open Source LLM, DBRX Claims to be the Most Powerful - Here are the Scores [online], Gizmochina, 28 marca 2024 [dostęp 2025-04-18] (ang.).
- ↑ Anubhav, A New Open Source LLM, DBRX Claims to be the Most Powerful - Here are the Scores [online], Gizmochina, 28 marca 2024 [dostęp 2025-04-18] (ang.).
- 1 2 Will Knight, Inside the Creation of the World’s Most Powerful Open Source AI Model, „Wired”, ISSN 1059-1028 [dostęp 2025-04-18] (ang.).
- ↑ Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. - MK [online], 매일경제, 28 marca 2024 [dostęp 2025-04-18] (ang.).