¡Bienvenido!

Al registrarte con nosotros, podrás discutir, compartir y enviar mensajes privados con otros miembros de nuestra comunidad.

¡Regístrate ahora!

Código de LlaMa usado por Meta fué compartido

keymaker380

keymaker380

Nivel 0
Mensajes
3
Puntos de reacción
13
En la url
https://github.com/facebookresearch/llama
pueden encontrar un sistema muy simple que puede se instalado en una pc para simular un ChatGPT-3 de 7 billones de parámetros, y si usan el software Dalai pueden ponerlo en una web muy parecido a ChatGPT. Otro proyecto que también pueden integrar para las PC menos potentes es el Alpaca desarrollado por la Universidad de Stanford que es más ligero.
Ojo el tamaño de las bases de datos son las siguientes
7 billones de parámetros +-4Gb
13 billones de parámetros +-8Gb
 
Imposible de implementar para una persona en Cuba, pero muy interesante la información. Ahora la duda que me asalta es ¿con que algoritmo de compresión trabajaron para poder meter 7billones de parámetros en 4GB? Me parece que debe ser más tamaño
 
Ciberman dijo:
Imposible de implementar para una persona en Cuba
Haz clic para expandir...
¿No se puede por...? Yo iba a probar, pero la descarga es instalandolo, osea, en github lo que está es el instalador que luego te descarga todo lo demás. Y me dio pereza. (Una explicación de asco, pero creo que se entiende.)
 
Bueno, si resulta tu experimento me avisas, aunque bajar 4GB solo se podría hacer con datos ilimitados de madrugada. Me imagino que la base de datos está en texto plato usando índice invertido. Si logras bajar la base de datos me avisas
 
Ciberman dijo:
solo se podría hacer con datos ilimitados de madrugada
Haz clic para expandir...
¿?
Yo descargué entre 15 o 16Gb los otros dias y me faltan como 25Gb de otra cosa ahi... Era por datos, pero no ilimitado; así que imposible no es.


Ciberman dijo:
Me imagino que la base de datos está en texto plato usando índice invertido. Si logras bajar la base de datos me avisas
Haz clic para expandir...
No sé. Ya te digo, lo que vi en git fue solo un instalador con boberias, no pesaba tanto, por eso fue que no llegué a probarlo.

De todas formas si pruebo te digo.
 
AkaMe dijo:
¿?
Yo descargué entre 15 o 16Gb los otros dias y me faltan como 25Gb de otra cosa ahi... Era por datos, pero no ilimitado; así que imposible no es.



No sé. Ya te digo, lo que vi en git fue solo un instalador con boberias, no pesaba tanto, por eso fue que no llegué a probarlo.

De todas formas si pruebo te digo.
Haz clic para expandir...
Ok, 4Gb no es tanto tamaño estoy de acuerdo en eso, pero lo que hace falta es darle un uso práctico, para mi buscador a lo mejor me sirve la forma en que encuentra información ese sistema y a lo mejor le doy un toque de "inteligencia" al buscador cubano que quiero hacer.
 
Atrás