1.
Cómo GPT-3 puede ayudar a
los analistas digitales

2.
StrictlyVC in conversation with Sam Altman 🔗

3.
Aupa! Soy Natzir
Consultor estratégico e internacional de SEO y CRO
Mejoro negocios digitales gracias al análisis de datos
y de usuarios.
Puedes encontrarme en:
○ https://www.natzir.com
○ hola@natzir.com
○ @natzir9

4.
Clientes
4
He trabajado en el sector de la comunicación, travel,
finanzas, salud, educación, moda, cosmética,
farmacéutico, industrial, tecnología, inmobiliario,
decoración, alimentación y retail para los principales
sitios web de multinacionales y startups. Estos son
sólo algunos de ellos.

5.
He impartido clases en diferentes escuelas de
negocio, in company y soy ponente en los
principales eventos de marketing en el sector.
Formación

6.
Qué vamos a aprender
Tabla de contenidos
1. Qué es y cómo funciona GPT-3
2. Definiciones clave
3. Casos de uso para Analítica Digital

7.
1. Qué es y cómo funciona GPT-3

8.
Qué es y cómo funciona GPT-3
Definición

9.
Qué es y cómo funciona GPT-3
Definición

10.
Qué es y cómo funciona GPT-3
Definición
○ GPT-3 es la 3º generación de Generative Pre-trained Transformer (GPT) un modelo
de procesamiento del lenguaje autorregresivo desarrollado por OpenAI.
○ Es una Inteligencia Artificial General (AGI), por lo que es capaz de realizar varias
tareas como generar o resumir texto, chatbot, completar fragmentos, responder
preguntas, generar código y traducir idiomas. Siempre text-to-text.
Generativo es la capacidad del modelo de generar algo nuevo a partir de lo que ha aprendido durante el entrenamiento, pero ese “algo” no es más que una predicción (gracias al proceso
autorregresivo). Transformer es una arquitectura que permite aplicar atención bidireccional para analizar el contexto. Es decir, para cada palabra, tiene en cuenta las palabras anteriores y posteriores a
ella. Esta arquitectura además permite replicar los conocimientos de un idioma al otro.

11.
Qué es y cómo funciona GPT-3
Definición
El paper original 🔗no es claro sobre los contenidos y tamaños de los data set (excepto por el tamaño de Common Crawl). Existe un debate abierto al respecto 🔗
○ GPT-3 es la 3º generación de Generative Pre-trained Transformer (GPT) un modelo
de procesamiento del lenguaje autorregresivo desarrollado por OpenAI.
○ Es una Inteligencia Artificial General (AGI), por lo que es capaz de realizar varias
tareas como generar o resumir texto, chatbot, completar fragmentos, responder
preguntas, generar código y traducir idiomas. Siempre text-to-text.
○ Basado en aprendizaje profundo,
utiliza una arquitectura transformer
y está entrenado con un gran corpus
(753,4 GB).
Dataset Tokens (bn) Proporción
Common Crawl 410 60%
WebText2 19 22%
Books1 12 8%
Books2 55 8%
Wikipedia (en) 3 3%

12.
Qué es y cómo funciona GPT-3
Limitaciones
1. Información desactualizada, a veces sesgada y no tiene acceso a Internet.
2. Buena capacidad para aprender nuevas tareas, pero no se sabe si lo hace desde
cero o si simplemente reconoce tareas que ya ha aprendido. Ha “aprendido” a
hacer operaciones matemáticas sencillas a través de las referencias encontradas
en la fase de entrenamiento. Para text-to-science está Minerva (Google) o
Galactica (Meta AI).
3. Aunque GPT-3 es bueno para generar textos, a veces repite lo mismo y pierde
coherencia en textos largos.
4. GPT-3 no es capaz de procesar información en ambos sentidos (es unidireccional
en la predicción) y no se adapta bien a tareas que requieren comparar
información.
5. GPT-3 trata todas las palabras de un texto de igual forma y no tiene la capacidad
de identificar qué palabras son más importantes en un texto.
6. Debido a su tamaño, puede ser difícil implementar GPT-3 en aplicaciones.
GPT-3 es muy bueno cuando se trata de NLG (generación), pero es promedio en tareas de NLP regulares como la generación de resúmenes, Winograd, traducción, respuestas a libro cerrado,
comprensión lectora, razonamiento con sentido común, SuperGLUE y NLI (inferencia).

13.
2. Definiciones clave

14.
Definiciones clave
○ Prompt: Entrada que le das al modelo. Es una instrucción en formato texto.
○ Completion: La salida que te da el modelo. Básicamente, la respuesta.
○ Token: Pieza de información. Cuando se envía un prompt o se recibe una completition, éstos se
procesan en tokens. 1 tkn ≈ 4 caracteres o 0.75 palabras.
○ Diseño de prompts: Prompting o prompt engineering, es la forma mediante la cual
condicionamos al modelo. Existen las técnicas Zero-shot, One-shot y Few-shot (manual o
automática).
○ Modelo: El modelo que elijas para procesar tu prompt según las necesidades.
○ Ajuste fino: El fine-tuning es la personalización de los parámetros del modelo para obtener
mejores resultados.
○ ChatGPT: modelo de lenguaje basado en GPT-3.5 y optimizado para el diálogo mediante
Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF). Es menos potente que GPT-3
al estar entrenado sólo para una tarea y no permitir el ajuste fino, pero más sencillo de manejar
ya que sólo requiere del prompting para su uso. Desde que se liberó el 30/11/2022 de forma
gratuita, ha continuado aprendiendo a través de HF.

15.
El castellano requiere de más tokens que el inglés por varios motivos. Tiende a tener palabras más largas en promedio (más sílabas y estructuras morfológicas más complejas), más inflexiones para
indicar las relaciones gramaticales (conjugaciones verbales, las declinaciones de sustantivos y los acuerdos de adjetivos) y una estructura gramatical más compleja (más tiempos y modos gramaticales).
OpenAI Tokenizer 🔗
Definiciones clave
Token

16.
Software 3.0: Figure out the right prompt to make your meta-learning language model have the right behavior 🔗
The best ChatGPT examples from around the web 🔗
OpenAI Cookbook 🔗
Definiciones clave
Diseño de prompts

17.
Prompts de baja calidad, generan respuestas de baja calidad o, lo que es lo mismo, la
pregunta es más importante que la respuesta.
1. Proporciona un contexto claro de qué quieres y cómo lo quieres en lenguaje natural. Sé
preciso y trata de estructurar la instrucción [1]. Si es muy larga, descomponla. [2]
2. Pregúntale a GPT cómo mejoraría una instrucción para ser mejor entendida por él
mismo.
3. Dile que te responda “no sé” si no está seguro de algo. Prueba también con crearle una
personalidad humilde y que te justifique cómo ha llegado a esa conclusión.
4. Agregando "Piensa paso a paso" antes de cada respuesta se aumenta la precisión con
GPT-3 [3]. ChatGPT ya viene ajustado con esto.
5. Usa técnicas de one o few-shot: chain-of-thought manual [4] o automático ajustando
un modelo a medida con la técnica *STaR (Self-taught Reasoner) [5].
1. Least-to-Most Prompting Enables Complex Reasoning in Large Language Models 🔗
2. AI Chains: Transparent and Controllable Human-AI Interaction by Chaining Large Language Model Prompts 🔗
3. Large Language Models are Zero-Shot Reasoners 🔗
4. Chain of Thought Prompting Elicits Reasoning in Large Language Models 🔗
5. STaR: Bootstrapping Reasoning With Reasoning 🔗
Definiciones clave
Diseño de prompts

18.
Ejemplo de condicionamiento por estructuración y concreción del prompt.
Definiciones clave
Diseño de prompts

19.
Ejemplo de condicionamiento por “step-by-step reasoning” en el prompt.
Definiciones clave
Diseño de prompts

20.
Ejemplo de condicionamiento por “step-by-step reasoning” mediante One-shot.
Definiciones clave
Diseño de prompts

21.
Serie Nombre Descripción Casos de uso
Max tkn
x req
$ x 1K
tkn
Datos
hasta
GPT-3
text-davinci-003
El modelo más capaz. Puede realizar
cualquier tarea que hagan los otros, con
mayor calidad, salida más larga y con mejor
completación de instrucciones. Admite la
inserción de completaciones dentro del
texto.
Tareas complejas, causa y
efecto, resumen
4,000 0.0200 06/2021
text-curie-001
Muy capacitado, pero más rápido y de
menor coste que Davinci.
Traducción de idiomas,
clasificación, análisis de
sentimiento, resumen,
Q&A, chatbot
2,048 0.0020 10/2019
text-babbage-001
Capaz de tareas sencillas, muy rápido y de
bajo coste.
Clasificación, búsqueda
semántica
2,048 0.0005 10/2019
text-ada-001
Capaz de tareas simples, el modelo más
rápido de la serie GPT-3 y de menor coste.
Análisis sintáctico de
textos, clasificación
2,048 0.0004 10/2019
Codex
code-davinci-002
Bueno para traducir el lenguaje natural a
código. Admite la inserción de
completaciones dentro del código.
Generar y entender código 8,000 0.1000 06/2021
code-cushman-001
Casi tan capacitado como el Codex Davinci,
pero ligeramente más rápido.
Generar y entender código
en tiempo real
2,048 0.0240 01/2021
Definiciones clave
Modelos GPT-3

22.
Definiciones clave
Ajuste fino
Al utilizar Top P se tiene un mayor control sobre la precisión y corrección del texto generado por GPT-3, mientras que la temperatura es más adecuada para generar respuestas nuevas y creativas. Si
utilizamos uno, el otro tiene que estar a 1. La penalización por frecuencia limita la repetición de palabras al reducir la probabilidad de seleccionar una palabra que ya se ha utilizado con anterioridad. La
penalización por presencia se enfoca en evitar repeticiones de temas al considerar si una palabra ya ha aparecido en el texto, independientemente de la cantidad de veces que se ha usado. Con Best Of
controlamos la cantidad de intentos que el modelo hará para generar una salida. Mediante Maximum length, controlamos la cantidad de tokens de la respuesta.

23.
Definiciones clave
Ajuste fino
Aplicación
Temperature
[0 - 1]
Top p
[0 - 1]
Frequency Penalty
[0 - 2]
Presence Penalty
[0 - 2]
Maximum Length
[1 - 4000]
Best of
[1 - 20]
Generación de texto 0.2 - 0.8 0.0 - 1.0 0.5 - 1.5 0.5 - 1.5 400 - 2000 1
Compleción de texto 0.0 - 0.5 0.8 - 1.0 0.0 - 0.2 0.0 - 0.5 60 - 300 1
Traducción de texto 0.2 - 0.5 0.8 - 1.0 0.0 - 0.5 0.0 - 0.5 300 - 1000 1
Resumen de texto 0.1 - 0.5 0.8 - 1.0 0.2 - 0.7 0.2 - 0.7 60 - 300 1
Preguntas y respuestas 0.0 - 0.5 0.8 - 1.0 0.2 - 0.7 0.2 - 1.0 60 - 2000 1
Generación de código 0.0 - 0.2 0.9 - 1.0 0.0 - 0.5 0.0 - 0.5 400 - 2000 1
Explicación de código 0.0 - 0.2 0.9 - 1.0 0.0 - 0.5 0.0 - 0.5 300 - 1000 1
Traducción de código 0.0 - 0.5 0.9 - 1.0 0.0 - 0.5 0.0 - 0.5 300 - 1000 1
Guía de ajuste fino hiperparámetros para text-davinci-003 basada en mi experiencia con GPT-3. Los valores pueden variar dependiendo del uso específico y del conjunto de datos. Es necesario probar
diferentes combinaciones de hiperparámetros y evaluar su rendimiento para cada aplicación.

24.
3. Casos de uso Analítica Digital

25.
Aprobar certificaciones
Empecé el GAIQ sin configurar nada en GTP-3 y vi que erraba respuestas. En cuanto configuré un buen prompt, no falló de nuevo.

26.
Asistente de implementaciones

27.
Asistente de implementaciones

28.
Asistente de implementaciones

29.
Asistente de implementaciones

30.
Explicación de peticiones SQL

31.
Decodificador de peticiones

32.
Configurador de dataLayers

33.
Configurador de dataLayers

34.
Configurador de dataLayers

35.
Auditor de dataLayers

36.
Asistente de R
GPTStudio by MichelNivard 🔗

37.
Asistente de Python

38.
Asistente de Python

39.
Asistente de Python

40.
Asistente de Google Sheets

41.
Asistente de Google Sheets

42.
Asistente de Google Sheets

43.
Asistente de Google Sheets

44.
Asistente de Google Sheets
B: Give me a summary in 2 bullet points (' - ') of the most important points found in the following review "&A2&". Each bullet point has to be super concrete, just the idea mentioned in super short
sentences. // C: Give me the sentiment of the review "&A2&" in one word: positive, negative or neutral. // D: "Give me a summarized list of three different possible solutions (listed in ' - ') to the main
concerns of the review "&A2&". // E: Based on the Jakob Nielsen’s heuristics, if you found an heuristic that is broken in the following user review: "&A2&", give me just the name of that heuristic followed by :
and then tell me why in a summarized response.

45.
La IA no te reemplazará. La persona
que esté usando IA es quién lo hará.
@svpino

46.
adranger.io

47.
Eskerrik asko!
Puedes encontrarme en:
○ https://www.natzir.com
○ hola@natzir.com
○ @natzir9

48.
Diapositivas generadas con Midjourney
Prompt: graph nodes, drawn with coloured pens, clean, minimalist pitch deck template, white background, high definition --aspect 16:9 --v 3 --stylize 625
--no paper