2.5. Explicación de parámetros

Por último, vamos a hablar de los parámetros disponibles al generar texto con IA.

Ya hemos hablado un poco por encima de ellos, pero no está de más volver a verlos (y, de paso, ver todos aquellos de los que no hemos hablado todavía):

Modo

En primer lugar, tenemos la opción de elegir el modo en el que vamos a usar GPT-3. Tenemos 3 opciones diferentes:

1. Completar texto: La forma básica de generación de texto que hemos visto en los demás apartados. Le das el prompt y genera nuevo texto. No tiene pérdida.
2. Insertar texto: Esta opción permite introducir texto entre dos o más partes del input. Utilizando el texto “[insert]”, podemos hacer que la IA inserte texto entre diferentes partes del prompt, en lugar de generar texto únicamente al final. Lo interesante es que la IA tendrá en cuenta el texto tanto anterior como posterior, para que lo que genere tenga sentido en el contexto global.
3. Editar texto: Por último, podemos editar texto. Aquí, lo que podemos hacer es dar un texto como input y un texto como instrucción. Lo que hará la IA es generar el mismo texto que le hemos dado como input, pero con la variación que le hayamos indicado en la Instrucción. Por ejemplo, podría cambiar el género del protagonista, corregir las faltas de ortografía o traducir el texto.

Si te paras a pensarlo, tanto la inserción de texto como la edición se podría hacer con el simple completar texto, siempre que le diéramos el prompt correcto.

Pero, de esta forma, OpenAI nos pone más fácil el trabajo y, de paso, en ocasiones nos ahorra unos cuantos tokens (porque las tareas ya vienen, en parte, especificadas y no hay que escribirlas en el prompt).

Cada modo tiene una utilidad, así que elige sabiamente.

Más de 3000 orangotanes ya reciben mis emails

Suscríbete a la Niusleta de Joseo20.

Yo sí mando spam. Cuando tengo que vender, vendo. El resto de tiempo envío emails con temas que considero interesantes.

Hablo de todo lo que me sale de los cojones, no sólo de marketing o negocios. Hay política, filosofía y otras gilipolleces.

Es probable que después de leerla me odies.

Incluye orangotanes.

Modelo

Este parámetro nos permitirá elegir el modelo con el que trabajar. En cuanto a la generación de texto, tenemos cuatro grandes modelos, cada uno con versiones de sí mismos.

¿Mi recomendación?

Salvo que sepas bien lo que haces y quieras minimizar costes teniendo la certeza de que no va a afectar negativamente a la calidad de los resultados, utiliza siempre la última versión.

En algunos casos puntuales, Ada te puede dar tan buenos resultados como Davinci. Y vale sólo una décima parte. Pero, si no tienes la certeza de que es así, no corras riesgos.

Además, salvo que vayas a trabajar con grandes volúmenes, tampoco te va a suponer un gran drama.

La diferencia entre 20 céntimos o 2 dólares es más asumible que la diferencia entre 200 y 2000 dólares.

Temperatura y el Top P

La temperatura y el Top P, como ya hemos visto anteriormente, son los principales parámetros que utilizaremos para controlar la aleatoriedad y las variaciones en el texto generado.

A mayor Temperatura y Top P, mayor variedad en el texto generado y mayor probabilidad de error. A menor Temperatura y Top P, menor variedad en el texto generado y menor probabilidad de error.

OpenAI recomienda dejar Top P a 1 y manipular la Temperatura, en lugar de andar jugando con ambos parámetros a la vez.

Con esto, tenemos lo básico para trabajar. No necesitamos conocer los entresijos.

Aunque, ya que estamos, me gustaría saber cuál es la diferencia entre Temperatura y Top P. Por curiosidad. Pero, como no tengo un perfil técnico, le voy a pedir a la propia IA que me lo explique.

Antes de preguntarle a ChatGPT he perdido como media hora buscando en Google la mejor respuesta, y ninguna me convencía. O no eran fiables o no entendía lo que decían.

Nos va a costar acostumbrarnos a usar la IA para resolver dudas, pero, en muchos casos, es una mejor fuente de información para resolver dudas que Google.

Maximum Length

El Maximum Length es un parámetro que nos permite controlar el número máximo de tokens que el modelo puede generar.

Es decir, nos permite determinar cuán larga será la respuesta (como máximo –establecer el límite en 3000 tokens no significa que nos vaya a generar 3000 tokens, sino HASTA 3000 tokens).

El problema de limitar el Maximum Length es que puede hacer que algunas frases queden a medias.

Mi recomendación es dejarlo amplio y decirle a GPT en el prompt la extensión que queremos que tenga el texto (200 palabras o lo que sea).

Stop sequences

Te permite especificar cadenas de caracteres que sirvan como bandera a la IA para saber dónde y cuándo dejar de generar texto.

Este parámetro puede ser útil cuando trabajamos con prompts con formato, donde la IA debe reproducir una estructura que le hemos dado, pero con algunas manipulaciones.

En este contexto, podemos usar una secuencia de caracteres al final de la estructura y, al mismo tiempo, incluirla como stop sequence. De esta forma, nos aseguramos de que la IA genere únicamente lo que nosotros queremos.

La verdad, le doy poco uso a esta funcionalidad, pero es verdad que para trabajos concretos muy formateados y estructurados puede ser útil.

Frequency Penalty

Con este parámetro puedes penalizar ciertos tokens durante su generación, teniendo en cuenta su frecuencia de aparición en el texto ya generado. De esta forma, se reduce su probabilidad de aparecer en la respuesta final.

Cuando la IA está generando nuevos tokens, penaliza aquellos que ya han aparecido con anterioridad, y los penaliza más cuanto más hayan aparecido.

Esto es importante a la hora de evitar repeticiones y bucles (un problema habitual en modelos más pequeños, como Ada, pero que también puede aparecer en otros más grandes, incluyedo Davinci).

Sin embargo, en mi experiencia, aumentar el frequency penalty conduce rápido a una degeneración consistente en la eliminación de espacios.

Personalmente, prefiero reducir el riesgo de bucles y repeticiones por otras vías, como fragmentando la generación de texto en lugar de pedir generaciones de texto muy largas.

Presence Penalty

Similar a lo anterior, pero, en lugar de tener en cuenta la repetición de los tokens para su penalización, sólo tiene en cuenta su presencia.

Es decir, si un token ya ha aparecido en el texto, se reduce su probabilidad, aunque no se forma incremental como sucedía en el Frequency Penalty.

Hasta cierto punto, el Presence Penalty se utiliza para evitar que la IA siga abordando los mismos temas una y otra vez. Penalizando ciertos tokens una vez ya han aparecido, se potencia que hable de otros temas.

Inject Start Text

Inyecta un texto tras el prompt para que la IA empiece su respuesta con dicho texto. NO es texto que genere GPT.

Nos puede servir para dar ciertos formatos a las respuestas de GPT y jugar con ello, pero no le podemos dar uso a gran escala, porque es algo que se hace desde el Playground y que no está disponible a través de la API (para obtener el mismo efecto desde la API, tendríamos que programarlo específicamente).

En algunos casos, tener un texto inyectado antes del output podría ser interesante. Por ejemplo, si programamos un chatbot y queremos que, antes de responder a lo que el usuario ha preguntado, diga “Quizá esta información pueda ayudarte:” o algo así.

Como digo, este parámetro no está disponible a través de la API, así que habría programarlo a mano. Pero podemos usar el Inject en el Playground para ver cuál sería el resultado.

Inject Restart text

También tenemos la inyección de texto de reinicio. Este es el texto que aparecerá al final de la generación de texto por GPT (NO es texto generado por GPT, al igual que no lo es el texto de inicio inyectado).

Esto puede ayudarnos a mantener determinados formatos para algunos usos concretos que queramos dar a GPT.

Sin embargo, como en el caso anterior, este parámetro no se puede utilizar a través de la API, así que hay que programarlo específicamente en el script que utilicemos al conectarnos a la API.

Más de 3000 orangotanes ya reciben mis emails

Suscríbete a la Niusleta de Joseo20.

Yo sí mando spam. Cuando tengo que vender, vendo. El resto de tiempo envío emails con temas que considero interesantes.

Hablo de todo lo que me sale de los cojones, no sólo de marketing o negocios. Hay política, filosofía y otras gilipolleces.

Es probable que después de leerla me odies.

Incluye orangotanes.

Best Of

Lo que hace aquí es generar varias respuestas y mostrar sólo la mejor. Esto lo hace con una función que tiene en cuenta aspectos como la coherencia, la relevancia, la originalidad y la cohesión.

Pero, la verdad, si no me fiase de que el texto generado por la IA fuera bueno, no sé por qué debería fiarme de que fuera capaz de elegir la mejor opción entre varias de las generadas.

Para ello, me fío directamente de que el texto generado inicialmente es bueno (tras usar alguno de los métodos explicados a lo largo de esta guía para aproximar mejores respuestas).

Aunque alguien con un perfil más técnico y mayor comprensión del asunto puede que vea claras las ventajas de usar esta opción.

A mí no me preguntes, sólo soy una chica.

Eso sí, aunque tú sólo obtengas una respuesta a tu input, GPT habrá generado varias, por lo que, si has generado 10, pagarás los tokens de las 10 generaciones, no sólo de aquella que te arroja como mejor resultado.

Show probabilities

Muestra el espectro de probabilidades de generación de los tokens.

Honestamente, no entiendo una puta mierda de esto.

Pero es bonito.

Otros parámetros

Los anteriores parámetros son los que tienes disponibles en el Playground, pero en la API tienes algunos otros. Aquí tienes la lista completa de parámetros (para lo que nos ocupa a nosotros, no nos hace falta profundizar en todos ellos).