Curso de Prompt Engineering

0 de 26 lecciones completas (0%)

2. Prompting en IAs de Texto

2.6. Cómo ahorrar tiempo y dinero en la generación de texto

Esta es una lección de muestra

Inscríbete o accede para hacer esta lección.

Vale, a estas alturas ya sabemos cómo aprovechar al máximo la magia del Prompt Engineering para obtener las respuestas que deseamos de la IA.

Pero la IA es una puta y nos va a cobrar por cada respuesta que obtengamos.

Y, ok, si estamos jugando, esto no nos va a importar mucho. Pero, si estamos creando un negocio (sea del tipo que sea), debemos reducir al máximo nuestro coste para aumentar nuestros márgenes (o poder ofrecer precios más bajos, depende).

También necesitaremos reducir tiempos, porque el tiempo es dinero.

Así que vamos a ver cómo podemos lograr ambas cosas:

Varias respuestas en un único prompt

Una buena forma de obtener una reducción significativa del tiempo dedicado a generar textos es aprovechar las propiedades emergentes y los diferentes modos de uso que nos da GPT-3 para obtener más de un resultado en un mismo prompt.

Esto, mediante few-shot prompting es perfectamente viable.

Y no tiene por qué ser difícil. En el siguiente ejemplo te lo muestro:

En vez de crear una ficha por prompt, creamos dos (podríamos crear más). Al iniciar cada ficha con un símbolo concreto, luego podemos manipular fácilmente los outputs generados.


Más de 3000 orangotanes ya reciben mis emails

Suscríbete a la Niusleta de Joseo20.

Yo sí mando spam. Cuando tengo que vender, vendo. El resto de tiempo envío emails con temas que considero interesantes.

Hablo de todo lo que me sale de los cojones, no sólo de marketing o negocios. Hay política, filosofía y otras gilipolleces.

Es probable que después de leerla me odies.

Incluye orangotanes.


Usa herramientas para automatizar

Por supuesto, si quieres ahorrar tiempo, no puedes estar utilizando el Playground de OpenAI constantemente. Necesitas automatizar.

Alguien que controle un poco de código puede hacerlo con sencillez programando, pero, si eres como yo (un negado para la programación), necesitas una herramienta fácil y cómoda.

En Joseo20 tenemos nuestra propia herramienta para ello, desarrollada por uno de los alumnos para que podamos conectarnos fácilmente con la API de OpenAI y explotarla a gusto.

De esta forma, podemos mandar diez mil prompts de golpe, dejar el ordenador funcionando, y obtener el texto de cada uno de esos prompts.

Suena bien, ¿eh?

Parafrasea

Venga, una solución para reducir costes. Y es útil tanto en el caso de que tengas un modelo de negocio sencillo (como generar texto para crear webs) como si tienes un modelo más complejo, como un SaaS o cualquier cosa que se te pase por la cabeza.

En el primer caso, tienes unos prompts que te generarán texto. Y parte de esos prompts serán siempre el mismo texto. Por ejemplo, los modificadores relativos al tono, la longitud, la audiencia, etc.

En el segundo caso, podemos imaginar que siempre pasamos el input que nos da el usuario, pero a este le añadimos antes o después algo más de texto para perfeccionar el prompt o hacer que la IA actúe de una forma específica.

En ambos casos, tenemos partes del prompt que son siempre idénticas. Y que lo van a ser en todas las ocasiones en que tengamos que usar el prompt (que, en ambos casos, será muchas veces).

Vamos a coger el ejemplo de las webs, que es más cercano a mi mundo y me servirá mejor para explicar lo que quiero explicar:

Supongamos que creamos texto para una web de turismo. Estos textos pueden variar mucho, pero, para mantener la coherencia dentro de la web, siempre damos el mismo contexto a la IA antes de indicarle lo que realmente queremos que haga en ese caso concreto.

Algo como, por ejemplo, “Eres una redactora en una página web de recetas de cocina. Tu tono es simpático y cercano. La audiencia de la página web son personas jóvenes y con poco tiempo libre.”.

Y, tras ese contexto, le añadimos lo que sea. “Hoy te toca escribir sobre conejo en salsa y blablablá”, lo que sea. Esto segundo nos interesa menos que lo primero.

Ese texto que usamos para contextualizar siempre es el mismo y siempre se lo tenemos que dar a la IA. Y tiene un coste. Un coste que podemos conocer con exactitud gracias a esta herramienta de OpenAI.

Son, exactamente, 64 tokens. A 0.02$ cada 1000 tokens, eso significa que son 0.00128 dólares.

Nada, ¿no?

Pero, si tenemos que asumir ese coste un millón de veces (y, créeme, en ciertos proyectos, es normal tener que usar un prompt como ese un millón de veces), son 1280 dólares.

Por tanto, si podemos reducir esos tokens, podremos ahorrar.

En lugar del texto antes mencionado, podríamos utilizar el siguiente: “Escribes un blog de cocina para jóvenes con poco tiempo libre. Eres simpática y cercana.”.

32 tokens. La mitad. Es decir, que, tras ese millón de veces que utilicemos el prompt, habremos ahorrado 640 dólares.

Y este es un ejemplo para un proyecto simple como es crear una web (por grande que sea, es un proyecto simple). Ahora piensa en una startup con miles de usuarios utilizando tu herramienta varias veces al día.

El ahorro puede ser brutal.

Además, aunque no lo fuera, no deja de ser una buena práctica. Cuanto más breve y conciso el prompt (a igualdad de condiciones), mejor.

Maneja datos inteligentemente

Otra forma de ahorrar dinero es sustituyendo datos en el prompt y en la generación de texto.

Esto no se puede aprovechar en todos los casos de uso de GPT. Por ejemplo, para la generación de texto sin más, no nos va a servir. Pero hay otros casos en los que sí podremos aprovechar este manejo de datos inteligente.

Por ejemplo, imagínate que estamos generando texto para fichas de producto para una tienda online. Y tenemos un catálogo de 1000 modelos de un producto dado. 1000 modelos de sillas, por ejemplo. Cada una con un nombre, tipo “silla Dumas”, “silla Martina”, “silla Silvana”, “silla Javiera”, “silla Calígula”, etc.

Bien, esos 5 nombres de silla son 18 tokens. Así que, más o menos, 1000 modelos de sillas son 3600 tokens. 0.72$. Si usamos el nombre de la silla 10 veces en cada ficha de producto, son 7,2$.

En cambio, si sustituimos esos nombres por “A”, “B”, “C”, “D” y “E” (es un ejemplo, lo ideal sería utilizar símbolos), en lugar de 18 tokens son 9 tokens. Por lo que reduciríamos el coste a la mitad.

Después, lo único que tenemos que hacer es sustituir esas letras (o símbolos) por el nombre de la silla. Es algo que se puede hacer en 5 minutos con Search & Replace con alguna herramienta.

En un ejemplo de 7,2$, nos da bastante igual. Pero en situaciones con mayor volumen de datos de este tipo, puede suponer un ahorro interesante.

Varias respuestas en un único prompt (sí, otra vez)

Hace un momento, hemos hablado de utilizar un prompt para conseguir varias respuestas para, con ello, lograr reducir el tiempo que dedicamos a la generación de texto.

Sin embargo, también se puede utilizar este método para ahorrar dinero.

Te pongo un ejemplo:

Supón que quieres reescribir un texto para tus redes sociales. Y quieres hacerlo con un tono acorde al que sueles usar en cada red social (más cachondo para Twitter, más serio para LinkedIn, más inspirador para Instagram, etc).

Supongamos que el texto es un párrafo de, no sé, 70 tokens.

Pues bien, tienes dos opciones:

  1. Mandas una petición a la API por cada reescritura que quieres hacer, diciéndole a la IA el tono que quieres en cada ocasión (y repitiendo siempre el párrafo a reescribir).
  2. Mandas una única petición a la API y le dices que quieres reescribir el texto con los distintos tonos, y que te muestre los resultados uno tras otro.

De esta forma, si generas 4 textos, te ahorrarás 210 tokens.

En el caso de las motosierras que hemos visto antes también ahorramos dinero, porque el contexto inicial no lo enviamos una y otra vez en sucesivas peticiones a la API.

De nuevo, para trabajitos simples, esto no supone nada. Pero si hablamos de grandes números, promptear de esta forma te permitirá ahorrar mucho dinero.

Cuentas falsas

Por último, tenemos una técnica que no debería comentar aquí. Pero como soy un inconsciente, pues vamos palante.

Es una técnica black hat, así que úsenla bajo su propia responsabilidad. Por cierto, yo no recomiendo usarla, porque es un coñazo. Pero debes saber que existe.

Básicamente, consiste en utilizar GPT-3 sin pagar.

¿Cómo?

Bueno, OpenAI te regala 18 dólares para usar en sus modelos cuando te creas la cuenta, ¿verdad?

Pues, primero, consumes esos 18 dólares.

Pero eso es muy poco, ¿no?

Sí.

Una vez se acaba ese saldo, tienes que añadir una tarjeta de crédito.

Pero aquí viene el secreto: No te cobran por adelantado. Te cobran a mes vencido.

Y, de primeras, tienes un límite de uso de 120$ (puedes pedir que te lo amplíen, pero no sé cómo de fácil es).

Es decir, puedes usar tarjetas de crédito virtuales y descartables (como las que ofrece Revolut), agotar los 138$ y, cuando se acabe el mes y vayan a cobrarte, no tener fondos en tu tarjeta.

Después, te creas una cuenta nueva con datos distintos, diferente IP, teléfono nuevo y nueva tarjeta y listo, a gastar otros 138$.

Y 138$ dan para bastante. Son casi 7 millones de tokens. Alrededor de 4 millones de palabras (en español).

Divertido, ¿no? Este es el tipo de gitanadas que puedes descubrir en Joseo20.


Más de 3000 orangotanes ya reciben mis emails

Suscríbete a la Niusleta de Joseo20.

Yo sí mando spam. Cuando tengo que vender, vendo. El resto de tiempo envío emails con temas que considero interesantes.

Hablo de todo lo que me sale de los cojones, no sólo de marketing o negocios. Hay política, filosofía y otras gilipolleces.

Es probable que después de leerla me odies.

Incluye orangotanes.


Pero, como digo, no recomiendo usar esta técnica.

Primero, porque es inmoral. Segundo, porque probablemente sea ilegal. Y tercero y más importante, porque es un coñazo.

Pero, oye, yo no soy tu padre. Haz lo que quieras. Yo sólo doy información.

Deja un comentario