[ad_1]
Anthropic ha lanzado su API Message Batches, que ofrece a los desarrolladores una solución rentable para procesar grandes volúmenes de claudio consultas de forma asincrónica.
A través de la API Message Batches, los desarrolladores ahora pueden enviar lotes de hasta 10.000 consultas. Estos lotes se procesan en menos de 24 horas y suponen una reducción del 50 % en el costo en comparación con las llamadas API estándar, lo que representa un avance significativo en el manejo más eficiente de tareas que no son urgentes.
La API está actualmente disponible en versión beta pública y es compatible con Claude 3.5 Sonnet, Claude 3 Opus y Claude 3 Haiku en la API Anthropic. Además, los clientes que utilizan Claude en Amazon Bedrock ya pueden utilizar la inferencia por lotes y la compatibilidad con Vertex AI de Google Cloud está en el horizonte.
La necesidad de un procesamiento de alto rendimiento es fundamental para los desarrolladores que utilizan Claude para tareas como el análisis de comentarios de los clientes y la traducción de idiomas, donde las respuestas inmediatas no son primordiales.
En lugar de gestionar complejos sistemas de colas o preocuparse por los límites de tarifas, la API permite a los desarrolladores enviar hasta 10.000 consultas simultáneamente, lo que garantiza un procesamiento fluido con un descuento del 50 %. Es importante destacar que los lotes suelen procesarse mucho más rápido que las 24 horas.
Esta API ofrece un rendimiento mejorado y límites de velocidad más altos, lo que permite manejar grandes volúmenes de solicitudes sin afectar el uso estándar de la API. Además, proporciona escalabilidad para el procesamiento de datos a gran escala, encargándose de tareas como el análisis de conjuntos de datos y evaluaciones de modelos sin problemas de infraestructura.
La API abre oportunidades para el procesamiento de datos a gran escala, que antes eran poco prácticas o demasiado costosas. Al aprovechar el descuento por lotes, analizar extensos repositorios de documentos corporativos, que potencialmente constan de millones de archivos, se convierte en una tarea económicamente viable.
Estructura de precios de la API de Claude Message Batches
La API Message Batches permite a los usuarios beneficiarse de ahorros en costos de infraestructura con un descuento del 50 % en tokens de entrada y salida. Aquí hay un desglose de la estructura de precios:
Soneto de Claude 3.5
- Aporte: $1.50 / MTok
- Producción: $7.50 / MTok
Claude 3 Opus
- Aporte: $7.50 / MTok
- Producción: $37.50 / MTok
Claude 3 Haiku
- Aporte: $0,125 / MTok
- Producción: $0,625 / MTok
Plataforma de preguntas y respuestas basada en el usuario Quora está aprovechando al máximo la API Batches de Anthropic para tareas como resúmenes y extracción de aspectos destacados, mejorando así las funciones del usuario final.
Andy Edmonds, gerente de producto de Quora, dijo: “La API Batches de Anthropic proporciona ahorros de costos y al mismo tiempo reduce la complejidad de ejecutar una gran cantidad de consultas que no necesitan procesarse en tiempo real.
“Es muy conveniente enviar un lote y descargar los resultados en 24 horas, en lugar de tener que lidiar con la complejidad de ejecutar muchas consultas en vivo paralelas para obtener el mismo resultado. Esto libera tiempo para que nuestros ingenieros trabajen en problemas más interesantes”.
Los desarrolladores deseosos de empezar a utilizar la API Message Batches en la versión beta pública pueden explorar la documentación. aquí.
Ver también: PostgreSQL 17 ofrece un gran avance para las bases de datos de código abierto
¿Quiere aprender más sobre IA y big data de la mano de los líderes de la industria? Verificar Exposición de IA y Big Data que tendrá lugar en Amsterdam, California y Londres. El evento integral comparte ubicación con otros eventos importantes, incluidos Conferencia de automatización inteligente, bloquex, Semana de la Transformación Digitaly Exposición de seguridad cibernética y nube.
Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados por TechForge aquí.
[ad_2]
Enlace fuente
