Preguntas frecuentes sobre Amazon Bedrock

Los agentes de Amazon Bedrock son capacidades totalmente administradas que facilitan a los desarrolladores la creación de aplicaciones basadas en IA generativa que pueden completar tareas complejas para una amplia gama de casos de uso y ofrecer respuestas actualizadas basadas en orígenes de conocimiento propios. En unos pocos pasos, los agentes de Amazon Bedrock desglosan automáticamente las tareas y crean un plan de orquestación, sin necesidad de codificación manual. El agente se conecta de forma segura a los datos de la empresa a través de una API, convierte automáticamente los datos en un formato legible por máquina y aumenta la solicitud con información relevante para generar la respuesta más precisa. A continuación, los agentes llaman de manera automática a las API para cumplir con la solicitud de un usuario. Por ejemplo, una empresa de fabricación podría querer desarrollar una aplicación de IA generativa que automatice el seguimiento de los niveles de inventario, los datos de ventas y la información de la cadena de suministro y que pueda recomendar puntos de pedido y cantidades óptimas para maximizar la eficiencia. Al tratarse de capacidades totalmente administradas, los agentes de Amazon Bedrock eliminan la carga no diferenciada que supone administrar la integración de sistemas y el aprovisionamiento de infraestructuras, lo que permite a los desarrolladores aprovechar al máximo la IA generativa en toda su organización.

Puede conectar de forma segura los FM a los orígenes de datos de su empresa mediante los agentes de Amazon Bedrock. Con una base de conocimientos, puede utilizar agentes para dar a los modelos fundacionales (FM) de Amazon Bedrock acceso a datos que les ayuden a generar respuestas más relevantes, específicas del contexto y precisas sin tener que volver a entrenar continuamente el FM. En función de las entradas del usuario, los agentes identifican la base de conocimientos adecuada, recuperan la información relevante y la agregan a la solicitud de entrada, lo que proporciona al modelo más información contextual para generar una finalización.

Los agentes de Amazon Bedrock pueden ayudarlo a aumentar la productividad, mejorar la experiencia de servicio al cliente y automatizar los flujos de trabajo (como la tramitación de reclamaciones de seguros).

Gracias a los agentes, los desarrolladores tienen un soporte perfecto para la supervisión, el cifrado, los permisos de usuario, el control de versiones y la administración de invocaciones de API sin necesidad de escribir código personalizado. Los agentes de Amazon Bedrock automatizan la ingeniería de peticiones y la orquestación de las tareas solicitadas por los usuarios. Los desarrolladores pueden utilizar la plantilla de solicitudes creada por el agente como referencia para perfeccionarla aún más y mejorar la experiencia del usuario. Pueden actualizar la entrada del usuario, el plan de orquestación y la respuesta del FM. Con el acceso a la plantilla de solicitudes, los desarrolladores tienen un mejor control sobre la orquestación del agente.

Con los agentes completamente administrados, no tiene que preocuparse por el aprovisionamiento o la administración de la infraestructura y puede llevar las aplicaciones a producción con mayor rapidez.

Todo el contenido que se procesa con Amazon Bedrock se cifra y almacena en reposo en la región de AWS en la que está usando el servicio.

No. Las entradas de los usuarios y las salidas de los modelos no se comparten con ningún proveedor de modelos.

Amazon Bedrock ofrece varias capacidades para cumplir con los requisitos de seguridad y privacidad. Amazon Bedrock cumple con los estándares de conformidad comunes, como el FedRAMP Moderate, el Control de Servicios y Organizaciones (SOC), la Organización Internacional de Normalización (ISO) y la Ley de Portabilidad y Responsabilidad de los Seguros Médicos (HIPAA) y los clientes pueden usar Bedrock de conformidad con el Reglamento General de Protección de Datos (GDPR). Amazon Bedrock se incluye en el ámbito de los informes SOC 1, 2 y 3, lo que permite a los clientes obtener información sobre nuestros controles de seguridad. La conformidad se demuestra a través de exhaustivas auditorías de los controles de AWS que llevan a cabo terceros. Amazon Bedrock es ahora uno de los servicios de AWS que cumple con los requisitos de ISO para las normas ISO 9001, ISO 27001, ISO 27017 e ISO 27018, ISO 27701, ISO 22301 e ISO 20000. Amazon Bedrock cuenta con la certificación CSA Registro de seguridad, confianza y garantía (STAR) de nivel 2, que valida el uso de las prácticas recomendadas y la postura de seguridad de las ofertas en la nube de AWS. Con Amazon Bedrock, su contenido no se utiliza para mejorar los modelos base ni se comparte con ningún proveedor de modelos. Puede utilizar AWS PrivateLink para establecer una conectividad privada desde la VPC de Amazon a Amazon Bedrock, sin tener que exponer sus datos al tráfico de Internet.

No, AWS y los proveedores de modelos de terceros no utilizarán ninguna entrada o salida de Amazon Bedrock para entrenar a Amazon Titan ni a ningún modelo de terceros.

Amazon Bedrock admite los SDK para los servicios de versión ejecutable. Los SDK de iOS y Android, así como Java, JS, Python, CLI, .Net, Ruby, PHP, Go y C++, admiten la entrada de texto y voz.

Todos los SDK admiten streaming.

Consulte la página de precios de Amazon Bedrock para ver información actualizada de precios.

Según su contrato de AWS Support, el soporte de Amazon Bedrock se incluye en los planes de Developer Support, Business Support y Enterprise Support.

Puede usar las métricas de CloudWatch para realizar un seguimiento de los tokens de entrada y salida.

Lanzamos la formación previa continua para los modelos Amazon Titan Text Express y Amazon Titan en Amazon Bedrock. El entrenamiento previo continuo permite la continuación del entrenamiento previo en un modelo base de Amazon Titan con grandes cantidades de datos sin etiquetar. Este tipo de entrenamiento adaptará el modelo de un corpus de dominio general a un corpus de dominio más específico, como el médico, el del derecho, el de las finanzas, entre otros, al tiempo que preservará la mayoría de las capacidades del modelo base de Amazon Titan. 

Es posible que las empresas deseen crear modelos para tareas en un dominio específico. Es posible que los modelos base no estén entrenados en la jerga técnica utilizada en ese dominio específico. Por lo tanto, ajustar de manera directa el modelo base requerirá grandes cantidades de registros de entrenamiento etiquetados y un entrenamiento de larga duración para obtener resultados precisos. Para aliviar esta carga, el cliente puede, en cambio, proporcionar grandes cantidades de datos sin etiquetar para un trabajo de entrenamiento previo continuo. Este trabajo adaptará el modelo base de Amazon Titan al nuevo dominio. Luego, el cliente puede ajustar el nuevo modelo personalizado previamente entrenado para las tareas posteriores utilizando una cantidad significativamente menor de registros de entrenamiento etiquetados y con una duración de entrenamiento más corta. 

El entrenamiento previo continuo y el ajuste preciso de Amazon Bedrock tienen requisitos muy similares. Por este motivo, optamos por crear API unificadas que admitan tanto el entrenamiento previo continuo como el ajuste fino. La unificación de las API reduce la curva de aprendizaje y ayudará a los clientes a utilizar características estándar, como Amazon EventBridge, para hacer el seguimiento de los trabajos de larga duración, la integración con Amazon S3 para obtener datos de entrenamiento, las etiquetas de recursos y el cifrado de modelos. 

El entrenamiento previo continuo ayuda a adaptar fácilmente los modelos de Amazon Titan a los datos específicos del dominio, a la vez que conserva la funcionalidad básica de los modelos Amazon Titan. Para crear un trabajo de entrenamiento previo continuo, diríjase a la consola de Amazon Bedrock y haga clic en «Modelos personalizados». Accederá a la página de modelos personalizados que tiene dos pestañas: modelos y trabajos de entrenamiento. Ambas pestañas ofrecen el menú desplegable «Personalizar modelo» a la derecha. Seleccione «Capacitación previa continua» en el menú desplegable y navegue hasta «Crear trabajo de capacitación previa continua». Proporcionará el modelo de origen, el nombre, el cifrado del modelo, los datos de entrada, los hiperparámetros y los datos de salida. Además, puede brindar etiquetas junto con detalles sobre los roles de AWS Identity and Access Management (IAM) y las políticas de recursos para el trabajo.

Exclusiva de Amazon Bedrock, la familia de modelos Amazon Titan incorpora los 25 años de experiencia de Amazon en la innovación de la IA y el machine learning en toda la empresa. Los modelos fundacionales de Amazon Titan ofrecen a los clientes una gran variedad de opciones de modelos de texto, multimodales y de imágenes de alto rendimiento a través de una API totalmente administrada. Los modelos Amazon Titan son creados por AWS y se los entrena previamente en grandes conjuntos de datos, lo que los convierte en modelos poderosos y de uso general diseñados para respaldar una variedad de casos de uso y, al mismo tiempo, respaldar el uso responsable de la IA. Utilícelos tal como son o personalícelos de forma privada con datos propios. Más información sobre Amazon Titan.

Para obtener más información sobre los datos procesados para desarrollar y entrenar los modelos fundacionales de Amazon Titan, visite la página de entrenamiento y privacidad de los modelos de Amazon Titan.

Los formatos de datos compatibles incluyen archivos .pdf, .txt, .md, .html, .doc y .docx, .csv, .xls y .xlsx. Los archivos deben cargarse en Amazon S3. Indique la ubicación de los datos en Amazon S3 y las bases de conocimiento de Amazon Bedrock se encargarán de todo el flujo de trabajo de ingestión en la base de datos vectorial.

Las bases de conocimiento de Amazon Bedrock ofrecen tres opciones para fragmentar el texto antes de convertirlo en incrustaciones. 

1.  Opción predeterminada: las bases de conocimiento para Amazon Bedrock fragmentan el documento en partes de forma automática. Cada una de ellas contiene 200 tokens, lo que garantiza que una oración no se rompa en el medio. Si un documento contiene menos de 200 tokens, no se fragmenta más. Se mantiene una superposición del 20 % de los tokens entre dos fragmentos consecutivos.

2.  Fragmentación de tamaño fijo: en esta opción, puede especificar la cantidad máxima de tokens por fragmento y el porcentaje de superposición entre fragmentos para las bases de conocimiento de Amazon Bedrock y así el documento se dividirá automáticamente en partes, lo cual garantizará que una oración no se rompa en el medio. 

3.  Cree una opción de una incrustación por documento: Amazon Bedrock crea una incrustación por documento. Esta opción es adecuada si procesó previamente los documentos, los dividió en archivos separados y no desea que Amazon Bedrock los siga fragmentando.

En la actualidad, las bases de conocimiento de Amazon Bedrock utilizan la última versión del modelo Amazon Titan Text Embeddings disponible en Amazon Bedrock. El modelo Titan Text Embeddings V2 admite 8000 tokens y más de 100 idiomas y crea incrustaciones de tamaños flexible de 256, 512 y 1024 dimensiones. 

Las bases de conocimiento de Amazon Bedrock se encargan de todo el flujo de trabajo de ingesta, que consiste en convertir los documentos en incrustaciones (vectoriales) y almacenar las incrustaciones en una base de datos vectorial especializada.  Las bases de conocimiento de Amazon Bedrock admiten bases de datos populares para el almacenamiento vectorial, incluido el motor vectorial para Amazon OpenSearch sin servidor, Pinecone, Redis Enterprise Cloud, Amazon Aurora (próximamente) y MongoDB (próximamente). Si no cuenta con una base de datos vectorial existente, Amazon Bedrock crea un almacén vectorial de OpenSearch sin servidor para usted.

Según el caso de uso, puede utilizar Amazon EventBridge para crear una sincronización periódica o basada en eventos entre Amazon S3 y las bases de conocimiento de Amazon Bedrock.

La evaluación de modelos en Amazon Bedrock permite evaluar, comparar y seleccionar los mejores modelos fundacionales para los casos de uso en simples pasos. Amazon Bedrock ofrece la posibilidad de elegir entre la evaluación automática y la evaluación humana. Puede utilizar la evaluación automática con métricas predefinidas, como la precisión, la solidez y la toxicidad. Para obtener métricas subjetivas o personalizadas, como la amabilidad, el estilo y la alineación con la voz de la marca, puede usar un flujo de trabajo de evaluación humana. Puede utilizar a sus propios empleados o designar a un equipo administrado por AWS como revisores para llevar a cabo la evaluación humana. La evaluación del modelo en Amazon Bedrock ofrece conjuntos de datos seleccionados integrados, aunque puede utilizar propios conjuntos de datos propios.

Puede evaluar una variedad de métricas predefinidas, como la precisión, la solidez y la toxicidad, mediante evaluaciones automáticas. También puede usar los flujos de trabajo de evaluación humana para obtener métricas subjetivas o personalizadas, como la amabilidad, la relevancia, el estilo y la alineación con la voz de la marca.

Las evaluaciones automáticas permiten reducir rápidamente la lista de FM disponibles en función de los criterios estándar (como la precisión, la toxicidad y la solidez). Las evaluaciones basadas en humanos se utilizan a menudo para evaluar los criterios más matizados o subjetivos que requieren el juicio humano y en los que es posible que no existan evaluaciones automáticas (como la voz de la marca, la intención creativa o la amabilidad).

Puede evaluar rápidamente los modelos de Amazon Bedrock para determinar métricas como la precisión, la solidez y la toxicidad al utilizar los conjuntos de datos integrados seleccionados o incorporando sus propios conjuntos de datos de solicitudes. Una vez que los conjuntos de datos de solicitudes se envíen a los modelos de Amazon Bedrock para su inferencia, las respuestas del modelo se califican mediante algoritmos de evaluación para cada dimensión. El motor de backend agrega las puntuaciones a las solicitudes de respuesta individuales en forma de calificaciones resumidas y las presenta mediante informes visuales fáciles de entender.

Amazon Bedrock permite la configuración de los flujos de trabajo de revisión humana en simples pasos y traer a sus empleados o utilizar un equipo de expertos administrado por AWS para evaluar los modelos. Con la interfaz intuitiva de Amazon Bedrock, las personas pueden revisar las respuestas de los modelos y dar su opinión haciendo clic con el pulgar hacia arriba o hacia abajo, calificarlas en una escala del 1 al 5, elegir la mejor de varias respuestas o clasificar las solicitudes. Por ejemplo, se puede dar una demostración a un miembro del equipo de cómo responden dos modelos a la misma solicitud y, a continuación, solicitar que seleccione el modelo que muestre los resultados más precisos, relevantes o estilísticos. Puede especificar los criterios de evaluación al personalizar las instrucciones y los botones para que aparezcan en la evaluación de interfaz de usuario del equipo. También, puede brindar instrucciones detalladas con ejemplos y el objetivo general de la evaluación del modelo, para que los usuarios puedan alinear su trabajo en consecuencia. Este método es útil para evaluar los criterios subjetivos que requieren el juicio humano o una experiencia más matizada en la materia y no pueden juzgarse fácilmente mediante evaluaciones automáticas.

Las barreras de protección de Amazon Bedrock ayudan a implementar medidas de seguridad para las aplicaciones de IA generativas en función de los casos de uso y las políticas de IA responsable. Las barreras de protección ayudan a controlar la interacción entre los usuarios y los modelos fundacionales con el filtrado del contenido no deseado y dañino y próximamente redactará la información de identificación personal (PII), lo que mejorará la seguridad y la privacidad del contenido en las aplicaciones de IA generativa. Puede crear varias barreras de protección con diferentes configuraciones adaptadas a casos de uso específicos. Además, gracias a las barreras de protección se pueden supervisar y analizar continuamente las entradas de los usuarios y las respuestas del modelo fundacional que puedan infringir las políticas definidas por el cliente.

Las barreras de protección ayudan a los clientes definir un conjunto de políticas para ayudar a proteger las aplicaciones de IA generativa. Puede configurar las siguientes políticas en una barrera de protección.

• Temas denegados: ayudan a definir un conjunto de temas indeseables en el contexto de su aplicación. Por ejemplo, se puede diseñar un asistente de banca en línea que se abstenga de brindar asesoramiento sobre inversiones.
• Filtros de contenido: ayudan a configurar umbrales para filtrar el contenido dañino en las categorías de odio, insultos, sexo y violencia.
• Filtros de palabras: ayuda a definir un conjunto de palabras para bloquear en las entradas de los usuarios y en las respuestas generadas por el FM.
• Redacción de PII: ayuda a seleccionar un conjunto de PII que se pueda redactar en las respuestas generadas por el FM. Según el caso de uso, las barreras de protección también puede ayudarlo a bloquear la entrada de un usuario si contiene PII.
• Verificaciones contextuales fundamentadas: ayudan a detectar y filtrar las alucinaciones en caso de que las respuestas no estén fundamentadas (por ejemplo, información imprecisa o nueva) en la información de origen y que sean irrelevantes para la consulta o la instrucción del usuario.

Las barreras de protección se pueden usar con todos los modelos de lenguaje de gran tamaño (LLM) disponibles en Amazon Bedrock. También se puede usar con FM perfeccionados, así como con agentes de Amazon Bedrock.

AWS ofrece una indemnización de propiedad intelectual (IP) ilimitada para lo reclamos de derechos de autor que surjan de la producción generativa de los siguientes servicios de IA generativa de Amazon disponibles de forma general: los modelos Amazon Titan, Amazon CodeWhisperer Professional y otros servicios enumerados en la sección 50.10 de las Condiciones del servicio (los «Servicios de IA generativa indemnizados»). Esto significa que los clientes están protegidos contra los reclamos de terceros que alegan una infracción de derechos de autor por la producción generada por los servicios de IA generativa indemnizados en respuesta a las entradas u otros datos proporcionados por el cliente. Los clientes también deben utilizar los servicios de manera responsable, por ejemplo, no ingresar datos infractores o deshabilitar las características de filtrado de un servicio.

Además, nuestra indemnización de propiedad intelectual estándar por el uso de los servicios protege a los clientes de los reclamos de terceros que alegan una infracción de la propiedad intelectual (incluidos los reclamos de derechos de autor) por parte de los servicios y de los datos utilizados para formarlos.

Existen cinco políticas de barreras de protección, cada una con diferentes protecciones listas para usar

• Filtros de contenido: tiene 6 categorías, estándar (odio, insultos, contenido sexual, violencia, mala conducta [incluida la actividad delictiva]) y de ataque inmediato (fuga e inyección inmediata). Cada categoría puede tener otros umbrales personalizados en términos de agresividad del filtrado: bajo/medio/alto.
• Tema denegado: son temas personalizados que los clientes pueden definir mediante una sencilla descripción en lenguaje natural
• Filtro de información confidencial: vienen con más de 30 PII listas para usar. Se puede personalizar aún más añadiendo información confidencial exclusiva del cliente.
• Filtros de palabras: viene con un filtro estándar de palabras obscenas y se puede personalizar aún más con palabras personalizadas.
• Verificaciones contextuales fundamentadas: pueden ayudar a detectar alucinaciones para las aplicaciones de RAG, de resumen y conversacionales, en las cuales la información original se puede usar como una referencia para validar la respuesta del modelo.

El modelo Foundations tiene protecciones nativas y son las protecciones predeterminadas asociadas a cada modelo. Estas medidas de seguridad nativas NO forman parte de las barreras de protección de Amazon Bedrock. Las barreras de protección de Amazon Bedrock son una capa adicional de protecciones personalizadas que el cliente puede aplicar de forma opcional en función de los requisitos de su aplicación y de las políticas de IA responsable.

Como parte de las barreras de protección de Amazon Bedrock, la detección del número de teléfono y del número de seguro social forma parte de las más de 30 PII disponibles en el mercado. Puede consultar la lista completa aquí.

El uso de las barreras de protección de Amazon Bedrock conlleva un costo aparte. Se puede aplicar tanto a la entrada como a la salida. Consulte los precios al final de la página haciendo clic aquí.

Sí, las API de la barrera de protección de Amazon Bedrock ayudan a los clientes a realizar pruebas automatizadas. El “generador de casos de prueba” puede ser una opción que desee usar antes de desplegar la barrera de protección en la producción. Todavía no existe un generador de casos de prueba nativo. Para la supervisión continua del tráfico de producción, las barreras de protección ayudan a brindar registros detallados de todas las infracciones para cada entrada y salida, de modo que los clientes pueden supervisar de forma granular todas y cada una de las entradas de datos que entran y salen de su aplicación de IA generativa. Estos registros se pueden almacenar en CloudWatch o S3 y se pueden usar para crear paneles personalizados basados en los requisitos de los clientes.