En esta edición de la newsletter, exploraremos herramientas y soluciones open-source de la comunidad. Desde nuevas funcionalidades en AWS como bedrock-litellm para integrar OpenAI con Amazon Bedrock, hasta el uso de AWS Nitro Enclaves para proteger datos sensibles. Además, abordamos soluciones de automatización en clústeres EKS y simulación robótica en la nube. Con re:Invent a la vuelta de la esquina (Diciembre 2-6, Las Vegas), destacamos algunas sesiones de open-source que no te puedes perder y cerramos con una serie de artículos que cubren desde el desarrollo de aplicaciones en Streamlit hasta la optimización de cargas de trabajo en Amazon EKS.
Todo esto gracias a la comunidad, cuya colaboración hace posible esta newsletter.
Comencemos!
Tools
bedrock-litellm
bedrock-litellm es un proyecto que facilita la compatibilidad de OpenAI con Amazon Bedrock. OpenAI suele ser una de las opciones predeterminadas para integrar herramientas y bibliotecas de IA generativa, y con bedrock-litellm, ahora tienes la posibilidad de redirigir estas solicitudes para que utilicen modelos fundacionales gestionados por Amazon Bedrock. El proyecto utiliza litellm para llevar a cabo esta integración y se despliega en un clúster de Kubernetes.
apeman
apeman es una nueva herramienta que ayuda a los equipos de seguridad a mapear y visualizar rutas de ataque de AWS Identity. El archivo README proporciona instrucciones detalladas para comenzar, pero también es útil el artículo "Project Apeman: A Comprehensive Guide To Graph-Based AWS Security Analysis".
aws-mine
aws-mine es un proyecto de Steven Smiley dirigido a la seguridad. Ofrece un sistema de honey tokens para AWS que te permite crear claves de acceso que se pueden dejar en distintos lugares para atraer a posibles atacantes. Si se utilizan, recibirás una notificación en unos 4 minutos, lo que te permitirá investigar el activo comprometido.
bedrock-embed-web
bedrock-embed-web es un proyecto creado por Olivier Leplus que facilita la integración de modelos fundacionales de Amazon Bedrock en una interfaz de chat dentro de tus aplicaciones web.
validate-aws-policies
validate-aws-policies es una herramienta en línea de Python desarrollada por Alejandro Velez para validar políticas de AWS utilizando boto3 y la API de Access Analyzer. En su blog post "Continuous Delivery applied to Authorization with IAM Identity Center and AWS IAM Access Analyzer – Part 1", Alejandro muestra cómo integrar esta herramienta en tu pipeline de CI/CD, incluyendo un video demostrativo.
Demos, Soluciones y Workshops
deploy-langfuse-on-ecs-with-fargate
Este repositorio contiene el código en Python de AWS CDK para desplegar la aplicación Langfuse utilizando Amazon Elastic Container Registry (ECR) y Amazon Elastic Container Service (ECS). Si no estás familiarizado con Langfuse, se trata de una plataforma LLM (Large Language Models) de código abierto que ayuda a los equipos a depurar, analizar e iterar de forma colaborativa sus aplicaciones basadas en modelos de lenguaje. Es ideal para aquellos que buscan mejorar la gestión de sus implementaciones de IA.
sample-code-for-a-secure-vault-using-aws-nitro-enclaves
Este repositorio contiene una solución de almacenamiento segura usando AWS Nitro Enclaves, una funcionalidad disponible exclusivamente a través del hipervisor AWS Nitro System en instancias Amazon EC2 compatibles. Estos entornos son críticos cuando necesitas asegurar datos sensibles (como Información de Salud Protegida (PHI) o Información Personal Identificable (PII)) y garantizar que solo puedan ser descifrados a través de canales aprobados. Si quieres conocer más sobre Nitro Enclaves, te recomendamos revisar la documentación de este proyecto o ver los blogs de Guillermo Ruiz, donde habla de esto.
Y hablando de Guillermo, sigue indagando en la infraestructura utilizada para entrenar modelos de IA. ¿Es segura la infraestructura? ¿Pueden robar mi modelo una vez entrenado? ¿cómo puedo entrenar modelos sobre miles de nodos? Muchas de estas preguntas quedan resueltas en GenAI Series: Protegiendo Datos con AWS Nitro Enclaves y AWS KMS y GenAI Series: SageMaker HyperPod.
Elizabeth Fuentes, Developer Advocate en AWS, nos trae una serie de artículos donde nos enseña a construir un motor de búsqueda multimodal usando diferentes tecnologías. La serie se compone de los siguiente artículos:
-De Notebook a Serverless: Creando un Motor de Búsqueda Multimodal con Amazon Bedrock y PostgreSQL
-Desplegando una Aplicación de Embeddings Serverless con AWS CDK, Lambda y Amazon Aurora PostgreSQL
No nos alejamos de CDK, ya que Pahud Hsieh ha adoptado la IA generativa y te muestra cómo usar herramientas como Amazon Q Developer (no es de código abierto, lamentablemente) para crear tus aplicaciones con AWS CDK en Writing CDK like a Pro using Amazon Q Customizations o cómo construir métodos L2 de CDK en Generate CDK Construct Methods Using Amazon Q Customizations. Si te interesa la automatización de infraestructura y CDK, esta lectura es imprescindible.
Cambiando de tercio, Michele Ricciardi comparte cómo habilitar el versionado y gestión de prompts usando LangChain y Amazon Bedrock en su post: Integrate Amazon Bedrock Prompt Management in LangChain applications. Perfecto para quienes buscan gestionar sus cadenas de prompts en aplicaciones más complejas.
Simulación de robots en la nube con EC2 y O3DE
No podía dejar pasar esta oportunidad para hablar de robótica e IoT. El último artículo de Mike, Simulando Robots en la Nube con EC2 y O3DE, te muestra cómo acelerar el desarrollo robótico utilizando simuladores. En este caso, utiliza Open 3D Engine (O3DE), un proyecto de código abierto que te puede ayudar a mejorar tus flujos de trabajo en robótica. ¡Échale un vistazo!
Cloud Native
Alex Rodríguez, AWS Community Builder, nos viene a hablar de ArgoCD, una herramienta declarativa de Gitops hecha para gestionar aplicaciones en Kubernetes de forma continua. La idea es que ArgoCD se encargue de mantener sincronizado el estado real de las aplicaciones y recursos en el clúster con lo que existe en GIT. Podéis leer más en su artículo Gestiona tus aplicaciones en EKS con ArgoCD.
Y no abandonamos a los hermanos Rodriguez (aka as AWSTwins), ya que Rubén nos trae un artículo sobre la gestión de escalado de Kubernetes utilizando Karpenter, una herramienta open source que nos permite escalar según demanda y además nos selecciona las instancias más óptimas de forma automática. Blog
¿Te interesa la monitorización de clústeres EKS? El artículo Automate Monitoring for your Amazon EKS Cluster using CloudWatch Container Insights presenta una solución automatizada basada en eventos para monitorizar tu clúster EKS utilizando métricas de CloudWatch Container Insights, además de otros servicios AWS. ¡Un tutorial práctico bastante completo!
Desarrollando Procesadores Personalizados usando OpenTelemetry en .NET 8 explora cómo desarrollar un procesador personalizado utilizando OpenTelemetry en el ecosistema de .NET. Es un tutorial práctico y detallado que guía a los desarrolladores en la implementación de estos procesadores.
Gestión de secretos en Amazon EKS para instituciones reguladas proporciona un resumen de tres opciones para gestionar secretos en Amazon EKS: External Secrets Operator (ESO), Sealed Secrets y AWS Secrets and Configuration Provider (ASCP), destacando las principales consideraciones para los clientes del sector financiero al elegir entre estas alternativas.
Cómo ejecutar WebAssembly en Amazon EKS es una guía paso a paso que explica cómo AWS permite a los usuarios aprovechar todo el potencial de Wasm (WebAssembly) mediante una integración fluida con EKS. Es un tutorial práctico ideal para quienes buscan implementar Wasm en sus aplicaciones.
Videos de la Semana
Introducción a OpenTofu en AWS: Chris Hill te muestra cómo aprovisionar infraestructura, gestionar el estado de manera efectiva e implementar buenas prácticas de automatización. También cubre cómo importar recursos existentes a OpenTofu para optimizar la gestión de la nube.
Introducción a Implementaciones en AWS con OpenTofu, Scalr y GitHub: David Hundley realiza una sesión de programación en vivo donde usa OpenSearch como un almacén vectorial para una solución de RAG, utilizando OpenTofu como capa de infraestructura como código para simplificar el despliegue.
El Mundo de Rust
Darko Mesaros se planteó recientemente la necesidad de enviar datos vía Amazon Kinesis. Pero en lugar de usar la CLI, decidió que mejor era hacerlo en Rust.
Sesiones Open Source en re:Invent
Para ir abriendo apetito, os dejamos algunas de las sesiones open-source que encontraréis en re:Invent.
STG325 | Herramientas Open Source para la Innovación de Datos en Amazon S3
Descubre cómo integrar herramientas open source como S3A, S3FileIO y Mountpoint para mejorar el procesamiento de datos y el aprendizaje automático en Amazon S3.
KUB403 | Escalado de Inferencia de Modelos LLM en Amazon EKS
Aprende a construir clústeres escalables y acelerados por GPU en Amazon EKS para inferencias de modelos de lenguaje (LLM), utilizando frameworks de última generación, AMIs optimizadas y NVIDIA CUDA.
OPN309-R | Prácticas Responsables para la IA Generativa con Open Source
Explora cómo utilizar Kubernetes y herramientas de código abierto para implementar IA generativa de forma ética y sostenible. Esta sesión cubre consideraciones clave para entrenar y desplegar modelos de IA respetando los principios de escalabilidad y resiliencia de Kubernetes.
XNT404 | Migración a PostgreSQL con .NET en AWS
Descubre cómo migrar aplicaciones .NET de SQL Server a PostgreSQL con Amazon RDS y AWS DMS. Aprende a refactorizar código y a superar los retos que se presentan en este tipo de migraciones.
OPN407 | Captura de Paquetes de Red con Mountpoint para Amazon S3 y Karpenter
Aprende cómo capturar paquetes de red en tiempo real con Mountpoint para Amazon S3 y escalar dinámicamente la infraestructura con Karpenter. Ideal para análisis forense y respuesta a incidentes de seguridad.
OPN308-R | Optimización de Cargas de Trabajo Cuantitativas con Open Source
Conoce cómo usar herramientas open source como Ray, Apache Iceberg y Spark para potenciar cargas de trabajo cuantitativas en AWS, optimizando costos con instancias Spot y servicios gestionados.
OPN201 | OpenSearch: De Fork a Fundación Linux
Conoce la evolución de OpenSearch desde su creación como un fork de Elasticsearch hasta su incorporación en la Fundación Linux, detallando su crecimiento y los planes futuros del proyecto.
AIM207-S | Búsqueda Vectorial Segura con Open Source (patrocinado por Aiven)
Descubre cómo las técnicas de búsqueda híbrida pueden mejorar la precisión de búsqueda en aplicaciones de IA, combinando técnicas avanzadas de texto y campo con opciones open source.
OPN310 | Despliegue de Aplicaciones Streamlit en AWS
Explora cómo crear y desplegar aplicaciones interactivas de análisis de datos usando Streamlit y AWS, abordando temas como autenticación y uso de AWS CDK para automatizar el ciclo de vida.
SVS402 | Carga de Imágenes de Contenedores con Seekable OCI (SOCI)
Implementa SOCI para reducir el tiempo de carga de contenedores mediante la carga diferida de imágenes en Amazon ECS y AWS Fargate, optimizando así los tiempos de despliegue y la utilización de recursos.
Para ver más charlas open-source, utilizad el siguiente enlace: https://registration.awsevents.com/flow/awsevents/reinvent24/public/page/catalog?search=open-source
Y hasta aquí nuestra edición de este mes. Nos vemos el mes que viene con una nueva edición. Hasta entonces, Happy coding!
Top comments (0)