Amazon introdujo recientemente la replicación por lotes para S3 , una opción para replicar objetos existentes y sincronizar cubos. La nueva función está diseñada para casos de uso como la configuración de recuperación ante desastres, reducir la latencia o transferir la propiedad de los datos existentes.
Si bien S3 Replication ha estado disponible desde 2015 , hasta ahora los clientes tenían que desarrollar sus propias soluciones para copiar objetos que se crearon antes de que se configurara la regla de replicación. Además, la copia manual de objetos entre depósitos no conservaba los metadatos, como el ID de la versión o la hora de creación del objeto.
/filters:no_upscale()/news/2022/02/aws-s3-batch-replication/en/resources/105-jobsettings-1024x433-1644912658900.png)
Fuente: https://aws.amazon.com/blogs/aws/new-replicate-existing-objects-with-amazon-s3-batch-replication/
Marcia Villalba , promotora sénior de desarrolladores en AWS, destaca los principales casos de uso de la última funcionalidad:
Es posible que los clientes deseen copiar sus datos en una nueva región de AWS para una configuración de recuperación ante desastres. (…) Otra razón para copiar datos existentes proviene de organizaciones que se están expandiendo por todo el mundo. (…) Otro caso de uso común que vemos es el de los clientes que pasan por fusiones y adquisiciones en las que necesitan transferir la propiedad de los datos existentes de una cuenta de AWS a otra.
La replicación por lotes de S3 se puede usar para replicar objetos existentes, replicar objetos que se agregaron a un depósito antes de que se configurara cualquier regla de replicación, replicar objetos que fallaron anteriormente debido a permisos insuficientes, replicar objetos que ya se replicaron en un depósito de destino diferente o replicar réplicas de objetos que se crearon a partir de una regla de replicación.
Paul Meighan, gerente senior de AWS, resume en un tweet :
La replicación por lotes de Amazon S3 le brinda una manera fácil de rellenar un depósito recién creado con objetos existentes, volver a intentar objetos que antes no podían replicarse, migrar datos entre cuentas o agregar nuevos depósitos a su lago de datos.
El artículo ” Replicación de objetos existentes entre depósitos S3 ” se actualizó para reflejar la función más reciente, con Akhil Aendapally , arquitecto sénior de soluciones en AWS, y Steven Dolan , líder de soporte empresarial en AWS, recomendando:
Para monitorear el estado de replicación de sus objetos existentes, configure Amazon S3 Inventory en el depósito de origen al menos 48 horas antes de habilitar la replicación.
Coney Quinn, economista de la nube de The Duckbill Group, advierte en su boletín:
Este es un candidato muy fuerte para lo que podría ser “la llamada a la API más costosa de todo AWS”. ¡Ten cuidado con éste!
Además de los costos de almacenamiento de los datos replicados en el depósito de destino, a los clientes se les cobran tarifas de replicación, tarifas de transferencia de datos, operaciones por lotes, una tarifa de generación de manifiesto opcional y costos del Servicio de administración de claves (KMS). La replicación por lotes de S3 está disponible en todas las regiones de AWS.