AWS EFS vs EBS vs S3 (diferenças e quando usar?)
o meu entendimento de cada:
- o S3 é uma instalação de armazenamento acessível onde
- o EBS é um dispositivo que pode montar no EC2
- EFS é um sistema de ficheiros que pode montar no EC2
12 answers
Uma palavra resposta: dinheiro: D
1 GB para armazenar em US-East-1: (Atualizado em 2016.dezembro.20)
- Glaciar: $ 0.004 / mês (Nota: grande redução do preço em 2016) {[[9]}
- S3: $ 0, 023 / Mês S3-IA (anunciado em 2015.09): $ 0, 0125 / mês (+$0, 01/gig retrieval charge)
- EBS: $ 0,045-0,1 / mês (depende da velocidade - SSD ou não) + custos IOPS
- EFS: $ 0.3 / Mês
Outras opções de armazenamento, que podem ser utilizadas para fins temporários armazenar dados durante / Antes de o processar:
- SNS
- SQS
- corrente cinética
- DynamoDB, SimpleDB
Existem muito mais diferenças entre estes serviços:
EFS é:
- geralmente disponível (fora da antevisão), mas pode ainda não estar disponível na sua região
- sistema de Ficheiros de rede (o que significa que pode ter uma latência maior, mas pode ser partilhado por várias instâncias; mesmo entre regiões)
- é caro em comparação com EBS (~10x mais), mas dá características extras. É um serviço altamente disponível. É um serviço gerido.
- pode anexar o armazenamento de EFS a uma instância EC2
- pode ser acedido por múltiplas instâncias EC2 simultaneamente
- Desde 2016.dezembro.20 é possível anexar o seu armazenamento de EFS directamente a servidores no local através de ligação directa. ()
EBS is:
- um bloco de armazenamento (então você precisa formatá-lo). Isto significa que você é capaz de escolher o tipo de Sistema de arquivos que você deseja.
- Como é um armazenamento em bloco, você pode usar Raid 1 (ou 0 ou 10) com vários armazenamentos em bloco É muito rápido.
- é relativamente barato
- com os novos anúncios da Amazon, você pode armazenar até 16TB dados por armazenamento em SSD-S.
- Você pode fotografar um EBS (enquanto ele ainda está em execução) por razões de backup {[[9]}
- mas só existe numa determinada região. Embora você possa migrá-lo para outra região, você não pode simplesmente acessá-lo através de regiões (apenas se você compartilhá-lo através do EC2; mas isso significa que você tem um servidor de arquivos)
- precisas de uma instância EC2 para a anexar a
- novo Desenho (2017.Fevereiro.15): você pode agora aumentar o tamanho do volume, ajustar o desempenho, ou alterar o tipo de volume enquanto o volume está em uso. Você pode continuar a usar a sua aplicação enquanto a mudança faz efeito.
S3 is:
- um armazém de objectos (não um sistema de ficheiros).
- Você pode armazenar ficheiros e" pastas", mas não pode ter bloqueios, permissões, etc., como faria com um sistema de ficheiros tradicional
- isto significa que, por omissão, não pode montar o S3 e usá-lo como o seu servidor web Mas é perfeito para armazenar as suas imagens e vídeos para o seu site.
- óptimo para arquivo a curto prazo (por exemplo, algumas semanas). Também é bom para arquivamento a longo prazo, mas o glaciar é mais eficiente em termos de custos.
- óptimo para armazenar Toros
- pode aceder aos dados de todas as regiões (podem ser aplicados custos adicionais)
- Altamente Disponível, Redundante. Basicamente a perda de dados não é possível (99,999999999% de durabilidade, 99,9 uptime SLA)
- Muito Mais barato do que EBS.
- Você pode servir o conteúdo diretamente para a internet, você pode até ter um site completo (estático) funcionando diretamente a partir de S3, sem uma instância EC2
Glacier is:
- armazenamento de arquivos a longo prazo
- extremamente barato para armazenar
- potencialmente muito caro para recuperar
- demora até 4 horas para "ler de volta" os seus dados (por isso, só guarde os itens que sabe que não precisa de recuperar durante muito tempo) {[[9]}
(Edit 2020 Maio, EBS suporta montagem para vários EC2 ao mesmo tempo, também, Veja: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volumes-multi.html)
A fixar a comparação:
- o S3 é uma instalação de armazenamento acessível onde
- o EBS é um dispositivo que pode montar no EC2
- EFS é um sistema de ficheiros que pode montar em várias instâncias EC2 ao mesmo tempo
Porque usarias S3?
- não é necessário que os ficheiros sejam 'locais' para uma ou mais instâncias EC2.
- (efectivamente) capacidade infinita
- serviço Web incorporado, autenticação
Para adicionar à comparação: (burst)o desempenho de leitura/escrita da EFS depende dos créditos obtidos. A coleta de créditos depende da quantidade de dados que você armazena sobre ele. Mais data - > mais créditos. Isso significa que quando você só precisa de alguns GB de armazenamento que é lido ou escrito muitas vezes você vai ficar sem créditos muito em breve e thesugphput cai para cerca de 50kb/S. A única maneira de corrigir isso (no meu caso) era adicionar grandes arquivos fictícios para aumentar a taxa de créditos são ganhos. No entanto, mais armazenamento - > mais custos.
Além do preço e das características, o rendimento também varia muito (como mencionado pelo utilizador 1677120):
EBS
Retirado de documentos da EBS:
| EBS volume | Throughput | Throughput |
| type | MiB/s | dependent on.. |
|------------|------------|-------------------------------|
| gp2 (SSD) | 128-160 | volume size |
| io1 (SSD) | 0.25-500 | IOPS (256Kib/s per IOPS) |
| st1 (HDD) | 20-500 | volume size (40Mib/s per TiB) |
| sc1 (HDD) | 6-250 | volume size (12Mib/s per TiB) |
Note - se que, para io1, st1 e sc1, pode aumentar o tráfego para pelo menos 125Mib/s, mas para 500Mib/S, dependendo do tamanho do volume.
Pode aumentar ainda mais o rendimento, por exemplo lançando volumes de EBS como RAID0
EFS
Retirado de docs EFS
| Filesystem | Base | Burst |
| Size | Throughput | Throughput |
| GiB | MiB/s | MiB/s |
|------------|------------|------------|
| 10 | 0.5 | 100 |
| 256 | 12.5 | 100 |
| 512 | 25.0 | 100 |
| 1024 | 50.0 | 100 |
| 1536 | 75.0 | 150 |
| 2048 | 100.0 | 200 |
| 3072 | 150.0 | 300 |
| 4096 | 200.0 | 400 |
A base o rendimento é garantido, o rendimento do estouro usa os créditos que recolheu enquanto está abaixo do rendimento de base (por isso só terá isto por um tempo limitado, Veja aqui Para mais detalhes.
S3
O S3 é uma coisa completamente diferente, por isso não pode ser comparado com EBS e EFS. Além disso: não há métricas de débito publicadas para S3. Você pode melhorar o rendimento baixando em paralelo (eu em algum lugar li Os Estados AWS que você teria basicamente um débito ilimitado desta forma), ou adicionar a CloudFront à mistura
O EBS é um armazenamento de nível de bloco simples que pode ser ligado a uma instância do mesmo AZ, e pode sobreviver independentemente da vida de instância.
No entanto, a diferença interessante é entre EFS e S3, e para identificar casos de uso adequado para ele.
Custo: a EFS é aproximadamente 10 vezes mais cara do que a S3.
Usecases:
- Sempre que temos milhares de instâncias que precisam de processar simultaneamente EFS é recomendado sobre S3.
- também nota que o S3 é um armazenamento baseado em objetos enquanto o EFS é baseado em arquivos, isso implica que sempre que temos a exigência de que os arquivos sejam atualizados continuamente (atualizados) devemos usar o EFS.
- o S3 é eventualmente consistente, enquanto o EFS é forte e consistente. No caso de não poder dar-se ao luxo de ter consistência, deve utilizar EFS
Em palavras simples
A Amazon EBS fornece armazenamento ao nível do bloco .
A Amazon EFS fornece armazenamento de ficheiros partilhados anexados à rede.
A Amazon S3 fornece armazenamento de objectos .
O Amazon EBS fornece armazenamento de nível de bloco-é usado para criar um sistema de arquivos nele e armazenar arquivos. Amazon EFS - seu sistema de armazenamento compartilhado semelhante ao NAS / SAN. Você precisa montá-lo no servidor unix e usá-lo. Amazon S3-é um armazenamento baseado em objetos onde cada item é armazenado com um URL http.
Uma das diferenças é - EBS pode ser anexado a uma instância de cada vez e EFS pode ser anexado a várias instâncias que por isso armazenamento compartilhado. O armazenamento de objectos simples S2 não pode ser montado.
EFS & S3 têm o mesmo propósito, você pode armazenar qualquer tipo de objeto ou arquivos.
Mas para mim a única diferença é que o EFS está a permitir-lhe ter um sistema de ficheiros tradicional na nuvem VM(EC2) com mais flexibilidade, como pode anexar a várias instâncias.
O S3, por outro lado, é um servidor flexível e elástico separado para os seus objectos. Ele pode ser usado para seus arquivos estáticos, imagens, vídeos ou até mesmo hospedagem aplicativo estático (js).
O EBS é obviamente para armazenamento em bloco onde pode instalar o SO ou qualquer coisa relacionada com o seu SO.
AWS EFS, EBS e S3. Do ponto de vista funcional , Aqui está a diferença
EFS:
-
Sistema de Ficheiros de rede: pode ser partilhado por vários servidores; mesmo entre regiões. O mesmo não está disponível para o processo EBS. Isto pode ser usado esp para armazenar os programas ETL sem o risco de segurança
- Serviço altamente disponível e escalável.
-
Executar qualquer aplicação que tenha uma carga de trabalho elevada, requer escalável armazenamento, e deve produzir saída rapidamente.
- Pode proporcionar um rendimento mais elevado. Corresponde ao crescimento repentino do sistema de arquivos, mesmo para cargas de trabalho até 500.000 IOPS ou 10 GB por segundo.
- Suporte de Aplicação Lift-and-shift: a EFS é elástica, Disponível e escalável e permite-lhe mover as aplicações empresariais de forma fácil e rápida, sem necessidade de as remodelar.
-
Analytics for big data: it has the ability to run big data applications, que exigem um débito significativo de nós, acesso a ficheiros de baixa latência e operações de leitura-pós-escrita.
EBS:
- para as bases de dados NoSQL, o EBS oferece às bases de dados NoSQL o desempenho de baixa latência e a fiabilidade de que necessitam para o desempenho de pico.
S3:
Desempenho robusto, escalabilidade e Disponibilidade: A Amazon S3 escala recursos de armazenamento livres de ciclos de aquisição de recursos ou investimentos iniciais.
2) Data lake e Big data analytics: Create a data lake to hold raw data in its native format, then using machine learning tools, analytics to draw insights.
- Backup e restauração: soluções seguras e robustas de backup e restauração
- arquivo de Dados
- a S3 é uma loja de objectos boa a armazenar vastos números de cópias de segurança ou ficheiros de utilizador. Ao contrário do EBS ou do EFS, o S3 não se limita ao EC2. Arquivos armazenados dentro de um balde S3 podem ser acessados programaticamente ou diretamente a partir de serviços como AWS Frente nebulosa. Muitos sites o usam para manter seus arquivos de Conteúdo e mídia, que podem ser servidos de forma eficiente através da AWS CloudFront.
Esta pergunta é muito respondidas por outras pessoas, eu só quero fazer um ponto de sempre decidir em qualquer serviço da AWS é que o entendimento do caso de uso para cada um, e também ver a solução que o serviço irá oferecer, em termos de Bem Arquitetado Quadro, você precisa de Alta Disponibilidade, Falha de Torelant, otimização de Custo. Isto ajudará a decidir sobre qualquer tipo de serviço a ser usado.
A principal diferença entre EBS e EFS é que o EBS só é acessível a partir de uma única instância EC2 na sua região AWS em particular, enquanto o EFS lhe permite montar o sistema de ficheiros em várias regiões e instâncias.
Finalmente, a Amazon S3 é uma loja de objectos boa a armazenar vastos números de cópias de segurança ou ficheiros de utilizador.