loader image
Datasets escaláveis e a razão porque precisamos de FlashBlade na AI
26 de Novembro, 2020

Uma razão fundamental pela qual a aprendizagem profunda teve um aumento no sucesso é o aprimoramento contínuo dos modelos com tamanhos de conjuntos de dados maiores. Em contraste, algoritmos clássicos de aprendizado de máquina, como regressão logística, param de melhorar a precisão em tamanhos de conjuntos de dados menores.

A partir de 2019, uma regra geral é que um algoritmo de aprendizagem profunda supervisionado geralmente alcançará um desempenho aceitável com cerca de 5.000 exemplos rotulados por categoria e irá corresponder ou exceder o desempenho humano quando treinado com um conjunto de dados contendo pelo menos 10 milhões de exemplos rotulados.

Uma pesquisa recente do Google mostrou as vantagens de aumentar o tamanho do conjunto de dados, mostrando um aumento logarítmico no desempenho em tarefas de visão à medida que os conjuntos de dados aumentam de tamanho para 300 milhões de imagens. Ainda mais, esta pesquisa sugere que modelos de capacidade mais alta requerem conjuntos de dados proporcionalmente maiores.
A separação de computação (DGX-1) e armazenamento (FlashBlade) também permite o dimensionamento independente de cada camada, evitando muitas complexidades de gerenciamento de ambos. Conforme o tamanho do conjunto de dados aumenta ou novos conjuntos de dados são considerados, um sistema de armazenamento escalável deve ser capaz de se expandir facilmente. Da mesma forma, se mais treinamento simultâneo for necessário, GPUs ou servidores DGX-1 adicionais podem ser adicionados sem preocupação com seu armazenamento interno.

Porque precisamos de FlashBlade?

Um hub de dados centralizado em uma arquitetura de aprendizado profundo aumenta a produtividade dos cientistas de dados e torna o dimensionamento e a operação mais simples e ágeis para o arquiteto de dados. O FlashBlade torna especificamente mais fácil construir, operar e expandir um sistema de IA pelas seguintes razões.

Desempenho: com mais de 15 GB / s de largura de banda de leitura aleatória por chassi e até 75 GB / s no total, o FlashBlade pode oferecer suporte aos requisitos simultâneos de um fluxo de trabalho de IA ponta a ponta.
Manuseio de arquivos pequenos: a capacidade de ler aleatoriamente arquivos pequenos (50 KB) a 10 GB / s de um único chassi FlashBlade (50 GB / s com 75 blades) significa que nenhum esforço extra é necessário para agregar pontos de dados individuais para torná-los maiores, arquivos amigáveis.
Escalabilidade: comece com um sistema pequeno e depois adicione um blade para aumentar a capacidade e o desempenho à medida que o conjunto de dados aumenta ou os requisitos de rendimento aumentam.
Suporte a objeto nativo (S3):Administração simples: não há necessidade de ajustar o desempenho para arquivos grandes ou pequenos e não há necessidade de provisionar sistemas de arquivos.
Atualização sem interrupções (NDU) tudo: atualizações de software e expansão de hardware podem acontecer a qualquer momento, mesmo durante o treinamento do modelo de produção.
Facilidade de gerenciamento: Espaço-TI, nossa plataforma de gerenciamento e suporte baseada em nuvem, permite aos usuários monitorar o armazenamento de qualquer dispositivo e fornece suporte preditivo para identificar e corrigir problemas antes que eles se tornem impactantes. Com o Espaço-TI, os usuários podem se concentrar na compreensão dos dados e não na administração do armazenamento.
Projetado para o futuro: projetado especificamente para flash para aproveitar facilmente as novas gerações de tecnologia NAND: densidade, custo e velocidade.

O desempenho de arquivos pequenos da camada de armazenamento é crítico, pois muitos tipos de entradas, incluindo texto, áudio ou imagens, serão armazenados nativamente como arquivos pequenos. Se a camada de armazenamento não lida bem com arquivos pequenos, uma etapa extra será necessária para pré-processar e agrupar as amostras em arquivos maiores. A maioria dos sistemas legados de armazenamento scale-out não são desenvolvidos para desempenho de arquivos pequenos.
O armazenamento construído em cima de discos giratórios, mas que dependem do SSD como uma camada de cache, fica aquém do desempenho necessário. Como o treinamento com lotes de entrada aleatórios resulta em modelos mais precisos, todo o conjunto de dados deve ser acessível com desempenho.

Os caches SSD oferecem alto desempenho apenas para um pequeno subconjunto de dados e são ineficazes para ocultar a latência de unidades giratórias.

Em última análise, o desempenho e a simultaneidade do FlashBlade significam que um cientista de dados pode fazer a transição rápida entre as fases de trabalho sem perder tempo copiando dados. FlashBlade também permitirá a execução de vários experimentos diferentes nos mesmos dados simultaneamente.

Ainda com dúvidas?

Não se preocupe, a Espaço-TI está aqui para si. Preencha o formulário.

‏‏‎ ‎

Partilhar

Artigos Relacionados

Como funciona o fluxo de trabalho de dados na IA

Como funciona o fluxo de trabalho de dados na IA

Um cientista de dados trabalha para melhorar a utilidade do modelo treinado por meio de uma ampla variedade de abordagens: mais dados, melhores dados, treinamento mais inteligente e modelos mais profundos. Em muitos casos, haverá equipas de cientistas de dados...

Como funciona o ciclo de vida dos dados na IA

Como funciona o ciclo de vida dos dados na IA

Os avanços nas redes profundas deram início a uma nova onda de algoritmos e ferramentas para os cientistas de dados acessarem os seus dados com inteligência artificial (IA). Com algoritmos aprimorados, conjuntos de dados maiores e estruturas como TensorFlow, os...

A mudança no processo de recolha de dados nos últimos 10 anos

A mudança no processo de recolha de dados nos últimos 10 anos

Desnecessário será dizer que houve muita reflexão na nossa primeira década, indo desde a reinvenção do array de armazenamento até à oferta de armazenamento como serviço e à experiência de armazenamento mais parecida com a nuvem. Nesse tempo, a transformação digital...