Divulgação: Versões delta no Mozilla Common Voice!
A partir de outubro de 2022, disponibilizaremos downloads de versões delta, além dos downloads de versões completas de conjuntos de dados.
O que é uma versão delta? Vamos imaginar que você baixou o Common Voice 10 em catalão, um download total de 49 GB. Depois o Common Voice 11 foi lançado e você quer obter todos esses novos dados incríveis. Uma versão delta permite que você baixe somente os novos dados, que é a diferença entre a versão Common Voice 10 e a versão 11.
Por que estão fazendo isso? Recebemos muitos comentários da comunidade de que downloads de tamanho bem grande era um problema para muitos usuários e desenvolvedores que querem usar o conjunto de dados. Downloads grandes demais podem levar muito tempo em conexões lentas e baixar uma grande quantidade de dados também pode ser difícil em conexões instáveis. Para muitos de nossa comunidade, precisar baixar clipes que já têm da versão anterior era um desperdício caro.
Vocês oferecerão deltas entre todas as versões? Ofereceremos versões delta entre a versão mais recente e a anterior de forma contínua. Assim, em algum momento após a próxima versão (Common Voice 11 em outubro), disponibilizaremos o delta entre 10 e 11. Na versão seguinte (Common Voice 12) disponibilizaremos o delta entre 11 e 12 e assim por diante.
Quando as versões delta estarão disponíveis? A primeira versão delta será lançada em meados do final de outubro. Manteremos você informado!
Como são os dados? Exatamente no mesmo formato da versão completa, mas os arquivos TSV e o diretório de clipes contêm apenas os novos dados, não todos.
Serão divididas da mesma forma? As versões delta não serão divididas. Dependendo do seu caso de uso, você pode optar por adicionar todos os dados ao seu conjunto de treinamento ou pode mesclar com a versão anterior e usar o CorporaCreator para criar uma versão idêntica à versão completa do Common Voice 11.
Ainda podemos acessar versões mais antigas do conjunto de dados?
Sim, mas a maneira de acessar mudará. Você poderá baixar o conjunto de dados mais recente, o anterior e o delta de clipes entre os dois. Não daremos mais suporte ao download de versões mais antigas do MCV diretamente na plataforma, mas você sempre pode nos enviar um email pedindo para acessar uma versão mais antiga do conjunto de dados. Isso faz parte do nosso compromisso de considerar o impacto ambiental de nossa plataforma.
Sinta-se à vontade para fazer qualquer pergunta que possa ter sobre versões delta no Discourse ou no Matrix. A equipe se empenhará em responder!