Questão Enrolar para baixar grandes arquivos CSV


Estou usando o curl através do Cygwin no Windows 7 para baixar o conteúdo do Apache Solr no formato CSV. Este é o meu comando que está sendo executado em um loop for

curl -o ret-key-data-$i.csv $URL

Como o conteúdo é muito grande, estou baixando 100 mil linhas por vez. O tamanho do arquivo é de aprox. 4 mb cada. No entanto, se eu aumentar a contagem de linhas para 1 milhão, o curl não está gravando nenhum conteúdo no disco.

Que outra opção devo definir para garantir ondulação pode lidar com conteúdo maior?

EDITAR: O comando não dá erro. Não trava. Aguarda por um período de tempo e termina com êxito, mas gera um arquivo zero kb. Parece que a rede está expirando.


1


origem


Por favor, seja mais específico sobre o que acontece. Como é que "não está escrevendo nenhum conteúdo"? O comando espera para sempre e não há arquivo de saída ou vazio? Você vê alguma saída de mensagens para o terminal? - slhck
o servidor da Web pode expirar e cortar a conexão? - rob
Eu uso cURL diariamente para baixar arquivos nas centenas de GB e não tive um problema com limites para gravar no arquivo. Você pode postar os resultados usando o interruptor detalhado -v? Seria útil ver os detalhes da solicitação e a resposta do servidor. - MikeBoss


Respostas: