Я оставил его на ночь 'сбор информации' и по утрам до сих пор он собирал информацию. Затем я попытался добавить как вы сказали, но ничего не происходит. Она полностью сломана и я думаю, что только в рабочей папке нормально один папке в Ubuntu, как и в Dropbox. @Naftuli: Вы, кажется, пропустили "МВ ... резервное копирование/" шаг. @TobiasKildetoft: я полностью согласен в описанном случае. Заметим, однако, что проблема действительно могла возникнуть легально, например, когда делаешь "мета-исследований" (исследование процессов и состояние исследований). @NateEldredge если это одноразовое мероприятие, то загрузка и индексация может занять больше времени, чем запрос. С помощью базы данных будет предпочтительнее, если вам пришлось сделать много запросов (а не только 10000).

Нет, wget-это неправильный инструмент для такого рода вещей. Однако, если вы хотите что-то вроде Чарльза, который дает вам возможности написания скриптов для и настройки инструментов GNU, вы могли бы хотеть рассмотреть, используя кальмаров. Это одна из наиболее популярных прокси для Linux, и вы можете настроить его довольно сильно.