Почему файлы с сайта archive.org скачиваются очень медленно?
-
- Advanced Member
- Сообщения: 588
- Зарегистрирован: 20.06.2021,13:35
- Откуда: Инской (Кемеровская область)
Почему файлы с сайта archive.org скачиваются очень медленно?
Почему в Яндекс.Браузере и браузере Mozilla Firefox скорость скачивания файлов с сайта https://archive.org/details/software не поднимается выше 50 КБ/сек, несмотря на быстрый Интернет? Высокая скорость скачивания достигается только при использовании Download Master вместо встроенных браузерных качалок.
Почему файлы с сайта archive.org скачиваются очень медленно?
EgorKuzevanov, потому, что от браузера это не зависит вообще.
Сам сервер WebArchive отдаёт файлы с низкой скоростью на один поток. Браузер качает в один поток.
А Download Master, Reget Deluxe и прочие качалки качают в несколько потоков (одновременных подключений), скажем, в 20-40, поэтому, естественно, они качают быстрее.
Сам сервер WebArchive отдаёт файлы с низкой скоростью на один поток. Браузер качает в один поток.
А Download Master, Reget Deluxe и прочие качалки качают в несколько потоков (одновременных подключений), скажем, в 20-40, поэтому, естественно, они качают быстрее.
-
- Advanced Member
- Сообщения: 588
- Зарегистрирован: 20.06.2021,13:35
- Откуда: Инской (Кемеровская область)
Почему файлы с сайта archive.org скачиваются очень медленно?
esasoft, я, конечно, ничего не храню на сайте archive.org, но многие старые версии программ и ISO-образы пиратских дисков со старыми программами и играми лежат исключительно в Архиве Интернета.
Почему файлы с сайта archive.org скачиваются очень медленно?
А5 вы не в теме, это прям уже не смешно! Зависит, конечно, а точнее не от браузера, а от строки юзер-агента, что этот браузер отдаёт хосту. Буквально недавно с таким столкнулся.
Последний раз редактировалось geg 13.06.2022,15:01, всего редактировалось 1 раз.
- visualer
- Advanced Member
- Сообщения: 1910
- Зарегистрирован: 26.09.2019,17:50
- Откуда: ..
- Контактная информация:
Почему файлы с сайта archive.org скачиваются очень медленно?
Прошлый оратор сказал что-то понятное, ничего удивительного. Хосты, юзер-агенты... *шото на техническом*
Предположу, что archive.org как некоммерческий проект специально режет скорости, чтобы их сервера, набитые терабайтами информации, просто не захлебнулись. Я обычно ставлю на скачивание несколько ISO-образов и забываю об этом на пару часов.
Предположу, что archive.org как некоммерческий проект специально режет скорости, чтобы их сервера, набитые терабайтами информации, просто не захлебнулись. Я обычно ставлю на скачивание несколько ISO-образов и забываю об этом на пару часов.
Или чего? В других браузерах лучше дело обстоит?EgorKuzevanov писал(а): ↑13.06.2022,10:35 Почему в Яндекс.Браузере и браузере Mozilla Firefox скорость скачивания файлов
Ретровизор - мой канал в Telegram
Взгляд назад. Персональная техно-археология. Ретро-компы. Downgrade
t.me/retrovis Подпишись
Взгляд назад. Персональная техно-археология. Ретро-компы. Downgrade
t.me/retrovis Подпишись
Почему файлы с сайта archive.org скачиваются очень медленно?
Очень верная мысль, хотя именно в отношении архив орг я не так уверен. Дополню: в своё время (~ во воторой половине 2000-х), стала возникать тенденция запрещать закачки более чем в один поток и флэшгет, руливший во времена диал-апа стал как-то не очень востребован (да и падУч он в вайне).
-
- Advanced Member
- Сообщения: 372
- Зарегистрирован: 05.02.2016,02:25
- Откуда: Москва
Почему файлы с сайта archive.org скачиваются очень медленно?
У меня скорость низкая была и на Chrome, и на Safari.
Юзаю Free Download Manager, axel и wayback_machine_downloader с ключом -c 10.
Юзаю Free Download Manager, axel и wayback_machine_downloader с ключом -c 10.
Почему файлы с сайта archive.org скачиваются очень медленно?
Пора уже у администрации форума запросить апгрейд смайликов, а то писать слово "фейспалм" на каждое сообщение товарища aleksvolgin уже становится утомительно
Сразу и код для него можно такой сделать - :fpvolgin: , чтобы два раза не вставать :-))))
Объясняю специально для любителей запускать флешгет в вайне (с этого перла отдельно проорал ): у вебархива сильно побольше серверов, чем один, и то, как они отдают файлы, зависит только от настроек сервера, но уж никак не от браузера. Вполне возможно, что некоторые из них и в самом деле могут иметь какие-то зависимости по скорости от юзер-агента клиента, но, повторяю - никакой глобальной зависимости там нет и быть не может. ВСЕ качалки, независимо от их юзер-агента, ВСЕГДА качают с вебархива на порядок-два быстрее, чем любой браузер. Скорость отдачи специально, естественно, снижена. Хорошо хоть, что скачивание в несколько потоков и протокол HTTP не отключены.
Лучший способ скачивания с Вебархива на данный момент. Особенно в свете того, что пару лет назад эти редиски перестали выдавать в фильтре поиска очень многие файлы, точно имеющиеся в сохранённых копиях. Началось примерно тогда, когда вместо "сохранено более 100000 URL" сайт стал сообщать "сохранено более 10000 URL".
Сразу и код для него можно такой сделать - :fpvolgin: , чтобы два раза не вставать :-))))
Не зависит, конечно. Совсем не зависит. Вообще. Окончательно не зависит :-))) Успокойтесь
Объясняю специально для любителей запускать флешгет в вайне (с этого перла отдельно проорал ): у вебархива сильно побольше серверов, чем один, и то, как они отдают файлы, зависит только от настроек сервера, но уж никак не от браузера. Вполне возможно, что некоторые из них и в самом деле могут иметь какие-то зависимости по скорости от юзер-агента клиента, но, повторяю - никакой глобальной зависимости там нет и быть не может. ВСЕ качалки, независимо от их юзер-агента, ВСЕГДА качают с вебархива на порядок-два быстрее, чем любой браузер. Скорость отдачи специально, естественно, снижена. Хорошо хоть, что скачивание в несколько потоков и протокол HTTP не отключены.
Лучший способ скачивания с Вебархива на данный момент. Особенно в свете того, что пару лет назад эти редиски перестали выдавать в фильтре поиска очень многие файлы, точно имеющиеся в сохранённых копиях. Началось примерно тогда, когда вместо "сохранено более 100000 URL" сайт стал сообщать "сохранено более 10000 URL".
-
- Advanced Member
- Сообщения: 372
- Зарегистрирован: 05.02.2016,02:25
- Откуда: Москва
Почему файлы с сайта archive.org скачиваются очень медленно?
О, а я думал, мне показалось. Я иногда вручную выкачивал целые папки файлов, а когда перезакачивал те же папки с помощью wmd, получалось больше файлов в некоторых случаях.esasoft писал(а): ↑13.06.2022,18:23
Лучший способ скачивания с Вебархива на данный момент. Особенно в свете того, что пару лет назад эти редиски перестали выдавать в фильтре поиска очень многие файлы, точно имеющиеся в сохранённых копиях. Началось примерно тогда, когда вместо "сохранено более 100000 URL" сайт стал сообщать "сохранено более 10000 URL".
Почему файлы с сайта archive.org скачиваются очень медленно?
Тоже заметил. Там показывается первые 10000 ссылок по алфавиту, и, если на нужном сайте страницы подчиняются какой-либо закономерности, это можно обойти. Например, если ссылки кончаются на букву c, то потом можно в конец адресной строки дописывать по одной букве:
site.com/c*
site.com/d*
И т. д.
Почему файлы с сайта archive.org скачиваются очень медленно?
Попробуйте в браузерах включить многопоточность:EgorKuzevanov писал(а): ↑13.06.2022,10:35 Высокая скорость скачивания достигается только при использовании Download Master вместо встроенных браузерных качалок.
chrome://flags/#enable-parallel-downloading