Почему файлы с сайта archive.org скачиваются очень медленно?

Все, что не подходит под определение "старого софта и железа", обсуждается здесь
EgorKuzevanov
Advanced Member
Сообщения: 588
Зарегистрирован: 20.06.2021,13:35
Откуда: Инской (Кемеровская область)

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение EgorKuzevanov » 13.06.2022,10:35

Почему в Яндекс.Браузере и браузере Mozilla Firefox скорость скачивания файлов с сайта https://archive.org/details/software не поднимается выше 50 КБ/сек, несмотря на быстрый Интернет? Высокая скорость скачивания достигается только при использовании Download Master вместо встроенных браузерных качалок.

Аватара пользователя
esasoft
Advanced Member
Сообщения: 1863
Зарегистрирован: 15.07.2018,16:34
Откуда: Москва

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение esasoft » 13.06.2022,12:32

EgorKuzevanov, потому, что от браузера это не зависит вообще.
Сам сервер WebArchive отдаёт файлы с низкой скоростью на один поток. Браузер качает в один поток.
А Download Master, Reget Deluxe и прочие качалки качают в несколько потоков (одновременных подключений), скажем, в 20-40, поэтому, естественно, они качают быстрее.

EgorKuzevanov
Advanced Member
Сообщения: 588
Зарегистрирован: 20.06.2021,13:35
Откуда: Инской (Кемеровская область)

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение EgorKuzevanov » 13.06.2022,13:19

esasoft, я, конечно, ничего не храню на сайте archive.org, но многие старые версии программ и ISO-образы пиратских дисков со старыми программами и играми лежат исключительно в Архиве Интернета.

geg
Advanced Member
Сообщения: 12303
Зарегистрирован: 21.11.2010,12:04

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение geg » 13.06.2022,13:38

esasoft писал(а): 13.06.2022,12:32 потому, что от браузера это не зависит вообще.
А5 вы не в теме, это прям уже не смешно! :biggrin: Зависит, конечно, а точнее не от браузера, а от строки юзер-агента, что этот браузер отдаёт хосту. Буквально недавно с таким столкнулся.
Последний раз редактировалось geg 13.06.2022,15:01, всего редактировалось 1 раз.

Аватара пользователя
visualer
Advanced Member
Сообщения: 1910
Зарегистрирован: 26.09.2019,17:50
Откуда: ..
Контактная информация:

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение visualer » 13.06.2022,14:38

Прошлый оратор сказал что-то понятное, ничего удивительного. Хосты, юзер-агенты... *шото на техническом*

Предположу, что archive.org как некоммерческий проект специально режет скорости, чтобы их сервера, набитые терабайтами информации, просто не захлебнулись. Я обычно ставлю на скачивание несколько ISO-образов и забываю об этом на пару часов.
EgorKuzevanov писал(а): 13.06.2022,10:35 Почему в Яндекс.Браузере и браузере Mozilla Firefox скорость скачивания файлов
Или чего? В других браузерах лучше дело обстоит? :)
Ретровизор - мой канал в Telegram
Взгляд назад. Персональная техно-археология. Ретро-компы. Downgrade 💾
t.me/retrovis Подпишись :redface:

geg
Advanced Member
Сообщения: 12303
Зарегистрирован: 21.11.2010,12:04

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение geg » 13.06.2022,15:01

visualer писал(а): 13.06.2022,14:38 Предположу, что archive.org как некоммерческий проект специально режет скорости, чтобы их сервера, набитые терабайтами информации, просто не захлебнулись.
Очень верная мысль, хотя именно в отношении архив орг я не так уверен. Дополню: в своё время (~ во воторой половине 2000-х), стала возникать тенденция запрещать закачки более чем в один поток и флэшгет, руливший во времена диал-апа стал как-то не очень востребован (да и падУч он в вайне).

jheronimus
Advanced Member
Сообщения: 372
Зарегистрирован: 05.02.2016,02:25
Откуда: Москва

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение jheronimus » 13.06.2022,15:15

У меня скорость низкая была и на Chrome, и на Safari.

Юзаю Free Download Manager, axel и wayback_machine_downloader с ключом -c 10.

Аватара пользователя
esasoft
Advanced Member
Сообщения: 1863
Зарегистрирован: 15.07.2018,16:34
Откуда: Москва

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение esasoft » 13.06.2022,18:23

Пора уже у администрации форума запросить апгрейд смайликов, а то писать слово "фейспалм" на каждое сообщение товарища aleksvolgin уже становится утомительно :biggrin:
Сразу и код для него можно такой сделать - :fpvolgin: :biggrin: , чтобы два раза не вставать :-))))
aleksvolgin писал(а): 13.06.2022,13:38 Зависит, конечно
Не зависит, конечно. Совсем не зависит. Вообще. Окончательно не зависит :-))) Успокойтесь :biggrin:
Объясняю специально для любителей запускать флешгет в вайне (с этого перла отдельно проорал :biggrin: :biggrin: :biggrin: ): у вебархива сильно побольше серверов, чем один, и то, как они отдают файлы, зависит только от настроек сервера, но уж никак не от браузера. Вполне возможно, что некоторые из них и в самом деле могут иметь какие-то зависимости по скорости от юзер-агента клиента, но, повторяю - никакой глобальной зависимости там нет и быть не может. ВСЕ качалки, независимо от их юзер-агента, ВСЕГДА качают с вебархива на порядок-два быстрее, чем любой браузер. Скорость отдачи специально, естественно, снижена. Хорошо хоть, что скачивание в несколько потоков и протокол HTTP не отключены.
jheronimus писал(а): 13.06.2022,15:15 wayback_machine_downloader с ключом -c 10
:thumbup:
Лучший способ скачивания с Вебархива на данный момент. Особенно в свете того, что пару лет назад эти редиски перестали выдавать в фильтре поиска очень многие файлы, точно имеющиеся в сохранённых копиях. Началось примерно тогда, когда вместо "сохранено более 100000 URL" сайт стал сообщать "сохранено более 10000 URL".

jheronimus
Advanced Member
Сообщения: 372
Зарегистрирован: 05.02.2016,02:25
Откуда: Москва

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение jheronimus » 13.06.2022,20:00

esasoft писал(а): 13.06.2022,18:23
jheronimus писал(а): 13.06.2022,15:15 wayback_machine_downloader с ключом -c 10
:thumbup:
Лучший способ скачивания с Вебархива на данный момент. Особенно в свете того, что пару лет назад эти редиски перестали выдавать в фильтре поиска очень многие файлы, точно имеющиеся в сохранённых копиях. Началось примерно тогда, когда вместо "сохранено более 100000 URL" сайт стал сообщать "сохранено более 10000 URL".
О, а я думал, мне показалось. Я иногда вручную выкачивал целые папки файлов, а когда перезакачивал те же папки с помощью wmd, получалось больше файлов в некоторых случаях.

R0mb
Newbie
Сообщения: 20
Зарегистрирован: 12.03.2022,00:15
Откуда: Нижний Новгород

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение R0mb » 13.06.2022,22:01

esasoft писал(а): 13.06.2022,18:23 вместо "сохранено более 100000 URL" сайт стал сообщать "сохранено более 10000 URL".
Тоже заметил. Там показывается первые 10000 ссылок по алфавиту, и, если на нужном сайте страницы подчиняются какой-либо закономерности, это можно обойти. Например, если ссылки кончаются на букву c, то потом можно в конец адресной строки дописывать по одной букве:
site.com/c*
site.com/d*
И т. д.

Аватара пользователя
Corsar50
Advanced Member
Сообщения: 560
Зарегистрирован: 06.04.2018,15:43
Откуда: из СССР

Почему файлы с сайта archive.org скачиваются очень медленно?

Сообщение Corsar50 » 14.06.2022,10:43

EgorKuzevanov писал(а): 13.06.2022,10:35 Высокая скорость скачивания достигается только при использовании Download Master вместо встроенных браузерных качалок.
Попробуйте в браузерах включить многопоточность:
chrome://flags/#enable-parallel-downloading

Ответить