Боты для скачивания с АТ, Литмаркета и т.п.

consuello
аватар: consuello
Offline
Зарегистрирован: 05/02/2011

Есть сейчас работающие боты для скачивания книг (если оно не разрешено автором)?
Хотя бы такие, которые только бесплатные качают?

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Есть желание делится своей учёткой с ботом? Не проще ли копировать напрямую?
Вот старенький скрипт для tampermonkey (страница не нашлась, копирует по главно):

// ==UserScript==
// @name         Author.Today Copy Paste
// @namespace    http://tampermonkey.net/
// @version      0.1
// @description  try to take over the world!
// @author       You
// @match        https://author.today/reader/*
// @grant        none
// ==/UserScript==

getTextPage = () => {
    let text = '';
    let title = null;
    b = document.getElementsByClassName('text-container')[0].children;
    for(let a of b) {
        if(a.tagName.toLowerCase() === 'p' && a.innerHTML) {
            text+=`<p>${a.innerHTML}</p>`;
        }
        if(a.tagName.toLowerCase() === 'h2') { title = a.innerHTML; }
    }
    return openWindow(text? text : getTextInDiv(b), title);
};

openWindow = (text, title) => {
    let html = `<h2>${title? title: ''}</h2>${text}`;
    window.open('','','width=800, height=500')
        .document.write(html);
};

getTextInDiv = (elements) => {
    let text = '';
    for(let el of elements) {
        if(el.tagName.toLowerCase() === 'div' && !el.getAttribute('class')) {
            text += `<p>${el.children[0].innerHTML.replace(/(<span).*?(span>)/g, '')}</p>`;
        }
    }
    return text;
};

function createElement() {
    let d = document.getElementsByClassName('navbar-left')[0],
    a = document.createElement('a');
    a.innerHTML = 'Копировать текст';
    a.setAttribute('href', '#');
    a.setAttribute('onclick', 'getTextPage();');
    a.setAttribute('class', 'btn btn-brd');
    d.appendChild(a);
}

(function(){
    createElement();
})();

Есть и другие варианты для прямого копирования. Доделать OOoFBTools в либреофисе.
Вот вроде для литмаркета, если работает: https://greasyfork.org/ru/scripts/40827-litnet-copy-text/code

зы последний для литнета, сорри.

спайк
Offline
Зарегистрирован: 10/14/2012
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Последний для Литнета не работает. И для Литмаркета.
Скрипт для Автор Тудей работает хорошо, учетка не требуется

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

>Последний для Литнета не работает. И для Литмаркета.
Странно, актуальная версия оттуда скачивает, бесплатные во всяком случае.

спайк
Offline
Зарегистрирован: 10/14/2012
Re: Боты для скачивания с АТ, Литмаркета и т.п.
luiswoo84 пишет:

>Последний для Литнета не работает. И для Литмаркета.
Странно, актуальная версия оттуда скачивает, бесплатные во всяком случае.

У меня даже кнопок не появилось...

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

У Elib2Ebook их и нет, если не ошибаюсь...

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

зыы вот более продвинутый скрипт для АТ https://greasyfork.org/ru/scripts/441304-authortodayextractor

vconst
аватар: vconst
Offline
Зарегистрирован: 09/23/2011
Re: Боты для скачивания с АТ, Литмаркета и т.п.

на ат некниги

телеговые боты для флибы никаких учеток не требуют

consuello
аватар: consuello
Offline
Зарегистрирован: 05/02/2011
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Боты - потому что для гуманитариев. :)
Но все равно спасибо, попробую разобраться.

Еще со мной вот такой ссылкой поделились (если кому интересно) - https://github.com/OnlyFart/Elib2Ebook

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Действительно, для гуманитарный гуманитариев...

bash-5.1$ ./Elib2Ebook --help
Elib2Ebook 1.15.2
Copyright (C) 2022 Elib2Ebook

  -u, --url         Required. Ссылка на книгу

  -p, --proxy       Прокси в формате <host>:<port>

  -s, --save        Директория для сохранения книги

  -f, --format      Required. Формат для сохранения книги

  -c, --cover       Сохранить обложку книги в отдельный файл

  -t, --timeout     (Default: 5) Timeout для запросов в секундах

  --no-image        Не загружать картинки

  -l, --login       Логин от системы

  -p, --password    Пароль от системы

  --help            Display this help screen.

  --version         Display version information.

Хотя в отличие от authortodayextractor без проблем скачивает рассказы. Минус — консолька с параметрами...

x17
Offline
Зарегистрирован: 11/03/2022
Re: Боты для скачивания с АТ, Литмаркета и т.п.
Цитата:

Хотя в отличие от authortodayextractor без проблем скачивает рассказы. Минус — консолька с параметрами...

Где-то через несколько дней, после вашего комментария, я пофиксил эту недоработку. Как-то не сподобился протестировать скрипт на рассказах, потому что рассказы обычно читаю с сайта. Только сейчас смог ответить.

Alex_61
аватар: Alex_61
Offline
Зарегистрирован: 11/15/2009
Re: Боты для скачивания с АТ, Литмаркета и т.п.
consuello пишет:

Боты - потому что для гуманитариев. :)
Но все равно спасибо, попробую разобраться.
Еще со мной вот такой ссылкой поделились (если кому интересно) - https://github.com/OnlyFart/Elib2Ebook

Я еще вот этой поделюсь.
https://flibusta.is/node/576623
Вроде сейчас доработали, но лучше иметь в виду.

asrind
Offline
Зарегистрирован: 06/11/2013
Re: Боты для скачивания с АТ, Литмаркета и т.п.

У меня есть вопрос - что делать если я хочу скачать книгу (ранобе) с сайта ranobe-novels.ru, бота я нашел, но что ни делал - включая установку майкорофт визуал студию, плюс логин на сайте github.com, пробоал разные, в том числе заставить работать OnlyFart/Elib2Ebook - для него как аз возился, Но один работающий бот не качает с сайта ranobe-novels.ru книги, а когда попытался скомпилировать OnlyFart/Elib2Ebook, визуал студия выдали мне неисправимую ошибку и ничего отладила.

Можно конечно и вручную повозиться, но так легко можно потратить полмесяца или больше на 1 книгу, они там большие, плюс стоит немного отвлечься ил сбой какой-то произойдет незаметно в буфере обмена, и в книге будут не все главы или они будут перепутаны местами - со мной такое уже бывало, но с книгами для личного чтения.

Может кто-то захочет скачать с сайта ranobe-novels.ru книги и залить их на флибусту? Если да, буду признателен особо за некоторые из них, ранобе Янтарный меч мне понравилось, а на других сайтах его полного перевода на русский язык я на нашел, хотя проверил больше 10 сайтов с кучей переводов, включая такие как - rulate , dark-novels.ru ,eznovels.com , hotnovelpub.com , hub-book.com , ifreedom.su , ranobelib.me , ranobe.me , ranobelib.ru , ranobes.com , renovels.org , ru.novelho.com , ранобэ.рф bookhamster.ru , ifreedom.su - пусто.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

1. зачем нужно устанавливать визуал студио, если нужен дотнет или как его там. У меня установлена кака-то стабильная, актуальная линукс версия только из-за этой проги.
2. зачем компилировать OnlyFart/Elib2Ebook, если есть сборки даже под линукс на том же гитхабе?

Нефритовый пардон Янтарный меч https://disk.yandex.ru/d/IaN8pAdEj7u86A из https://ranobelib.me/the-amber-sword — нет желания заниматься разбивкой на тома и заливкой.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Да тут цу из зала, по поводу того, что версии Elib2Ebook с припиской "portable" не требуется дотнет в зависимостях для работы.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

ReadliBookExtractor -- Онднокнопочная скачивалка для readli.net от автора AuthorTodayExtractor, хех...
Не понятно, зачем автор распыляется, ведь кроме многочисленных клонов с ранобе, конкурентом АТ можно назвать лишь Литмаркет, с аудиторий раз в десять меньше и специализированной на ЛФ.

_DS_
Offline
Зарегистрирован: 09/08/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Что значит "распыляется" ?

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.
_DS_ пишет:

Что значит "распыляется" ?

Распыляется на параллельное поддержание кучи скриптов.

_DS_
Offline
Зарегистрирован: 09/08/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.
luiswoo84 пишет:
_DS_ пишет:

Что значит "распыляется" ?

Распыляется на параллельное поддержание кучи скриптов.

Уверен что ему так удобнее, из-за различий.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.
_DS_ пишет:
luiswoo84 пишет:
_DS_ пишет:

Что значит "распыляется" ?

Распыляется на параллельное поддержание кучи скриптов.

Уверен что ему так удобнее, из-за различий.

Как я понял, автор сам пользуется только АТ, остальное -- потому, что может.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Хотя вру, litnet.com ещё побольше Литмаркета

x17
Offline
Зарегистрирован: 11/03/2022
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Сначала представлюсь: я - автор этих скриптов. А теперь по сути. Первый скрипт, для authortoday, я написал, потому что он мне нужен самому. Второй (readli) потому что меня попросили, у меня было время и там было не сложно. Третий (rulate) писал в целях тестирования только что написанной библиотеки, ибо более кривой разметки ни у кого на тот момент не было. Сейчас эта библиотека задействована в остальных скриптах. Фикбук - потому что попросили и потому что я сам там появляюсь. Литмаркет... Хм. За него не просили, ну или я не помню такого.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

На АТ не качает обложки: https://author.today/work/280285 https://author.today/work/220076
Плюс https://author.today/work/280285 к обложке ошибки при загрузке изображений.
Скрипт ранее на фф требовал разрешения на что-то (возможно на скачку со сторонних источников) — сейчас не требует.
И почему-то https://update.greasyfork.org/scripts/468831/1461278/HTML2FB2Lib.js:
1147 [ "sf_litrpg", "гитрпг", [ "litrpg", "рпг" ] ],

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Решил обновить браузер и скрипт (а это без тора сделать не получилось), и вообще вылезло это:

То есть скрипт сломался на этапе загрузки обложки.

x17
Offline
Зарегистрирован: 11/03/2022
Re: Боты для скачивания с АТ, Литмаркета и т.п.

По обеим ссылкам у меня никаких проблем нет. После обновления сайта были проблемы с загрузкой обложен, но это было исправлено в версии 1.4.1. У меня прямо сейчас сайт дико тупит, загружается через раз. Может в этом проблема? Что касается ошибки undefined, что пишет в консоли? Наверное лучше в личку.

x17
Offline
Зарегистрирован: 11/03/2022
Re: Боты для скачивания с АТ, Литмаркета и т.п.
Цитата:

Скрипт ранее на фф требовал разрешения на что-то (возможно на скачку со сторонних источников) — сейчас не требует.

Требует лишь в том случае, если есть ресурсы (картинки) за пределами основного домена. Если он не нашел обложку на странице сайта, то и проверять не будет, поскольку не знает, откуда ее брать.

Это пытается загрузить библиотеку. Фиг знает, почему у него не получается. Может у вас что-то с сетью? Я только что проверил ссылку - все как должно быть.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Ничего оно в консоли не показывало, ни в какой. Кроме этого:

libva info: VA-API version 1.21.0
libva info: Trying to open /usr/lib64/dri-nonfree/iHD_drv_video.so
libva info: Found init function __vaDriverInit_1_21
libva error: /usr/lib64/dri-nonfree/iHD_drv_video.so init failed
libva info: va_openDriver() returns 1
libva info: Trying to open /usr/lib64/dri-nonfree/i965_drv_video.so
libva info: Trying to open /usr/lib64/dri-freeworld/i965_drv_video.so
libva info: Trying to open /usr/lib64/dri/i965_drv_video.so
libva info: Found init function __vaDriverInit_1_20
failed to open /usr/lib64/dri/hybrid_drv_video.so
Not using hybrid_drv_video.so
libva info: va_openDriver() returns 0

Но это дела железные.

После второй переустановки скрипта — он таки запросил разрешение — всё скачалось.

>>И почему-то https://update.greasyfork.org/scripts/468831/1461278/HTML2FB2Lib.js:
>Это пытается загрузить библиотеку. Фиг знает, почему у него не получается. Может у вас что-то с сетью? Я только что проверил ссылку - все как должно быть.

1147 [ "sf_litrpg", "гитрпг", [ "litrpg", "рпг" ] ],

Нет такого жанра, как гитрпг — если исправить, то он даже добавляет жанр литрпг.

x17
Offline
Зарегистрирован: 11/03/2022
Re: Боты для скачивания с АТ, Литмаркета и т.п.
Цитата:

Ничего оно в консоли не показывало, ни в какой. Кроме этого:

Сдается мне, что вы не ту консоль мне показали. Мне нужна консоль браузера. F12 или что там в вашем браузере.

Цитата:

Нет такого жанра, как гитрпг — если исправить, то он даже добавляет жанр литрпг.

Вот за это спасибо. Проглядел. Исправлю.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

>Сдается мне, что вы не ту консоль мне показали.

Единственное, что изменялось в консоли — это сообщения скрипта, что выводились во время работы, до загрузки обложки.

Опять же, после первого запуска — Tampermonkey не запрашивает разрешение для скрипта — обложка не загружается, файл формируется. Зайти на https://greasyfork.org/ru/scripts/441304-authortodayextractor без прокси нельзя.

Включается прокси для greasyfork.org, после первого принудительного обновления — Tampermonkey не запрашивает разрешение для скрипта — всё заканчиваться как на скриншоте выше.

Второе принудительное обновление скрипта — Tampermonkey запрашивает разрешение для скрипта, он его получаеткнига готова к сохранению.

x17
Offline
Зарегистрирован: 11/03/2022
Re: Боты для скачивания с АТ, Литмаркета и т.п.

Кажется я понял в чем там проблема: один из двух IP адресов не отвечает по каким-то причинам. Забанен? Этот: 50.116.4.196. Когда браузер сфейливается на одном IP адресе, второй запрос делает по другому адресу. Сам я хожу на сайте под TOR-ом, потому не заметил.

luiswoo84
Онлайн
Зарегистрирован: 05/06/2010
Re: Боты для скачивания с АТ, Литмаркета и т.п.

WebToEpub — расширение для скачивания с каких-то странных сайтов в формате epub. Chrome Firefox

Бурная вода
Offline
Зарегистрирован: 09/24/2012
Re: Боты для скачивания с АТ, Литмаркета и т.п.

WebToEpub, в частности, позволяет скачивать с Wattpad.com, fanfiction.net и других подобных сайтов

Alex_61
аватар: Alex_61
Offline
Зарегистрирован: 11/15/2009
Re: Боты для скачивания с АТ, Литмаркета и т.п.
Бурная вода пишет:

WebToEpub, в частности, позволяет скачивать с Wattpad.com, fanfiction.net и других подобных сайтов

Но хреново. Надо это держать в уме - хреново. Часто такой, блин, файл выдаёт... Да и не всегда можно скачать всё - стопорится и хз почему; приходится качать два файла, сначала часть до ступора, потом после.
Но вообще помогает расширение в ряде случаев, это факт.

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".