Парсинг цен аукциона

Здесь вы можете задать свои вопросы и высказать пожелания по дальнейшей разработке базы и форума.
Post Reply
DanteSLS
Posts: 5
Joined:Sun Jun 27, 2021 4:12 pm

Парсинг цен аукциона

Post by DanteSLS » Tue Jun 29, 2021 12:29 pm

Здравствуйте уважаемый разработчик BDO Codex! Решил вот заняться выгодным делом - парсить цены консольной версии в гугл таблицу, но возникает проблема что XPath запросы не работают. Я так полагаю что скрипт мешает. :( У меня собственно вопрос: где сайт берет цены? (Конкретно интересуют консольные версии) И конечно же возможность парсить данные.

User avatar
Kiriak
Site Admin
Posts: 501
Joined:Wed Sep 11, 2013 10:30 am
Discord:Kiriak#5590

Re: Парсинг цен аукциона

Post by Kiriak » Tue Jun 29, 2021 1:52 pm

Цены берутся из web интерфейса центрального аукциона.
Вы можете сами зайти на оф. сайт игры, посмотреть цены и запросы к сайту/ответы от него в инструментах разработчика в броузере.

DanteSLS
Posts: 5
Joined:Sun Jun 27, 2021 4:12 pm

Re: Парсинг цен аукциона

Post by DanteSLS » Tue Jun 29, 2021 5:00 pm

Спасибо большое, но я так и не понял, как найти именно консольный аукцион? И да, я так понял парсинг без авторизации не работает

User avatar
Kiriak
Site Admin
Posts: 501
Joined:Wed Sep 11, 2013 10:30 am
Discord:Kiriak#5590

Re: Парсинг цен аукциона

Post by Kiriak » Tue Jun 29, 2021 5:44 pm

DanteSLS wrote:
Tue Jun 29, 2021 5:00 pm
Спасибо большое, но я так и не понял, как найти именно консольный аукцион? И да, я так понял парсинг без авторизации не работает
Консольный надо смотреть на консольной версии сайта. Если пробуете через РС, то нужно в инструментах разработчика броузера выбрать мобильное устройство, для РС аукцион не показывается.
Авторизация нужна конечно. Просто зайдите под своим логином.

Основную подсказку я дал, дальше уже ваше творчество. Удачи!

DanteSLS
Posts: 5
Joined:Sun Jun 27, 2021 4:12 pm

Re: Парсинг цен аукциона

Post by DanteSLS » Tue Jun 29, 2021 6:09 pm

Я конечно очень извиняюсь. Перерыл уже весь этот консольный сайт. Аукцион только в приложении на смартфоне. Через браузер в смартфоне аукциона нет. Где то эта страница есть, но где? EU - XBOX

User avatar
Kiriak
Site Admin
Posts: 501
Joined:Wed Sep 11, 2013 10:30 am
Discord:Kiriak#5590

Re: Парсинг цен аукциона

Post by Kiriak » Tue Jun 29, 2021 6:39 pm

Kiriak wrote:
Tue Jun 29, 2021 5:44 pm
Консольный надо смотреть на консольной версии сайта. Если пробуете через РС, то нужно в инструментах разработчика броузера выбрать мобильное устройство, для РС аукцион не показывается.
Я это не зря написал. Аукцион показывается только для мобильных устройств.

DanteSLS
Posts: 5
Joined:Sun Jun 27, 2021 4:12 pm

Re: Парсинг цен аукциона

Post by DanteSLS » Tue Jun 29, 2021 6:56 pm

Ничего не понимаю, вы для того чтобы парсить данные, эмулируете, например, Андроид? А потом скрипт это все на сервер закидывает?

Code: Select all

<div id="real_price"></div><script>var real_item_prices={"token":"0ad094a9299e736ca0fa64c42b2b21b2","id":"16128"};</script><hr class="tooltiphr">
Вот эта строчка, меня лишь интересует. :blush:
Просто хочу цену и количество лотов на консольной версии в гугл таблицу заносить.

Code: Select all

<div id="real_price">
<hr class="tooltiphr">
In-game market price:
<br>NA: 9,700 <span class="pull-right">
In Stock: 4262</span>
<br>EU: 9,700 <span class="pull-right">
In Stock: 1588</span>
<br>NA Console: 17,200 <span class="pull-right">
In Stock: 66</span>
<br>EU Console: 9,700 <span class="pull-right">
In Stock: 1215</span>
<br>
</div>
А отсюда цены в XPath-е не импортируются в таблицы. Точнее пишет что ссылка не действительна, хоть синтаксис и правильный. Например:

Code: Select all

/html/body/div[3]/div/div[3]/div/div[1]/div/table/tbody/tr[6]/td/div[6]/text()[5]

DanteSLS
Posts: 5
Joined:Sun Jun 27, 2021 4:12 pm

Re: Парсинг цен аукциона

Post by DanteSLS » Wed Jun 30, 2021 5:55 am

Решил для себя проблему - нашел таблицу где используют удобный API и вывозят данные оттуда для всех регионов.
https://docs.google.com/spreadsheets/d/ ... 1464565304

Post Reply