Форум операторов связи

Оборудование и SOFT => Программы, прошивки, сервисы и т.п. => Тема начата: 1076 от 18 июля, 2015, 15:28:54

Название: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 18 июля, 2015, 15:28:54
Получая программу  у EPG- провайдеров  или еще  где-  то :D  столкнулся  с  частыми расхождениями программы и  того  что  на  экране.
Причем на сайтах  каналов  содержалась актуальная  инфа.
+ нужны  программы  местных  вещателей, у  них  свои  сайты.
В  общем  нарылась  и  работает  вот эта  вещь.
WebGrab+Plus  http://www.webgrabplus.com/documentation/quick-start (http://www.webgrabplus.com/documentation/quick-start)

Проблема  допилить  конфигурацию для  грабления  программ  с  сайтов  каналов.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: samwit от 18 июля, 2015, 20:21:42
на сайтах каналов очень часто скудная телепрограмма, более полную они предоставляют в рассылках и скорее всего тем, кто платит.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: sky star от 19 июля, 2015, 06:41:30
в рассылке обычно самый верняк
по крайней мере иностранные почти всегда 100% попадают
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 19 июля, 2015, 13:00:43
Не хватает знаний  и  времени :(:(

Можно  было  бы  идеальный  EPG  под  себя  настроить.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: sky star от 19 июля, 2015, 15:01:48
у нас один человек работает постоянно при EPG сервере (у него еще куча и других дел),
другой может все тоже самое , но занимается CAS ,
оба могут заменять друг друга,
и с "забивкой" EPG проблем нет,
другое дело его точность
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 19 июля, 2015, 15:07:42
Цитироватьsky star написал:
у нас один человек работает постоянно при EPG сервере (у него еще куча и других дел),
другой может все тоже самое , но занимается CAS ,
оба могут заменять друг друга,
и с "забивкой" EPG проблем нет,
другое дело его точность
Ничосе !
Никогда у  меня вручную  ничего  не  забивалось,  все  автоматом  работало.
и CAS тоже.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: sky star от 19 июля, 2015, 15:19:35
по EPG все что присылается компаниями, имеет абсолютно разношестномастную форму представления программы передач, от pdf word до html страниц, само автоматом это прожеваться врядли сможет, учитывая что подать надо я уж не помню к какой кодировке, по этому у "спеца" понаделано скриптов, более того,
по соглашению мы не выкладываем EPG более чем на 1 неделю, иначе наша же печатная газета разориться

по CAS сейчас мы ведем процесс адаптации новой версии нашей CAS с новым билингом
человек работает над этим плотно

оба человека могут заменять друг друга (что бы не получилось проблемы)

найти источник на наши 200 каналов что бы прилетало и вылетало "автоматом"
не возможно не теоретически не практически


если кому то кажется что на сайте "ВСЕ ТВ" есть все что нужно, то он очень сильно заблуждается, прям очень сильно сильно

это я еще не распылялся на всякие "местные" тв конторки у которых вообще в голове дым, а жопе ветер, на сайте програмки нет вовсе , или она там весит лет пять не меняясь
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 19 июля, 2015, 15:29:33
Цитироватьsky star написал:

если кому то кажется что на сайте "ВСЕ ТВ" есть все что нужно, то он очень сильно заблуждается, прям очень сильно сильно

это я еще не распылялся на всякие "местные" тв конторки у которых вообще в голове дым, а жопе ветер, на сайте програмки нет вовсе , или она там весит лет пять не меняясь
Яростно  плюсую ! :D
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: samwit от 20 июля, 2015, 07:37:34
Цитировать1076 написал:
Можно  было  бы  идеальный  EPG  под  себя  настроить.
Если идеально, то по-любому надо брать с разных источников. Никогда не мог понять почему у всех программы разные. У кого тупо названия, у кого более подробно даже с номерами серий и сезонов. Так что приходиться выбирать с разных источников. А автоматика тут полностью не сработает, надо контролировать программу хотя бы раз в неделю. Плюс все зависит от сервера EPG. Так как с кодировкой могут возникнуть проблемы и сервер её тупо не воспримет и придется руками сменить кодировку и снова подсунуть ему.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 20 июля, 2015, 08:34:09
Цитироватьsamwit написал:

Если идеально, то по-любому надо брать с разных источников.  
Из  одного  и  не  получалось  ни  разу.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: apog от 20 июля, 2015, 21:35:45
И настройки там есть для двух наших источников (http://www.webgrabplus.com/epg-channels#stc_2D)
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 20 июля, 2015, 23:45:23
Цитироватьapog написал:
И настройки там есть для двух наших источников (http://www.webgrabplus.com/epg-channels#stc_2D)
Маийлру , к  сожалению  перестал  недавно  рабтать,  поменялся  дизайн  сайта.

Вот  тут  нужно  упрашивать  автора  (http://www.webgrabplus.com/forums/siteini-requests) сделать  ини  файл.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: samwit от 21 июля, 2015, 07:52:29
Цитировать1076 написал:
Вот  тут  нужно  упрашивать  автора  (http://www.webgrabplus.com/forums/siteini-requests) сделать  ини  файл.
У него уже спросили Вот  тут  (http://www.webgrabplus.com/content/mailru-ini-request) в самом низу.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 21 июля, 2015, 09:14:26
Цитироватьsamwit написал:
Цитировать1076 написал:
Вот  тут  нужно  упрашивать  автора  (http://www.webgrabplus.com/forums/siteini-requests) сделать  ини  файл.
У него уже спросили Вот  тут  (http://www.webgrabplus.com/content/mailru-ini-request) в самом низу.
Это  про сарую  версию ,Mail.ru  поменялся  месяц -  два назад.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: samwit от 21 июля, 2015, 12:11:46
Цитировать1076 написал:
Это  про сарую  версию ,Mail.ru  поменялся  месяц -  два назад.
Дата написания поста то свежая "Sat, 2015-07-11 21:42"
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 21 июля, 2015, 13:21:57
Цитироватьsamwit написал:
Цитировать1076 написал:
Это  про сарую  версию ,Mail.ru  поменялся  месяц -  два назад.
Дата написания поста то свежая "Sat, 2015-07-11 21:42"
В  общем  надо  регаться  там  и  просить  поправить.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 29 марта, 2016, 20:27:47
Вопрос.
Как часто требуется запускать сию софтину?  WebGrab+Plus (http://www.webgrabplus.com/)
Запускаю планировщиком каждые 2 часа в режиме smart
(как я понимаю должно тянуть только новое или обновленное)

Думаю может пореже сделать???

Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 29 марта, 2016, 20:40:26
Цитата: petrovlexa от 29 марта, 2016, 20:27:47Запускаю планировщиком каждые 2 часа в режиме smart
Сайты раз  в  неделю обновляются .
А  у  вас  с  какими  сайтами  заработало ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 29 марта, 2016, 22:10:36
Пока только с этим работает. (http://www.vsetv.com/) Другие еще не пробовал
Наверное можно смастерить site.ini на любой другой ресурс.
Вроде как и соответствующая утилита на оффсайте есть (http://www.webgrabplus.com/download/utility/siteininide-v012)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 30 марта, 2016, 00:02:40
На яндекс бы  как  то  натравить.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Sumgait от 30 марта, 2016, 10:26:26
Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 30 марта, 2016, 12:13:40
Цитата: 1076 от 30 марта, 2016, 00:02:40
На яндекс бы  как  то  натравить.

Буду посвободнее попробую, может и сделаем.
Тоже думаю с нескольких источников бы нужно брать.
А то поменяют чего и кирдык.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 30 марта, 2016, 17:06:53
Цитата: Sumgait от 30 марта, 2016, 10:26:26Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
Плюсую коллега))) Тоже юзаю сей бесплатный программный продукт)))
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 31 марта, 2016, 10:53:23
Цитата: Sumgait от 30 марта, 2016, 10:26:26
Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
На  Яндексе  обновляет  список  каналов ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Sumgait от 31 марта, 2016, 11:57:15
Цитата: 1076 от 31 марта, 2016, 10:53:23
Цитата: Sumgait от 30 марта, 2016, 10:26:26
Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
На  Яндексе  обновляет  список  каналов ?

Без проблем.

(http://rtktv.ru/0/kit.jpg)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 31 марта, 2016, 12:10:35
Цитата: Sumgait от 30 марта, 2016, 10:26:26Только папку "Providers" обновите.
Коллега, а можете поделиться опытом обновления данной папки? Яндекс там есть как провайдер, но каналы там не все по моему, точнее не совсем соответствую реальности...типа Перца и прочего с ним...
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Lock от 31 марта, 2016, 12:36:42
Цитата: ua4frr от 31 марта, 2016, 12:10:35
Цитата: Sumgait от 30 марта, 2016, 10:26:26Только папку "Providers" обновите.
Коллега, а можете поделиться опытом обновления данной папки? Яндекс там есть как провайдер, но каналы там не все по моему, точнее не совсем соответствую реальности...типа Перца и прочего с ним...
Там есть кнопка создать канал,открываете яндекс программу правой кнопкой мышки щелкаете на нужном канале/исследовать элемент, ищете id канала например матч тв /25/channels/1593 ,25 это зависит от региона, так вот 1593 это иесть ID и прописываете в КИТ при создании канала
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 04 сентября, 2016, 11:25:01
Webgrabplus (http://www.webgrabplus.com/) смотрю обновилась, а так же site ini (http://http://www.webgrabplus.com/epg-channels#stc_3D) файлы для сайтов свеженькие, люди добрые выложили.
f_emo_29
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 04 сентября, 2016, 14:51:58
Рабочий конфиг кто-  то  запилил ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 05 сентября, 2016, 08:55:48
Да вроде работает, Конфиг (https://cloud.mail.ru/public/Jzx2/tNVZ3SqCR) и Xml файл.  (https://cloud.mail.ru/public/DFzu/NETq2FqLd) Epg пока еще не подсовывал.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Yarik от 05 сентября, 2016, 22:11:16
Ну и тему то назвали....Правильнее будет не граббинг ибо это "спутниковая рыбалка", и означает перехват чужого интернет трафика со спутника - это как хобби и таким частенько страдаю бывает и я - причём уже солидное время,это как ранее были радиохулиганы - а тут спутниковые хулиганы.
Правильнее тему назвать - Парсинг телепрограммы с сайтов каналов - ибо это всё программы парсеры которые из исходного кода страницы выбирают и парсят то что им нужно.
Вот пример - http://www.php.su/forum/topic.php?forum=79&topic=4693 парсят недельную программу mail.ru
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 14 октября, 2016, 08:54:27
Цитата: Sumgait от 30 марта, 2016, 10:26:26Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
Что то у меня данное ПО перестало вообще работать...папку провайдеров обновил и все каналы пропали, до этого перестала загружать телепрограмму по выбранным каналам...
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Sumgait от 14 октября, 2016, 10:43:33
Должна стоять версия 1.29. Если вы обновились до 1.31, так и будет.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Mike от 14 октября, 2016, 11:53:53
1.31 работает
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 14 октября, 2016, 12:03:56
Коллеги, можно ссылочку на рабочую версию данного ПО сюда или в ЛС, плз)))
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Mike от 14 октября, 2016, 12:25:57
Цитата: ua4frr от 14 октября, 2016, 12:03:56
Коллеги, можно ссылочку на рабочую версию данного ПО сюда или в ЛС, плз)))

с их сайта и обновить папки каналов для этой версии оттуда же
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 14 октября, 2016, 14:19:09
А у них есть сайт? Меня что ж получается, гугл чтоль забанил? Ибо не нашел почему то...

З.Ы. ой я и лошарик)))) нашел форум автора....щас закачаю)))
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 22 февраля, 2017, 15:46:20
WebGrab+Plus  (http://www.webgrabplus.com/download) Обновилась до V2.0
Интересно чего там есть нового и нужного.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 30 марта, 2017, 14:23:03
Коллеги, кто юзает КИТ Телепрограмма для ЕПГ - перестал нормально парситься яндекс, заменил на майл - телегид обновился нормально, но теперь в ОпенЕПГ что то описания маловато стало, одно слово "режиссеры" и все...в самой КИТ описание полноценное...что то голову сломал уже, так переставлять не хочется все....
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: texnik55 от 30 марта, 2017, 15:32:47
Цитата: ua4frr от 30 марта, 2017, 14:23:03
Коллеги, кто юзает КИТ Телепрограмма для ЕПГ - перестал нормально парситься яндекс, заменил на майл - телегид обновился нормально, но теперь в ОпенЕПГ что то описания маловато стало, одно слово "режиссеры" и все...в самой КИТ описание полноценное...что то голову сломал уже, так переставлять не хочется все....

надо заменить файл "\Kit программа tv\Providers\tv.yandex.ru\schedule.ini" на http://sendfile.su/1321850 и яндекс заработает
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 30 марта, 2017, 16:04:13
Спасибо уже нашел и сделал, щас имена авторов и актеров под два раза в описании имеются, изучаю теперь этот момент((((
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 16 апреля, 2017, 10:12:37
Цитата: ua4frr от 30 марта, 2017, 16:04:13
Спасибо уже нашел и сделал, щас имена авторов и актеров под два раза в описании имеются, изучаю теперь этот момент((((
Кто  то  нашел  как  пофиксить ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 17 апреля, 2017, 11:24:52
Из соседней ветки - ТЫК! (https://drive.google.com/drive/folders/0B8SZIfY-CKBFQ3BDcmFxcXc3dG8)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 17 апреля, 2017, 12:15:07
Цитата: ua4frr от 17 апреля, 2017, 11:24:52
Из соседней ветки - ТЫК! (https://drive.google.com/drive/folders/0B8SZIfY-CKBFQ3BDcmFxcXc3dG8)
На  1.33  перешел
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 17 апреля, 2017, 15:02:49
1.34 - с костылем для Яндекса пока полет нормальный)))
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 23 июля, 2017, 12:06:13
С  майлру  кто  то  тягает ?
С  конца мая  -  error.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 23 июля, 2017, 19:55:53
сейчас тяну отсюда (http://vsetv.ru/)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Mike от 23 июля, 2017, 19:59:00
Цитата: petrovlexa от 23 июля, 2017, 19:55:53
сейчас тяну отсюда (http://vsetv.ru/)
отсюда тоже криво как то, по строчке на день....

а с майлру - егогг
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 23 июля, 2017, 20:02:46
Не замечал косяков, софтинка (http://www.webgrabplus.com/) вроде все тянет.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 23 июля, 2017, 22:59:08
Цитата: petrovlexa от 23 июля, 2017, 20:02:46
Не замечал косяков, софтинка (http://www.webgrabplus.com/) вроде все тянет.
есть конфиги  под яндекс  и  майлру ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 24 июля, 2017, 08:34:57
Яндекс маловато инфы отдавал и загрузка долго шла.
Майл не пробовал. Попробуйте поиграться с настройками (ресурсами) (http://www.webgrabplus.com/epg-channels#stc_40).
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 24 июля, 2017, 17:02:43
Цитата: petrovlexa от 24 июля, 2017, 08:34:57
Яндекс маловато инфы отдавал и загрузка долго шла.
Майл не пробовал. Попробуйте поиграться с настройками (ресурсами) (http://www.webgrabplus.com/epg-channels#stc_40).
Благодарю!
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 07 августа, 2018, 16:36:33
Запилили новый ini файл под яндекс для WebGrab+Plus
Тыц (http://www.webgrabplus.com/sites/default/files/user/anseatle/tv.yandex.ru_.ini)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: zaorant от 20 октября, 2020, 09:16:55
Помогите кто сталкивался. Не работает WebGrab+Plus под Windows 2003 serv/. Этот же дистриб нормально работает на WIN7, WIN10.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 07 марта, 2021, 22:25:26
 WebGrab+Plus (http://webgrabplus.com/) Обновилась до 3 версии (Ver V3.1.6 на данный момент)
Из холявы тут осталось только 30 каналов и три источника
За немного денег, возможности пожирнее.
Пожертвование в размере 5 евро в год позволит запустить 250 каналов, 15 различных site.ini, постобработку MDB и REX, страницы полного индекса и деталей, а также 2 идентификатора оборудования. Обратите внимание, что это настройка по умолчанию, и пожертвование большего количества продлит членство дарителя (т.е. 10 евро = 2 года). Пользовательскую лицензию можно запросить, связавшись с авторами, пожертвование может измениться в зависимости от количества каналов, идентификатора оборудования и т.д. Также обратите внимание, что очень немногие зашифрованные site.ini (для нескольких стран и более 1000 каналов или сложные) также требуют дополнительного пожертвования.....
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: WiseBird от 09 марта, 2021, 07:57:31
ЯндексТВ граб. Оставлю это здесь, для любителей халявы, пока работает. (https://github.com/gSpotx2f/tv_grab_ru_yatv)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Sumgait от 09 марта, 2021, 09:23:08
Меня устраивает "КИТ Интернет телепрограмма".
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 09 марта, 2021, 13:18:53
Что за КИТ ?, где живет ???
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: bibigon от 09 марта, 2021, 14:44:13
Цитата: petrovlexa от 09 марта, 2021, 13:18:53КИТ Интернет телепрограмма

вот тут же

https://pctuner.club/forum/q/9228
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Cyber от 10 марта, 2021, 18:15:38
Цитата: petrovlexa от 09 марта, 2021, 13:18:53
Что за КИТ ?, где живет ???
https://4pda.ru/forum/index.php?showtopic=1017755 (https://4pda.ru/forum/index.php?showtopic=1017755)