Интеграция с другими базами данными и сайтами

Все вопросы по программе "Фаунистика" Российской сети изучения и охраны пернатых хищников и работе в Веб-ГИС "Фаунистика"

Re: Интеграция с другими базами данными и сайтами

Сообщение f_s_c » 22 дек 2013, 04:51

Раз уж тут речь идет про интеграцию, то может посмотреть шире на бывшее пост-советское пространство? Есть прекрасный сайт Birds.KZ в котором фотографии собираются с координатами - можно же и туда постить данные из фаунистики и оттуда в фаунистику?
Аватара пользователя
f_s_c
 
Сообщения: 237
Фото: 1
Зарегистрирован: 17 мар 2012, 17:18

Re: Интеграция с другими базами данными и сайтами

Сообщение igor » 22 дек 2013, 05:04

Ага, ближе к утру начинается активная работа мозга!
f_s_c писал(а):может посмотреть шире на бывшее пост-советское пространство? Есть прекрасный сайт Birds.KZ в котором фотографии собираются с координатами - можно же и туда постить данные из фаунистики и оттуда в фаунистику?

Я и ещё пара человек давно смотрят шире, но много но... мешает интеграции. Аскар создал прекрасный сайт, а главное раскрутил его, в россии нет аналогов по информативности и вовлеченности любителей, но налаживать связь с фаунистикой он не хочет. Возможно он боится, что его сайт потеряет часть уникального контента, может какие-то другие причины им руководят, но всё упирается исключительно в его желание. Постить данные из фаунистики на Birds.KZ мы не можем без его ведома, так как для этого надо, чтобы Аскар нам расшарил БД (дамп базы сайта дал, чтобы понять структуру). Забрать всю информацию с Birds.KZ в фаунистику мы можем по сути нажатием одной кнопки - сделать парсинг html и выдёргивать информацию по ссылкам - Дима или Данил могут грамотнее это объяснить. Но там авторский контент и без согласия авторов фотографий это называется воровством.
В фаунистике и на Birds.KZ есть общие пользователи. Если они захотят все свои данные скопировать в фаунистику, то сделаем, чё тут говорить, но опять же если это не будет желание одного человека. Ради одного человека, не хочется программистов напрягать.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1307
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Интеграция с другими базами данными и сайтами

Сообщение tester » 22 дек 2013, 05:31

igor писал(а):Забрать всю информацию с Birds.KZ в фаунистику мы можем по сути нажатием одной кнопки - сделать парсинг html и выдёргивать информацию по ссылкам - Дима или Данил могут грамотнее это объяснить. Но там авторский контент и без согласия авторов фотографий это называется воровством.

В данном случае не надо особых знаний иметь - нажимаешь на любой странице Birds.KZ правой кнопкой мыши, выбираешь просмотр кода страницы и бежишь по структуре, определяя нужные строки.
Вот они:
Код: Выделить всё
14 строка - вид: <TITLE>Птицы Казахстана. Ястреб-перепелятник (Accipiter nisus).</TITLE>
16 строка - фото: <meta property="og:image" content="http://www.birds.kz/photos/0030/002/00300076502.jpg" />
17 строка - автор, дата съемки и место: <meta property="og:description" content="Автор: Федоренко Василий. Дата съемки: 2013-07-06. Место съемки: п. Актерек, Алматинская обл.."/>
95 строка - дата: <strong>2013-07-06</strong></td>
140 строка - латинское название вида: <i>Accipiter nisus</i> (Linnaeus, 1758)<p>
141 строка - автор: <strong>&copy; <a href="bkoneauthor.php?l=ru&a=30">Федоренко Василий</a> </strong>
177 строка - координаты: var myLatlng = new google.maps.LatLng(43.27069639052385,75.43274581432343);

а дальше пусть скрипт методично проверяет ссылки на совпадение из базы фаунистики и формирует наблюдения по совпадению даты, вида, автора.
В ссылках ориентироваться тоже просто.
Код: Выделить всё
http://www.birds.kz/bkphoto.php?l=ru&s=003000765&n=2&t=85&p=1: здесь берем номер наблюдения 003000765 и следующий за ним номер фотографии 2

Если человек хочет поделится своими данными c Birds.KZ на другом ресурсе и дает добро на парсинг htmlя, не вижу проблемы нарушения авторских прав. Права автора сайта это не нарушает, так как дизайн сайта игнорится - берется только авторский контент того человека, который итак зарегистрирован в Фаунистике и дал согласие на копирование данных (или даже попросил о такой услуге). Если человек не зареген в Фаунистике не удастся туда пробросить его данные с Birds.KZ.
Естественно скрипт по пробросу в фаунистику кроме Данила никто не напишет, а вот грабалку htmlа в xlsx в структуре шаблона для импорта в Фаунистику напишет любой мало мальский программист. Думаю потом все пользователи Birds.KZ, работающие в ГИСах и ведущие локальные базы данных, ему еще и спасибо скажут, так как получат простой способ вывода данных с Birds.KZ в ГИС.
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Интеграция с другими базами данными и сайтами

Сообщение igor » 22 дек 2013, 05:42

tester писал(а):Думаю потом все пользователи Birds.KZ, работающие в ГИСах и ведущие локальные базы данных, ему еще и спасибо скажут, так как получат простой способ вывода данных с Birds.KZ в ГИС.

Я знаю кто спасибо скажет - есть один чел, книжку Птицы Казахстана на буржуйском языке написал. :D
Ты то-ли мало спал сегодня, то-ли фантастической литературы много начитался, то-ли часто на ГИС-лабе тусуешся? Опомнись, какие пользователи Birds.KZ, работающие в ГИСах? Там один Андрюха Коваленко ГИСы открывает и то по нужде и своей базы не ведёт в них. Никого не хочу обидеть, но у нас не штаты, где ESRI культуру работы в ГИС уже 30 с лишним лет насаждает и все любители в e-Bird CSVшки пачками импортируют. Для большинства наша Фаунистика - это нечто невообразимо сложное. Так что скрипт импорта из htmlя с Birds.KZ в эксель это тоже для особо одаренных индивидов.
Классно конечно ты всё расписал по поводу парсинга с Birds.KZ, но слабо верю в то, что это будет востребовано. Ошибаюсь или нет время покажет. Но хотелось бы не кривые пути искать для индивидов, а реально про интеграцию думать.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1307
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Интеграция с другими базами данными и сайтами

Сообщение f_s_c » 22 дек 2013, 05:56

igor писал(а):
tester писал(а):Я знаю кто спасибо скажет - есть один чел, книжку Птицы Казахстана на буржуйском языке написал. :D

Этот что-ли: THE BIRDS OF KAZAKHSTAN?
Поглядела в новостную ленту, такое ощуение, что он только и делает, что систематизирует и переводит новости с Birds.KZ.
Аватара пользователя
f_s_c
 
Сообщения: 237
Фото: 1
Зарегистрирован: 17 мар 2012, 17:18

Re: Интеграция с другими базами данными и сайтами

Сообщение igor » 22 дек 2013, 05:59

Он самый. Я думаю он даже купит скрипт. Круто же - нажал кнопку и у тебя в настольной ГИС весь Birds.KZ! И главное никто об этом не узнает. Потом можно и автовыставлялку новостей на его сайт запродать. Сразу оговорюсь, что это шутка. А то может некоторые казахские коллеги читают наш форум и не поймут стёба.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1307
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Интеграция с другими базами данными и сайтами

Сообщение tester » 05 янв 2014, 18:54

Ну вот и кончилось беспробудное бухалово. В промежутках между коллективным насилием над своими организмами мы с Саней тут на Birds.KZ напустили авенюшный скриптик. На выходе получилось вот что -
Книга1.xls
результат экспорта из Birds.KZ в ArcView и потом в Excel
(15 КБ) Скачиваний: 340

Собственно все элементарно, но надо некоторые моменты отслеживать, бывают косяки.
Поигрался я с данными Андрея Коваленко, погонял их туда-сюда и обнаружил такую вещь, что фотки одних и тех же птиц снятых тобой Игорь и Андреем лежат в точках, удаленных друг от друга порой на десятки километров. В чем причина?
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Re: Интеграция с другими базами данными и сайтами

Сообщение igor » 05 янв 2014, 19:12

tester писал(а):Поигрался я с данными Андрей Коваленко, погонял их туда-сюда и обнаружил такую вещь, что фотки одних и тех же птиц снятых тобой Игорь и Андреем лежат в точках, удаленных друг от друга порой на десятки километров. В чем причина?


Не обращай на это внимание. Андрей на Birds.KZ точки от фонаря тыкает, а у меня они слиты с навигатора.

Точность привязки данных фотографами (и даже орнитологами на фотосайтах) это тема отдельного разговора. Birds.KZ не воспринимается его пользователями как кладезь научной информации - даже для большинства орнитологов, выкладывающих там фотки, это просто фоторесурс на котором люди показывают друг другу фотки и общаются. Олег Белялов пытается на базе сайта двигать какую-то науку, но как я понимаю Аскару это не сильно надо. Базы с которой можно работать там нет, выводить информацию в ГИС невозможно, поэтому народ туда валит фотки особо не озабачиваясь правильностью их привязки. Большинству пользователей сайта точность то и не важна - место примерно указано и хорошо. По большому счёту точность привязки гнёзд важна лишь нам, кто ведёт регулярный мониторинг. Точность привязки птиц, встреченных во внегнездовой период, вообще не актуальна - для них плюс-минус 10 км потянет.

В Birds.KZ ценность в том, что там много народа тусуется сейчас (уже настоящее сообщество) и в одном месте много орнитологической информации аккумулируется. Пусть она и разнокачественная, но её много и это самое главное.
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1307
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Интеграция с другими базами данными и сайтами

Сообщение igor » 28 ноя 2014, 18:16

Дима, а ты помниться говорил, что из Онлайн дневника наблюдений всю информацию дёрнуть вообще нет проблем. Естественно делать этого не стоит, но иногда возникает надобность поглядеть насколько далеко лежат точки наблюдений пользователей ОДН от наших. Вот у меня и родилась мысль - может запилить данные из ОДН в виде пользовательского слоя и обновлять его например раз в месяц. Т.е. потрошить наблюдения для базы не надо, а просто точка и ссылка на наблюдение в ОДН. Это сейчас возможно?
Игорь
Татаро-Монголия
http://sibecocentre.ru/raptors.htm
http://volgabirds.ru/
Аватара пользователя
igor
Администратор
 
Сообщения: 1307
Фото: 3
Зарегистрирован: 17 мар 2012, 17:06
Откуда: Россия
Дневник: Просмотр записи (17)

Re: Интеграция с другими базами данными и сайтами

Сообщение tester » 28 ноя 2014, 18:37

igor писал(а):Дима, а ты помниться говорил, что из Онлайн дневника наблюдений всю информацию дёрнуть вообще нет проблем... Это сейчас возможно?

В наше время возможно все.
Т.е. берем последний год, из гет-строки, передающейся на яндекс, парсим Lat, Lon, ID наблюдения, по ID наблюдения генерим ссылку и выкатываем все это в KML, который льем в фаунистику. Такой алгоритм устроит?
Аватара пользователя
tester
 
Сообщения: 212
Зарегистрирован: 18 мар 2012, 18:57

Пред.След.

Вернуться в Фаунистика

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron