Страница 2 из 8

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 22 дек 2013, 04:51
f_s_c
Раз уж тут речь идет про интеграцию, то может посмотреть шире на бывшее пост-советское пространство? Есть прекрасный сайт Birds.KZ в котором фотографии собираются с координатами - можно же и туда постить данные из фаунистики и оттуда в фаунистику?

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 22 дек 2013, 05:04
igor
Ага, ближе к утру начинается активная работа мозга!
f_s_c писал(а):может посмотреть шире на бывшее пост-советское пространство? Есть прекрасный сайт Birds.KZ в котором фотографии собираются с координатами - можно же и туда постить данные из фаунистики и оттуда в фаунистику?

Я и ещё пара человек давно смотрят шире, но много но... мешает интеграции. Аскар создал прекрасный сайт, а главное раскрутил его, в россии нет аналогов по информативности и вовлеченности любителей, но налаживать связь с фаунистикой он не хочет. Возможно он боится, что его сайт потеряет часть уникального контента, может какие-то другие причины им руководят, но всё упирается исключительно в его желание. Постить данные из фаунистики на Birds.KZ мы не можем без его ведома, так как для этого надо, чтобы Аскар нам расшарил БД (дамп базы сайта дал, чтобы понять структуру). Забрать всю информацию с Birds.KZ в фаунистику мы можем по сути нажатием одной кнопки - сделать парсинг html и выдёргивать информацию по ссылкам - Дима или Данил могут грамотнее это объяснить. Но там авторский контент и без согласия авторов фотографий это называется воровством.
В фаунистике и на Birds.KZ есть общие пользователи. Если они захотят все свои данные скопировать в фаунистику, то сделаем, чё тут говорить, но опять же если это не будет желание одного человека. Ради одного человека, не хочется программистов напрягать.

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 22 дек 2013, 05:31
tester
igor писал(а):Забрать всю информацию с Birds.KZ в фаунистику мы можем по сути нажатием одной кнопки - сделать парсинг html и выдёргивать информацию по ссылкам - Дима или Данил могут грамотнее это объяснить. Но там авторский контент и без согласия авторов фотографий это называется воровством.

В данном случае не надо особых знаний иметь - нажимаешь на любой странице Birds.KZ правой кнопкой мыши, выбираешь просмотр кода страницы и бежишь по структуре, определяя нужные строки.
Вот они:
Код: Выделить всё
14 строка - вид: <TITLE>Птицы Казахстана. Ястреб-перепелятник (Accipiter nisus).</TITLE>
16 строка - фото: <meta property="og:image" content="http://www.birds.kz/photos/0030/002/00300076502.jpg" />
17 строка - автор, дата съемки и место: <meta property="og:description" content="Автор: Федоренко Василий. Дата съемки: 2013-07-06. Место съемки: п. Актерек, Алматинская обл.."/>
95 строка - дата: <strong>2013-07-06</strong></td>
140 строка - латинское название вида: <i>Accipiter nisus</i> (Linnaeus, 1758)<p>
141 строка - автор: <strong>&copy; <a href="bkoneauthor.php?l=ru&a=30">Федоренко Василий</a> </strong>
177 строка - координаты: var myLatlng = new google.maps.LatLng(43.27069639052385,75.43274581432343);

а дальше пусть скрипт методично проверяет ссылки на совпадение из базы фаунистики и формирует наблюдения по совпадению даты, вида, автора.
В ссылках ориентироваться тоже просто.
Код: Выделить всё
http://www.birds.kz/bkphoto.php?l=ru&s=003000765&n=2&t=85&p=1: здесь берем номер наблюдения 003000765 и следующий за ним номер фотографии 2

Если человек хочет поделится своими данными c Birds.KZ на другом ресурсе и дает добро на парсинг htmlя, не вижу проблемы нарушения авторских прав. Права автора сайта это не нарушает, так как дизайн сайта игнорится - берется только авторский контент того человека, который итак зарегистрирован в Фаунистике и дал согласие на копирование данных (или даже попросил о такой услуге). Если человек не зареген в Фаунистике не удастся туда пробросить его данные с Birds.KZ.
Естественно скрипт по пробросу в фаунистику кроме Данила никто не напишет, а вот грабалку htmlа в xlsx в структуре шаблона для импорта в Фаунистику напишет любой мало мальский программист. Думаю потом все пользователи Birds.KZ, работающие в ГИСах и ведущие локальные базы данных, ему еще и спасибо скажут, так как получат простой способ вывода данных с Birds.KZ в ГИС.

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 22 дек 2013, 05:42
igor
tester писал(а):Думаю потом все пользователи Birds.KZ, работающие в ГИСах и ведущие локальные базы данных, ему еще и спасибо скажут, так как получат простой способ вывода данных с Birds.KZ в ГИС.

Я знаю кто спасибо скажет - есть один чел, книжку Птицы Казахстана на буржуйском языке написал. :D
Ты то-ли мало спал сегодня, то-ли фантастической литературы много начитался, то-ли часто на ГИС-лабе тусуешся? Опомнись, какие пользователи Birds.KZ, работающие в ГИСах? Там один Андрюха Коваленко ГИСы открывает и то по нужде и своей базы не ведёт в них. Никого не хочу обидеть, но у нас не штаты, где ESRI культуру работы в ГИС уже 30 с лишним лет насаждает и все любители в e-Bird CSVшки пачками импортируют. Для большинства наша Фаунистика - это нечто невообразимо сложное. Так что скрипт импорта из htmlя с Birds.KZ в эксель это тоже для особо одаренных индивидов.
Классно конечно ты всё расписал по поводу парсинга с Birds.KZ, но слабо верю в то, что это будет востребовано. Ошибаюсь или нет время покажет. Но хотелось бы не кривые пути искать для индивидов, а реально про интеграцию думать.

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 22 дек 2013, 05:56
f_s_c
igor писал(а):
tester писал(а):Я знаю кто спасибо скажет - есть один чел, книжку Птицы Казахстана на буржуйском языке написал. :D

Этот что-ли: THE BIRDS OF KAZAKHSTAN?
Поглядела в новостную ленту, такое ощуение, что он только и делает, что систематизирует и переводит новости с Birds.KZ.

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 22 дек 2013, 05:59
igor
Он самый. Я думаю он даже купит скрипт. Круто же - нажал кнопку и у тебя в настольной ГИС весь Birds.KZ! И главное никто об этом не узнает. Потом можно и автовыставлялку новостей на его сайт запродать. Сразу оговорюсь, что это шутка. А то может некоторые казахские коллеги читают наш форум и не поймут стёба.

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 05 янв 2014, 18:54
tester
Ну вот и кончилось беспробудное бухалово. В промежутках между коллективным насилием над своими организмами мы с Саней тут на Birds.KZ напустили авенюшный скриптик. На выходе получилось вот что -
Книга1.xls
результат экспорта из Birds.KZ в ArcView и потом в Excel
(15 КБ) Скачиваний: 355

Собственно все элементарно, но надо некоторые моменты отслеживать, бывают косяки.
Поигрался я с данными Андрея Коваленко, погонял их туда-сюда и обнаружил такую вещь, что фотки одних и тех же птиц снятых тобой Игорь и Андреем лежат в точках, удаленных друг от друга порой на десятки километров. В чем причина?

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 05 янв 2014, 19:12
igor
tester писал(а):Поигрался я с данными Андрей Коваленко, погонял их туда-сюда и обнаружил такую вещь, что фотки одних и тех же птиц снятых тобой Игорь и Андреем лежат в точках, удаленных друг от друга порой на десятки километров. В чем причина?


Не обращай на это внимание. Андрей на Birds.KZ точки от фонаря тыкает, а у меня они слиты с навигатора.

Точность привязки данных фотографами (и даже орнитологами на фотосайтах) это тема отдельного разговора. Birds.KZ не воспринимается его пользователями как кладезь научной информации - даже для большинства орнитологов, выкладывающих там фотки, это просто фоторесурс на котором люди показывают друг другу фотки и общаются. Олег Белялов пытается на базе сайта двигать какую-то науку, но как я понимаю Аскару это не сильно надо. Базы с которой можно работать там нет, выводить информацию в ГИС невозможно, поэтому народ туда валит фотки особо не озабачиваясь правильностью их привязки. Большинству пользователей сайта точность то и не важна - место примерно указано и хорошо. По большому счёту точность привязки гнёзд важна лишь нам, кто ведёт регулярный мониторинг. Точность привязки птиц, встреченных во внегнездовой период, вообще не актуальна - для них плюс-минус 10 км потянет.

В Birds.KZ ценность в том, что там много народа тусуется сейчас (уже настоящее сообщество) и в одном месте много орнитологической информации аккумулируется. Пусть она и разнокачественная, но её много и это самое главное.

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 28 ноя 2014, 18:16
igor
Дима, а ты помниться говорил, что из Онлайн дневника наблюдений всю информацию дёрнуть вообще нет проблем. Естественно делать этого не стоит, но иногда возникает надобность поглядеть насколько далеко лежат точки наблюдений пользователей ОДН от наших. Вот у меня и родилась мысль - может запилить данные из ОДН в виде пользовательского слоя и обновлять его например раз в месяц. Т.е. потрошить наблюдения для базы не надо, а просто точка и ссылка на наблюдение в ОДН. Это сейчас возможно?

Re: Интеграция с другими базами данными и сайтами

СообщениеДобавлено: 28 ноя 2014, 18:37
tester
igor писал(а):Дима, а ты помниться говорил, что из Онлайн дневника наблюдений всю информацию дёрнуть вообще нет проблем... Это сейчас возможно?

В наше время возможно все.
Т.е. берем последний год, из гет-строки, передающейся на яндекс, парсим Lat, Lon, ID наблюдения, по ID наблюдения генерим ссылку и выкатываем все это в KML, который льем в фаунистику. Такой алгоритм устроит?