Здравствуйте. Ситуация, в которой нужно срочно определить «происхождение» картинки — не такое уж редкое явление. 

Как это сделать быстро известно не всем. На самом деле, сделать это достаточно просто — функция поиска по фото с телефона в Яндексе доступна уже несколько лет. Давайте же разберемся, как это работает, а также узнаем историю появления подобной технологии.

Девушка ищет фото

Поиск по атрибутам

Алгоритм интеллектуального анализа содержания изображений появился не так уж и давно. Поначалу, ПС находили картинки по атрибутам, приписанным файлу, что иногда, приводило к «удивительным» результатам. Например, при попытках нахождения по фото зелёного зонтика с узором — Яндекс отображал кирпич или ещё чего похуже. Поиск нужного фото с телефона не мог увенчаться успехом в принципе. Но и это не самое страшное.

Потихоньку, по каким-то определённым запросам, «роботы» Google начали собирать фото, скажем так «непубличного» содержания. Не совсем понятно, как так получилось — нелепое стечение обстоятельств или кто-то злонамеренно распространял подобный контент, известно одно — до начала использования интеллектуального алгоритма сортировки и анализа изображений в поисковой выдаче творился настоящий хаос — один из примеров рассмотрим далее.

«Шок» в картинках

До 2011 года пользователь, ищущий определённый запрос на стартовой странице в Google натыкался на фотографии шокирующего содержания. Кстати, подобный механизм выдачи остался до сих пор, с той лишь поправкой, что теперь изображения не отображаются на главной странице. А в разделе картинки — пожалуйста, всё осталось как есть. Интересно другое: в системе Яндекса подобные запросы уже не срабатывают. Это позволяет сделать вывод, что способ эффективной модерации найден — почему им не воспользуется Гугл — остаётся загадкой.

«Умный» поиск изображений в Google

В 2011 году, сотрудники Гугл потихоньку начали внедрять новые алгоритмы распознавания и сортировки изображений. Теперь робот не доверял тегам, описывающим картинки, а разбивал отдельно взятое фото на несколько отдельных элементов и классов, присваивая каждому — отдельный, индивидуальный код. Так, незаметно для широкой массы пользователей, произошёл огромный скачок в сфере разработки технологий искусственного интеллекта, ведь ещё в 2005 году никто и не мог даже предполагать, что поисковая машина научится обрабатывать титанический объём информации, выдавая при этом точные результаты.

Google Images

Строка ввода ссылки на изображение в Google

Похожим же образом, обрабатывать и распознавать отдельные части фото научился и Yandex, о котором и пойдёт речь далее.

Анализ медиаконтента в Яндексе

Нельзя сказать, что российский поисковик пошёл полностью «своим» путём. Фундаментальные различия в подходе к анализу и обработке фотографий, конечно есть, но «база» всё же общая. До запуска нового алгоритма поиска изображений в 2013-м году, выдача фотокарточек модерировалась специальными людьми — асессорами (основная задача которых — «очеловечивание» поисковой системы и механизмов индексации). Иными словами — асессоры, это те, кто помогают Yandexу «умнеть». Правда, этот ресурс очень ограничен, а потому, отдел таких помощников анализировал информацию только по самым популярным запросам. Они же, старались привести поиск по фото с телефона в Яндексе в адекватный вид.

В середине года, специалисты Яндекса всё же запустили новую систему распознавания графики на базе технологии CBIR (поиск фото по содержанию). Вообще, идея осмысленного поиска фотографий не нова, и исследований с 1992 года на эту тему было сделано очень много. Немало было разработано и проектов, призванных решить проблему «осмысления» медиаконтента роботом, но к конкретным результатам пришли лишь крупнейшие поисковые агрегаторы и с десяток компаний, работающих в других направлениях разработки технологий искусственного интеллекта (например, тот же TinEye, который мы также не обойдём стороной).

yandex images

Варианты поиска изображения в Яндекс

Как же это работает?

CBIR Яндекса опирается на анализ и классификацию, так называемых «визуальных слов». Это видно на следующей схеме:

Как работает CBIR
Таким образом, поисковая машина теперь буквально «видит» файл, загруженный пользователем, и очень точно находит похожие фото, как по цвету — так и по содержанию.

В 2016 году, подразделение Яндекса (YDF) — осуществило пробный запуск сервиса автомодерации фотографий. Это экспериментальное решение для соц. сетей, интернет-магазинов и других ресурсов, нуждающихся в уникальном медиаконтенте. Разработка была признана перспективной, в её основу легли технологии искусственного интеллекта и компьютерного зрения.

Уже на этапе пользовательского тестирования, один из менеджеров проекта сообщил, что использование сервиса будет поставлено на коммерческие рельсы. На практике оказалось, что подобная борьба за легализацию и уникальность изображений не очень-то совпадает даже с правовой базой, не говоря уже об общих тенденциях Рунета.

Общую картину мы видим, давайте же попробуем разобраться с практическим применением.

Удобство «умного поиска»

Вы листаете новости в любимой соц. сети или что-то ожесточенно обсуждаете в групповом чате мессенджера. Поток букв, стикеров, аудиозаписей, документов и тут, ваше внимание притягивает неизвестное доселе художественное произведение. Но кто это нарисовал, Вы не знаете, и друзья пожимают плечами — не у всех в френдлисте припрятан искусствовед. Мы ищем картину, на которой изображена лодка с людьми, рядом со скалами в шторм. Вот же она:

Ищем эту картину в Яндексе

Поиск фотографии по описанию для нас выглядел бы следующим образом:

Запрос №1 для поиска в Яндексе

Не очень удачно получилось, правда? И лодка у нас есть, и море и скалы, но всё не то. Придётся немного поправить запрос.

Запрос №2 поиска в Яндексе

Мы подобрались ближе, но результата ещё нет.

Что же у нас тут вообще происходит? Есть море, есть буря. Что делает буря? Правильно, бушует.

Немного изменим запрос.

Финальный запрос поиска творения Айвазовского

Вот наша картина и нашлась. Это работа Айвазовского «Бущующее Море». Стоит заметить, что Айвазовский — известен в широких кругах, а с некоторыми его произведениями знакомят ещё со школьной скамьи. Но у него очень много картин о море, прибавим к этому кучу других фотокарточек в поисковой выдаче и готово — без «пляски» с бубном нам не разобраться. А теперь представьте всё то же самое, но с мобильного.

А что делать с произведениями других художников? Они не всегда поддаются описанию. Ниже у нас «Искушение св. Антония» написанное Босхом:

Творение Иеронима Босха

Эту картину не то что трудно описать машине, не каждому человеку то удастся объяснить, что тут изображено.

В этом и проявляется несовершенство поиска по тегам и описаниям. И если с ПК мы ещё можем немного посидеть и поискать мышью нужное нам фото, то со смартфона это очень неудобно делать. Экран не такой большой, как на стационарном компьютере или ноутбуке, а информации очень много — придётся долго проматывать вниз.

Поиск по фото с телефона в Яндексе

Для того, чтобы найти фотографию нам нужно сделать следующее в браузере, запустив Yandex:

  • Делаем 1 «тап» (прикосновение) в поле ввода;
  • Жмём кнопку «Спросить картинкой»:

Выбираем вариант спросить картинкой

  • Подгружаем файл из памяти смартфона;
  • Готово, на скриншоте вы можете заметить что у нас всё получилось — это фото нашлось, а также нашлись похожие:

Итоги поиска по картинке Яндекс

Поиск фотографий в Гугл

Устройства под управлением Андроид, снабжены стандартной службой поиска — Google Images. Для её использования, сделайте длительное нажатие на нужном фото.

В раскрывшемся меню тапните на «Найти это изображение»:

Кнопка поиска картинки в Google
Если эта фотография размещена на какой-либо странице, можно «опознать» её как при помощи поиска по изображению, так и по ссылке, которую нужно будет скопировать и вставить в поисковую строку.

А вот так выглядят результаты:

Итоги поиска в google по изображению

Альтернативный способ — TinEye

На телефонах предыдущего поколения имеет смысл воспользоваться сервисом TinEye. Он, как и Яндекс, базируется на принципе «CBIR», но подход сильно отличается. Это один из самых точных ресурсов поиска фото с телефона. Его интерфейс очень прост: нажмите на кнопку загрузки и выберите нужное вам изображение.

Поиск по фото с телефона в Яндексе - важные особенности

Вот мы и разобрались в хитросплетениях такой простой в использовании функции. Но для того чтобы она появилась — потребовалось очень много сил и времени. Теперь вы знаете, как осуществлять поиск по фото с телефона в Яндексе.

Источник