«Люблю поработать с миллионом изображений»

МОСЛЕНТА публикует основные тезисы из лекции эксперта в области новых медиа Льва Мановича «Как анализировать культуру через социальные сети», прочитанной в институте «Стрелка». На примере проектов Selfiecity, Phototrails и On Broadway Лев показал, как и зачем исследовать селфи и создавать интерактивные портреты мегаполисов, сочетая обработку огромных баз данных, цифровое искусство и дизайн.

Лев Манович одним из первых начал обрабатывать и анализировать огромные объемы изображений из социальных сетей. Сегодня Манович является признанным мировым экспертов в этой области, а осуществленные проекты возглавляемой им лаборатории Software studies ежегодно получают престижные американские и международные награды.

###Инструменты и методы

На веб-сайте нашей лаборатории — lab.softwarestudies.com вы можете прочесть манифест про наши исследования, которые я называю «Аналитикой культуры» («Cultural Analytics»), увидеть наши проекты, публикации, а самое главное — скачать веб-интерфейсы, которые мы создаем, чтобы люди сами могли исследовать визуальную культуру.

Если вы хотите осмыслить современное общество, сравнивать города, урбанизм по всему миру, то, чем занимаются люди, о чем они думают, — у вас появилась потрясающая возможность, которой раньше не было. Потому что миллиарды людей теперь делятся с вами своими идеями через «Вконтакте», блоги, Instagram, Twitter. Для того чтобы это изучать, нужно уметь анализировать такую информацию. Программы, разработанные нами, находятся в открытом доступе. Я отдаю вам свои инструменты для интерактивной навигации через все эти информационные пространства. Может быть, там вы увидите что-то свое. Рекомендую работать группами. Когда вы анализируете миллионы изображений, тяжело их обрабатывать одному.

Сама идея изучения культуры через анализ данных из социальных сетей пришла мне десять лет назад, когда в нашем кампусе в университете Калифорния в Сан-Диего открылся новый исследовательский институт по будущему компьютерной технологии, будущему интернета. Они пригласили различных ученых, в том числе специалистов по новым визуальным технологиям. Там я впервые увидел такой потрясающий инструмент как визуальный суперкомпьютер: это стена, которая состоит из нескольких десятков плоских мониторов с очень тонкими границами, которых даже не видно. За ними стоят компьютеры с мощными видеокартами, и это позволяет ввести туда большую визуальную коллекцию и потом эти данные сравнивать и сортировать.

Мне очень повезло, что я столкнулся с этими людьми десять лет назад, потому что, глядя на экран мобильного телефона, я бы никогда не додумался, что можно сравнивать миллион изображений. А такая стена сразу помогла найти эту идею.

###Анализ фотографий из социальных сетей: вопросы и цели

Перейдем к визуальной культуре социальных сетей. Вот некоторые вопросы и цели, которые возникают в разных проектах, сделанных на этом материале.

Во-первых, если вас интересует современная визуальная культура: фотография, рисунок, манга, то все это можно изучать через визуальные медиа.

Понятно, что если вы хотите изучать современные фотографии, то можете сходить в романтические студии фотохудожников, где они вам покажут снимки, нальют чаю. А можете просто посмотреть на все фотографии, которые миллионы людей выложили в интернет. Компьютеры и алгоритмы могут сейчас с хорошей точностью определять, что сфотографировано, дома это или на улице, в «Стрелке» или у Кремля, какие изображены объекты — красивая девушка, мальчик или апельсин. Вы можете получить статистику по всем параметрам фотографии и понять, например, одинаково ли снимают люди, которые выкладывают свои снимки в Instagram из Москвы, Сан-Франциско и Сан-Паулу.

Второе — возникает фундаментальный теоретический вопрос: Instagram — это медиа или месседж? Действительно, с одной стороны, Instagram можно использовать как некое окно в социальную реальность. Например, если вы журналист, пишете про революцию в какой-нибудь стране, вы смотрите на изображения, которое люди ставят в этой стране на Instagram, и вам кажется, что так вы получаете правдивую картинку происходящего. Но, с другой стороны, селфи-феномена не было бы без фотокамер, мобильного и Instagram.

Получается, Instagram сам создает сообщения, собственный мир. И вот перед нами диалектика: мы используем Instagram как прозрачное окно в реальность или это такое затемненное окно, которое показывает само себя? Получается, что, используя социальные медиа как линзы, которые мы направляем на общество, надо всегда понимать и принимать во внимание, что мы видим там как общество, так и сами эти социальные медиа, как в примере селфи и Instagram.

И, конечно, это не объективное окно в жизнь общества, а окно в область социального поведения людей определенного возраста, живущих в определенных местах. Но это не значит, что надо опускать руки. Instagram — это очень большая выборка. Исследование такого массива информации хорошо проводить не только с помощью компьютерных программ. Нужно привлекать более традиционные методы, такие как фокус-группы, которые позволяют вам компенсировать те особенности выборки, которые задает социальная сеть.

Наша главная цель — чисто художественная: создание портрета общества через его большие объемы данных (Big Data), через фотографии, которые снял не я лично, а делают и выкладывают все люди с фотокамерами.

###Проект Phototrails

Проект Phototrails мы сделали в 2013 году, и это была первая попытка поработать над озвученными вопросами и целями. Мы взяли лэптоп одного из моих сотрудников и скачали на него 2 миллиона 300 тысяч изображений из 13 городов, среди которых были Бангкок, Лондон, Тель-Авив, Сан-Франциско, Токио, Нью-Йорк. Скачав снимки, мы стали их сравнивать, сначала очень простыми визуальными способами.

Увидели мы следующее: если не было какой-то ошибки в подсчетах, что происходит постоянно, то получается, что люди в разных городах абсолютно одинаково используют фильтры Instagram. Процентные показатели по какой-то паре фильтров немного отличаются, а остальные — один к одному.

У нас сложилось впечатление, что проанализированный выбор фильтров отражает некие предпочтения людей по всему миру, а не просто показывает, как на момент размещения фотографий был устроен дизайн Instagram. Это наталкивает на мысль, что мы видим глобальную визуальную культуру: как было, например, время модернизма, а теперь пришло время диджитал-глобализма, и мы уже не видим культурной специфики отдельных регионов.

При анализе огромных объемов изображений первый шаг: сортировать их всевозможными способами и визуализировать результат, как будто фотограф делает снимки с разных ракурсов, и каждый из них что-то выявляет. И если подумать об этих базах данных как о неких виртуальных объектах, получится, что мы их фотографируем с разных точек. С одной точки что-то видно, но результат не интересный. А если на них посмотреть с другой точки, то мы увидим гораздо больше. И этот процесс настолько увлекательный, что ради него я частично забросил работу теоретика и последние десять лет трачу свое время на него, потому что это жутко интересно, ведь никогда не знаешь, что увидишь.

Так же, как мы визуализировали работы непрофессиональных художников или мангу, можно визуализировать фотографии. Например, мы взяли рэндом 50 тысяч фотографий из Токио, и компьютер их распределил по световой шкале от темного к светлому. Когда мы смотрели на подобное распределение манги, это было интересно. Здесь неинтересно, потому что мы не знаем, с чем это сопоставить. Поэтому давайте сравним по крайней мере два города: Токио и Сан-Франциско. Единственное, что здесь интересно,  — это то, что на фотографиях отсутствует. Почему? Потому что это урбанизм, город, и тут очень мало синего и зеленого.

Можно задать другой принцип и распределить снимки по времени, отсортировать: день, час, минута. Такая простая визуализация дает нам некий документальный фильм, типа «Человека с киноаппаратом» Дзиги Вертова, только без режиссера. В нашей выборке — 50 тысяч людей, которые сфотографировали свой день в городе. Они покушали суши, что-то выпили, пошли на работу, напились, приехали к жене — это фильмы токийских клерков. В Нью-Йорке фильм немножко другой, каждый город дышит по-разному, и циклы отличаются: это можно увидеть по другому распределению темного и светлого сектора в выборке. Появляется некий оркестр, который спонтанно создается из арии десятков тысяч людей в каждом мегаполисе.

Можно все полученные изображения визуализировать как некую аморфную массу, когда поведение всех фотографов в городе складывается в одну мелодию, а можно эти же снимки разделить на индивидуальные проекты. Например, я взял 100 самых активных пользователей и визуализировал их фотографии за три месяца в отдельном графике, обозначив разным цветом утро, день и вечер.

Если бы я был человеком, который сидит в Yahoo, например, которому нужно что-то оптимизировать, продавать, то мой следующий ход был бы — все это автоматически классифицировать, и разделить всех тех людей на классы: те, кто в центре утром, те, кто после работы зашли в «Шоколадницу», те, кто после работы сели в троллейбус. Сделать это можно, но не обязательно двигаться к такому уровню абстракции и превращать это в науку. Ведь можно оставить такие исследования на уровне портретов индивидуального поведения людей.

Если бы мы анализировали подобные данные 100 лет назад, во время зарождения социологии, статистики, мы бы разделили горожан на три, четыре, пять классов. Тогда так было принято. Маркс разделил всех людей на два класса: тех, у которых есть только своя сила, которую они продают, и тех, кто ее покупает. Фрейд разделил мыслительные процессы на два класса: сознательные и подсознательные.

Теперь же у нас есть компьютеры, и маленький лэптоп может содержать в себе данные по всем 12 миллионам москвичей, и про каждого там будет 200-300 параметров. И вот перед нами дилемма, вырастающая при работе с большими объемами данных: как можно осмыслять общество, балансируя между желанием свести исследование к формулам и желанием создавать индивидуальные портреты, заниматься искусством, представляя мир через детали.

Один из примеров абстракции может выглядеть так. Вы берете фотографии каждого города — у нас их было 13 (всего 2,3 миллиона снимков), и компьютер анализирует цвет, текстуру, композицию и так далее. По параметрам, которые компьютер находит в этих фотографиях, он делает карту MDS (multi dimensional scaning). Эта карта — одна из миллиона возможных, по которым можно смотреть, насколько города, или страны, или районы мегаполиса типа Москвы, близки или далеки с точки зрения заданных параметров.

В нашем случае самым уникальным городом оказался Бангкок, второй — Сингапур, азиатские мегаполисы, где население моложе, одеваются по-другому, архитектура другая. А жители Москвы, Берлина, Парижа и Стимбула выкладывают совершенно идентичные снимки. Как если бы вы считали, что живете в Москве, а на самом деле жили бы в Стамбуле и просто не знали об этом.

###Проект Selfiecity

После того как мы сделали Phototrails, где собрали изображения и посмотрели на них очень формально с точки зрения цвета, времени, в которое их люди ставили, мы сказали: «Хорошо, давайте теперь сделаем что-то более внимательное, приблизим наш микроскоп и будем сравнивать строго определенные снимки». Мы пытались понять, насколько такое исследование покажет разницу между культурами, городами мира и покажет ли ее Instagram.

И мы сделали проект Selfiecity — город селфи. Начали работать над ним в августе 2014 года, слово селфи вошло в оксфордский словарь только через несколько месяцев. Я пытался уговорить команду не браться за эту тему, говорил «Это же пошло», а они отвечали «Лев, заткнись» и оказались правы, потому что именно этот проект открыл для нас много дверей.

Мы скачали из Instagram 3200 селфи из пяти городов: Москвы, Берлина, Бангкока, Нью-Йорка и Сан-Паулу. Токио тоже хотели включить, но не стали, потому что там люди странно себя фотографируют: играют с камерой, только пол-лица обычно в кадре.

Мы использовали одну из самых последних компьютерных программ, Recognition, при помощи которой компьютер, анализируя снимок лица, пытается определить возраст, пол и даже то, насколько человек красив, но мы решили этот последний параметр не использовать. Мы создали графики, где для каждого города сверху расположили селфи женщин, снизу — мужчин, а для каждого параметра еще и сделали шкалу: например, справа — люди, которые улыбаются на 100 процентов, а слева — люди, которые вообще не улыбаются.

Оказывается, Москва и Сан-Паулу — это совсем не Бангкок. Во-первых, мужики москвичи стесняются, их почти нет в Instagram, а во-вторых, те, кто свои селфи выкладывают, не улыбаются, даже девушки, даже модели.

После этого мы построили интерактивный инструмент Selfie exploratory. Возьмем выборку по Сан-Паулу, настроим фильтр, и вот вместо 3200 мы видим 640 изображений. Selfie exploratory позволяет визуализировать график, который показывает возраст. Как мы сделали возраст? С одной стороны, взяли то, что дала нам программа, не зная, насколько она точна. Чтобы проверить, отдали этот же материал на Amazon Mechanical Turk. Выяснилось, что была очень сильная корреляция: компьютер всегда вас омолаживает, потому что надо же разработчикам как-то свою программу продавать.

И вот у нас отображается возраст. Сколько у нас Instagram-стариков вроде меня? 30 человек. 30 по отношению к 640 — это где-то 5 процентов. Можно посмотреть, кто в Сан-Паулу любит крутиться перед камерой, мальчики или девочки? И так далее. Идея в том, что вы можете сами изучать эту визуальную базу данных, накалывая на нее любое количество фильтров.

###Проект On Broadway

Делая следующий проект, мы решили еще больше усилить наш микроскоп и отбирать фотографии не по типу, как селфи, а по месту. Возьмем даже не город, а одну улицу — Бродвей. Изначальная идея была — создать портрет улицы из больших объемов данных, причем совершенно разнообразных: снимки из Twitter, Instagram, общие данные по городу, такие, как средняя зарплата, состав семьи, соотношение рас, национальностей. Кто-то запросил у мэра Нью-Йорка базу данных по всем местам, где люди садились в такси и из них вылезали, потому что все эти данные автоматически идут в управление такси. Оказалось, в Нью-Йорке люди совершают 500 миллионов путешествий на такси за один год. Когда мы отфильтровали только то, что по Бродвею, осталось 22 миллиона.

Мы разделили улицу на квадраты 30 на 100 метров, получилось 713 квадратов, и так же, как в Selfiecity, сами фильтровали данные, чтобы оставить только то, что нам подходит. Над проектом работала большая команда: четыре главных художника, студенты. Мы стали делать разные эскизы, чтобы понять, как это все представить, как дать человеку путешествовать через этот Бродвей, состоящий из данных.

Заказ на выполнение этого проекта был из публичной библиотеки Нью-Йорка, у их куратора даже смартфона не было, и ее коллеги звонили и говорили: «Выставка отменяется, она не может понять, куда тыкать пальцем». В результате мы сделали много различных эскизов. Можно было видеть какие-то корреляции: доход, точки посадки на такси, сколько изображений в Instagram и в каких местах люди расшаривают, и так далее.

От Уолл-Стрит до Колумбийского университета — больше туристов, больше social media, люди активнее берут такси, расположенные тут компании крупнее, у работающих тут выше доход. А на второй части Бродвея совсем другая жизнь, как будто это совсем другой мир. Люди победнее, меньше белых, меньше заходов в социальные сети. Когда мы стали в этом копаться, выяснилось, что сейчас в США процент белых, которые используют Instagram и другие социальные сети, ниже, чем процент афроамериканцев и выходцев из Латинской Америки. Тогда мы говорим: «Почему же так мало заходов в Instagram, Twitter и Foursquare в этих бедных районах?» Выяснилось, что все эти люди днем мигрируют в Манхэттен, идут на работу. Таким образом более богатые части города, где больше крупных компаний и туристов, становятся на протяжении дня еще более богатыми с точки зрения соцсетей, а более бедные районы наоборот, оскудевают.

On Broadway был художественным проектом, инсталляцией. Форма отображения информации, к которой мы пришли — это некий, я бы сказал, слоеный торт. Мы используем большой тачскрин, и вы можете путешествовать от дома к дому. Вы можете приближать изображение, расширить его пальцами, как на смартфоне или планшете. Когда вы движетесь по нашему изображению Бродвея, этот слоеный торт показывает вам, какие Instagram в этой части улицы, сколько в среднем отсюда совершают поездок на такси, заходят в Foursquare, тут же данные Google Street View, статистика.

###265 миллионов изображений

Когда я рос в Москве, была такая передача: «Делай с нами, делай как мы, делай лучше нас». Если у вас есть интерес, идеи и навыки, присоединяйтесь к работе лаборатории. В прошлом году мы выиграли конкурс от Twitter, и нам сказали: «Мы можем дать вам все, что угодно. Что вы хотите?». Я говорю: «Хочу все изображения, которые когда-либо были поставлены в Twitter». Они отвечают: «Мы даже не знаем, сколько у нас есть, никогда не смотрели. Так, 265 миллионов. Хотите?» И я говорю: «Давайте». И мы скачали.

Теперь в лаборатории есть сервер, на котором хранится 265 миллионов изображений со всего мира. И в первый раз в жизни у меня опустились руки: можно делать все, что угодно. В базе — все футбольные матчи, все недели мод, все революции. Что-то уже взяли в работу люди из лаборатории, но самые интересные проекты начинают делать коллабораторы — люди, которые пришли со стороны и сказали: «Вы знаете, я студент там-то, аспирант там-то, давайте работать вместе». Проекты, которые они у нас начали, основаны не на моей, а на их собственной энергии. Приглашаю и вас поработать вместе.