Hue did this?

Бионический глаз со Стэнфорда, который говорит с мозгом на его языке

Пока готовлюсь к следующему выступлению продолжаю учиться. Наткнулся на крутой проект по имитации процесса восприятия.

В Стэнфорде (лаборатория Э. Дж. Чичилниски) делают искусственную сетчатку, которая работает не так, как существующие импланты.

Обычные импланты бьют током по всем клеткам рядом с электродом сразу. Но в сетчатке человека около 20 типов ганглиозных клеток. Одни реагируют на свет, другие на темноту, третьи на цвет или движение. Это как оркестр: если все инструменты играют одну ноту, музыки не будет.

Идея Стэнфорда — управлять каждой клеткой отдельно:
— Имплант сначала «слушает» сетчатку. Он определяет, какие клетки и каких типов под ним лежат, и составляет словарь стимуляций.
— Затем камера на очках переводит изображение в точно рассчитанные импульсы для нужных клеток (оркестр начинает играть свою партию).
— На сетчатке обезьян и донорской человеческой сетчатке уже получилось вызывать ровно один спайк в одной клетке. Хватает импульса около 0,1 мс и тока около 1 мкА. Технология достаточно точна.

Самое интересное — дальше. Через такой имплант можно передавать в мозг то, чего глаз не видит: инфракрасный и ультрафиолетовый диапазоны, текст, изображения.

По сути, это нейроинтерфейс с очень широким каналом прямо в зрительную систему.

Пока это лабораторный прототип, на людях имплант ещё не испытывали.

Подробнее о проекте тут

Время ИИшницы! Приглашаем на митап, который пройдёт 22 октября в 18:30⤵️

В честь юбилейного года AIRI мы пересобрали формат ИИшницы и выходим в офлайн. Шесть спикеров выступят в формате печа-куча, а после обсудят тему агентов за круглым столом.

Спикеры:

➡️ Артемий Сахаров, специалист по анализу данных и машинному обучению, Р-Фарм
🔖 Цифровой контур R&D: ИИ-агенты для работы с мишенями и базами экспериментов

➡️ Ваня Ершов, руководитель разработки ИИ-агентов в «Алисе AI», Яндекс
🔖 Агент — это не только модель: как устроены современные харнессы

➡️ Владимир Димитров, Senior DS engineer в команде Авито Работа
🔖 AI Recruiter в Авито: агент, который проводит интервью

➡️ Владимир Шапошников, научный сотрудник группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине», AIRI
🔖 Агент сказал «готово». Проверяем

➡️ Евгений Володин, Технический директор, Антиплагиат
🔖 ИИ-агенты в образовании

➡️ Борис Заикин, к.т.н., исполнительный директор по исследованию данных, Сбер
🔖 RL агенты в исполняемых средах: опыт обучения 9B-модели в харнессе GigaAgent

Модераторы мероприятия — директор Центра ИИ-разработки новых лекарственных препаратов в AIRI Артур Кадурин и директор по маркетингу и коммуникациям AIRI Александра Бройтман.

Кстати, вы тоже можете стать спикером печа-кучи. Для этого направьте нам тему об агентах, с которой вы хотели бы выступить, и краткое описание к ней на почту [email protected]. Вместе с модераторами мы выберем двух спикеров и свяжемся с ними для подготовки к докладу🙂

Подробное описание митапа и регистрация на офлайн-формат на сайте.

Трансляция на YouTube и VK Видео⏯

#ИИшница

Сегодня (прям сейчас) у нас роскошный мастер-класс от арт-директора бюро промышленного дизайна «Масштаб», Ирины Ждановой, о том как хорошо делать иллюстрации (а для ученых это важно).

Вдруг есть время, заходи: https://telemost.yandex.ru/j/63389006341822

Объединяем исследователей для обучения ИИ долгосрочному планированию

Владислав Куренков, руководитель научной группы «Адаптивные агенты» Института AIRI, запустил открытое сообщество людей, работающих над системами планирования ИИ, чтобы вместе решить одну из самых неподатливых для искусственного интеллекта игр — NetHack.

У каждого участника будет свой способ получить программу, свои инструменты и своя стратегия, а общая инфраструктура позволит видеть результаты друг друга, сравнивать их между собой и продолжать разрабатывать решения друг друга.

Владислав рассказал, почему NetHack весьма полезна для обучения ИИ:
«Одна партия в NetHack — это десятки тысяч ходов. Жизнь у героя одна, сохранений нет, подземелье каждый раз новое, а игра по дороге ничего не подсказывает. Если вы сыграли плохо, то выясняется это тогда, когда ничего исправить уже нельзя. Когда мы запускаем наших ботов играть, то вторая по частоте причина их "смерти" — голод, потому что они не позаботились о еде за несколько тысяч ходов до финального момента. На таких же ошибках спотыкаются ИИ-агенты, когда пишут код: отдельный шаг они выполняют прекрасно, а на длинную дистанцию держать планку не могут. И NetHack в этом плане становится весьма полезной для обучения ИИ».

📎Подробнее про сообщество, игру и «интеллект» агента — в интервью «Ъ-Науке».

Мы с коллегами и с помощью прекрасного Марата Хамадеева написали на Хабр про нашу статью на ijcai.

Так хорошо написано, что я по-новому что-то понял Оо

https://habr.com/ru/companies/airi/articles/1082908/

Да, я наслышан, что делиться своими забегами это мовитон, но не могу не поделиться:

Сегодня Миша преодолел свою первую половинку и даже не проснулся :)

Привет! Мы запускаем компанию Аргус-1 — делаем автономные анализаторы для теплиц и фитокамеры для умного мониторинга агрохозяйств: теплицы, яблоневые сады, виноградники, и т.п. Устройство само осматривает растения, находит болезни, дефициты и отклонения на ранней стадии и отдаёт агроному готовую картину по хозяйству. За проектом стоит команда из МФТИ с сильным бэкграундом в компьютерном зрении, гиперспектральной съёмке и колориметрии. Сейчас собираем ядро команды — пять ключевых позиций, все в Москве, гибрид, полная занятость, официальное оформление. Буду очень признателен, если перекинете знакомым, кто подходит или может подсказать людей.

Лидер разработки. Человек, который возьмёт на себя техническую архитектуру продукта целиком и будет отвечать за то, чтобы железо, зрение и бэкенд собрались в работающее изделие. Важен опыт вывода технически сложного продукта в реальную эксплуатацию, а не только в пилот, и готовность быть играющим тренером: ревью кода и схем, приоритеты, найм команды. Ищем скорее CTO-профиль, чем менеджера.

Робототехник. Отвечает за движение и позиционирование анализатора внутри теплицы и в междурядьях сада: подвесные и рельсовые платформы, приводы, кинематика, навигация и SLAM, безопасность работы рядом с людьми и растениями. Ждём опыт реальных ездящих или ползающих устройств в промышленной или сельскохозяйственной среде, ROS/ROS2, работу с датчиками одометрии и локализации.

Инженер-электронщик (embedded). Отвечат за подробор готовых решений и разработку кастомизированных решений в проекте. Схемотехника и разводка многослойных плат в Altium или KiCad, питание и автономность, защита от влаги, конденсата и пыли. Плюс изготовление: КД, BOM, подрядчики по монтажу плат, испытания, полевые выезды.

Менеджер продукта. Держит связь между хозяйствами и разработкой: разговаривает с агрономами и владельцами, превращает их боль в требования, ведёт дорожную карту, отвечает за экономику устройства и метрики продукта. Важен опыт в высокотехнологичном B2B — промышленная автоматизация, агротех, приборостроени.

DevOps. Строит инфраструктуру для парка устройств в поле и для ML-контура: CI/CD, OTA-обновления прошивок и моделей на устройствах, сбор и хранение изображений и телеметрии, мониторинг, воспроизводимые пайплайны обучения. Нужны Linux, Docker/Kubernetes, IaC и понимание, что часть устройств живёт на плохой мобильной связи в поле.

Всем чудесного дня! ☕

Еще одна возможность поучаствовать в классном эксперименте) В этот раз у вас будет уникальная возможность бесплатно измерить с помощью ЭЭГ-оборудования, как ваш мозг различает цвета 🧠

Уважаемые коллеги,

Мы проводим эксперимент по колориметрии совместно с институтом когнитивных нейронаук, нужны добровольцы.

Мы попросим Вас смотреть на различные цвета с подключенным ЭЭГ, будем смотреть на реакцию Вашего мозга.

Требования:
- свободное время (8ч)
- усидчивость

Когда:
12-15 августа

Плюшки:
- вклад в сферу колориметрии
- ценный опыт участия в эксперименте
- еда
- чистая голова после эксперимента

По всем вопросам пишите: https://t.me/AverageRadioheadFan, https://t.me/phro1ow.

Ждём Вас на эксперименте!

По приглашению коллег из ЦУ оказался сегодня на IT пикнике. За что им большое спасибо, иначе моя тяжелая натура занималась бы просто привычными делами.

Буду сюда постить какие-то на мой взгляд нетривиальные, но занимательные мысли.

Слушая доклад Александра Поломодова.

Очень крутая мысль, что IDP (платформы для разработки) будут трансформироваться не под людей, а под агентов. Ценный инсайт.

Ещё одна мысль. Кажется, что коммуникация между людьми тоже будет меняться. Презентация на 250 человек полностью сделанная ИИшкой, читать невозможно. А слушать очень интересно и содержательно.

Давно не писал вам тут. А жизнь бьет ключом, буду иногда стараться делиться интересными событиями.

Сегодня с Артемом Паншиным выступили на форуме овощеводов про обнаружение патологий с помощью гиперспектральной сьемки.

Занимательный факт, мучнистую росу можно обнаружить на 4 день с момента заражения томата.

Данные об эстетическом восприятии фотографий

Учёные из группы «Цветовая вычислительная фотография» Института AIRI, ИППИ РАН, МФТИ, их коллеги из Хорватии и Италии и профессиональный фотограф Майкл Фриман предложили бенчмарк REPID. Это первый набор данных, в котором собрано эстетическое восприятие зрителя обработки фотографий через сравнение рендеров.

REPID построен на основе набора MIT-Adobe FiveK, который включает 30 000 фотографий — по 6 разных рендеров для каждой из 5 000 сцен. Эти сцены обрабатывали, а затем для каждой пары рендеров одной сцены собирали по 25 пользовательских голосов, чтобы измерить предпочтительность обработки. Выявилась общая тенденция: люди чаще выбирали более сдержанные рендеры снимков. Однако универсального стиля обработки не обнаружилось — выбор зрителя зависит от контента в кадре.

Этот набор данных покрывает новую область в исследовании человеческого восприятия и призван улучшить работу рекомендаций в фоторедакторах и галереях или для автоматического подбора визуально приятных стилей обработки.

https://www.nature.com/articles/s41598-026-54744-1 | https://www.computerra.ru/353597/uchenye-vyyasnili-kakie-fotografii-bolshe-nravyatsya-lyudyam/

Уважаемые коллеги,

Я рад сообщить, что мы проводим сбор мультимодального набора данных для задачи оценки взгляда в ИППИ и объявляем набор пользователей!

Мы попросим Вас следить за цветным стимулом на дисплее монитора (пример стимула показан на видео ниже).

📃 Требования:
- очное участие
- свободное время 40-60 минут
- паспортные данные (оригинал не нужен, только данные для заполнения согласия на сбор персональных данных)
- умение различать красный, оранжевый и зеленый цвет
- усидчивость

⏳ Когда:
- 16-31 июля (записаться можно в гугл https://docs.google.com/spreadsheets/d/1QkwxM-3R9IbT1rUtuAROmwgcS-fRGqThIGQK_mlHzx0/edit?usp=sharing в свободный слот, лучше открывать с ноутбука или ПК)

📍 Где:
- ИППИ РАН, 313 аудитория

💎 Плюшки:
- вклад в сферу глазного трекинга
- ценный опыт участия в эксперименте
- маленький сюрприз

🧐 Дополнительно:
- презентационный https://docs.google.com/presentation/d/1qA_S-D_XHM_tsVQSJboBx6Qt7U-4KcmIZJDvrnUw-Y0/edit?usp=drivesdk

Если у Вас есть вопросы, пишите: https://t.me/notawhalel, +7 (923) 443-89-92

Ждём Вас на эксперименте!

У нас тут на Большом Каретном проходит занимательное исследование по отслеживанию движения глаз. Смотрим насколько будет точно работать в условиях низкой освещенности.

Если кто не знал, первый айтрекинг в мире сделал Альфред Ярбус, сотрудник ИППИ РАН.

Кому интересно — пишите, буду очень рад :)

Давно не выкладывал постов от себя личных. Во многом из-за шквала личных и рабочих событий. Буду искать новый формат для организации этой работы, в пока поделюсь хорошей новостью.

Мы учреждаем компанию, которая будет заниматься автоматизацией мониторинга сельских хозяйств. А я потихоньку превращаюсь в эксперта по защите растений :)

Уважаемые коллеги,

Мы продолжаем сбор мультимодального набора данных для задачи оценки взгляда в ИППИ и объявляем набор пользователей!

Мы попросим Вас следить за цветным стимулом на дисплее монитора (пример стимула показан на видео ниже).

📃 Требования:
- очное участие
- свободное время 40-60 минут
- паспортные данные (оригинал не нужен, только данные для заполнения согласия на сбор персональных данных)
- умение различать красный, оранжевый и зеленый цвет
- усидчивость

⏳ Когда:
- 14-30 сентября (записаться можно в гугл таблице в свободный зеленый слот, лучше открывать с ноутбука или ПК)

📍 Где:
- ИППИ РАН, 313 аудитория

💎 Плюшки:
- вклад в сферу глазного трекинга
- ценный опыт участия в эксперименте
- маленький сюрприз

🧐 Дополнительно:
- презентационный материал

Если у Вас есть вопросы, пишите: @notawhalel, +7 (923) 443-89-92

Ждём Вас на эксперименте!

🎤Что происходит внутри камеры после того, как вы нажали на кнопку?

Почему цвета на фото отличаются от того, что мы видим глазами?

Как камера превращает сигнал с сенсора в готовое изображение?

И где во всём этом появляются алгоритмы и нейросети?

📤📤📤📤📤📤
На курсе «Основы вычислительной фотографии» в МФТИ разберём, как устроена современная фотография — от физики света и RAW-сигнала до обработки изображений и ML.
📤📤📤📤📤📤

Что будет на курсе?

✅как камера воспринимает свет и цвет;
✅RAW, цветовые пространства и цветокоррекция;
✅image pipeline: демозаика, баланс белого, шумоподавление, HDR и tone mapping;
✅классические и нейросетевые методы computational photography;
✅практика в коде — будем не только обсуждать алгоритмы, но и реализовывать их вместе.

Курс подойдёт тем, кому интересны компьютерное зрение, обработка изображений, ML и то, как на самом деле работают камеры. Глубоких предварительных знаний по фотографии не требуется.

Формат: лекции + практикумы

Для кого: студенты 2+ курса всех физтех-школ

Когда: понедельник, 18:30 [начиная с 21 сентября]
Где: Физтех.Арктика, ауд. 424

Преподаватели: Ясин Мамедов (t.me/yasinowo) и Ершов Егор Иванович (t.me/eershoff)

Приходите разбираться в вычислительной фотографии с нами!

Аргус-1 ищет лидера разработки / hands-on CTO-level tech lead.

Аргус-1 строит технологическую компанию в области computer vision, робототехники и агротеха — при поддержке «при поддержке сильного инвестиционного и индустриального партнеров (настолько сильных, что пока не можем их называть) и МФТИ. Мы объединяем индустриальную экспертизу, корпоративную и финансовую поддержку от лидеров рынка и сильную научно-инженерную базу, чтобы создавать решения мирового уровня для сельского хозяйства.

Цель — стать национальным чемпионом в CV для сельского хозяйства и глобальным поставщиком технологий цифрового скаутинга: мониторинг растений, анализ состояния хозяйства, автономные платформы, камеры, edge AI, облачная инфраструктура и инструменты для агрономов.

Ищем человека, который возглавит разработку и будет не только управлять, но и делать руками (и, конечно, агентами): определять архитектуру, собирать и развивать команду, писать код, выстраивать инженерные процессы и доводить сложные CV/robotics-продукты до реальной эксплуатации.

Стек: C/C++17/20, Python, PyTorch/TensorFlow, ONNX, OpenVINO, OpenCV, FastAPI, PostgreSQL, Redis, Docker, NVIDIA Docker, DVC, Linux, NVIDIA Jetson, Raspberry Pi/NanoPi. Будет особенно круто, если есть опыт с камерами, ИК-съёмкой, embedded Linux, робототехникой, автономными платформами, драйверами/сенсорами и edge AI.

Это роль для человека, которому интересно строить с нами по-настоящему большую технологическую компанию на стыке AI, hardware, робототехники и реального сельского хозяйства. Поскольку это ключевая позиция для неё предполагается возможность получения опциона по результатам достижения KPI.

Если знаете сильного кандидата — буду очень благодарен за интро или пересылку.
Можно писать мне в личку, @eershoff.

Контекст проекта: выступление на Data Fusion 2025, ориентировочно с 35-й минуты.

Решил попрактиковать новую форму образовательного процесса.

Заранее оговорюсь, что мне довольно легко, поскольку я стараюсь вести не обязательные, а факультативные предметы, что позволяет мне рассказывать больше профильного, нежели общеобразовательного и поэтому нет задачи "донести знание" до студентов

Короче. Из года в год я стараюсь улучшать свой курс по цвету и вычислительной фотографии, адаптируя его содержание и формат работы со студентами. Раньше я любил их вовлекать в международные соревнования по выч. фото, но их маловато, сложно подгадать.

Любой, кто сейчас читает курс подтвердит, что есть кризис домашних заданий. В целом сейчас любой студент с руками может нагенерить любую домашку очень крутого качества. И как-то глупо превращать курс в палево токенов.

Пока самое удачное решение, которое, подозреваю, все уже в разной форме озвучвали, является возврат к маевтике. Курс снова превращается в некоторые сократовские диалоги, где во главу угла становится именно, что коммуникация преподавателя и студентов.

Вооружившись этой мыслью мы сегодня с ребятами буквально совместно разработали систему оценивания, а также сбалансировали содержание курса, вот к чему пришли:

Как идёт занятие

До пары. Преподаватель рассылает материалы к следующей лекции. Студенты готовят вопросы — это основная активность, не код.
На паре. Повествование лектора и разбор принесённых вопросов. Тест — раз в три занятия.
Практика. Отдельных семинаров нет. После лекции 2 — один демо-семинар; на нём решаем, что входит в 0.4 практики (скорее всего — внутри лекций, без второй сетки занятий).

Система оценки: 0,5 зачет + 0,25 активность + 0,125 тесты + 0,125 посещаемость + 0,4 практика

На мой взгляд это может быть интересным форматом, поделюсь в конце семестра, что получилось :)

Коллеги, добрый день! В честь проведения Летней школы кафедры ИППИ РАН мы приглашаем всех желающих на Читально-журнальный клуб. Цель — познакомиться с современными продвижениями в колориметрии и вычислительной фотографии.

Формат мероприятия простой: в начале выделяется время для того, чтобы все участники ознакомились с текстом работы или некоторой его частью (в зависимости от работы), после чего основные положения, идеи и результаты обсуждаются в открытом формате. Это позволяет и прояснить места, оставившие вопросы, и предложить критику используемых подходов, и обсудить возможность развития идей, предложенных в тексте. Чтобы обсуждение не заходило в тупик, заранее выбранный участник изучает работу заранее и выступает в роли ведущего обсуждения.

Когда: четверг, 9 июля, 17:10
Где: ИППИ РАН, аудитория 615
Что (читаем): Zhao L. et al. Learning Camera-Agnostic White-Balance Preferences (см. прикрепленный файл).

Открыто для всех заинтересованных. По вопросам обсуждения пишите https://t.me/zythorn.

Чудесного дня! 🌞

SVD и задача Прокруста: от линейной алгебры к оптимизатору Muon

💻 SVD — старая формула из учебника или все еще up-to-date?

SVD является одним из фундаментальных инструментов линейной алгебры, численных методов и современных алгоритмов машинного обучения.

На лекции рассмотрим существование сингулярного разложения, теорему Эккарта–Янга–Мирского о наилучших низкоранговых приближениях, классическую задачу Прокруста о поиске наилучшего ортогонального приближения, а также связь этих идей с оптимизатором Muon и итерацией Ньютона–Шульца.

Это лекция доя тех, кто хочет не просто знать формулы, а понимать, как из них рождаются технологии.
Увидимся!⚡️


🏣Большой Каретный п-ок, 19с1; аудитория 615.

Чудесного дня! 🤍

А теперь представляем лекции:

Проактивная наука: почему, как и зачем?

📈 От гипотезы до производства: новый кодекс ученого

Сегодня уже недостаточно просто сделать открытие и написать статью. Важно понимать, как твои исследования превращаются в реальные продукты, адаптируются под рынок и работают в мире, который ускоряется с каждым днём.

На лекции обсудим: чем реально занимается ученый сегодня? Почему без генеративного ИИ сейчас как без рук? И главное: как свои наработки превратить в деньги, а не просто в цитирование?
Готовьтесь: ваше восприятие науки может измениться!

До встречи! 🤍


📍Большой Каретный п-ок, 19с1; аудитория 615.

Яркого дня!🎪

Все меньше дней до Летней Школы, все больше потрясающих курсов 🤩


Лингвистические универсалии и сложность языка

📖 Правда ли русский сложнее английского?

Естественные языки часто сравнивают по «сложности», но что именно означает сложность языка — как её объективно измерить?

Один из способов подойти к этому вопросу — исследовать лингвистические универсалии, то есть фундаментальные закономерности в текстовых данных, которые можно описывать количественно.

В курсе рассмотрим связь между лингвистическими универсалиями и сложностью языка, познакомимся с метриками сложности, их свойствами и ограничениями, а также обсудим применение этих идей в анализе текстов, изображений и других типов данных.

Готовы разобраться в лингвистической магии? Присоединяйтесь!✨


📍Большой Каретный п-ок, 19с1; аудитория 615.
Если у вас нет пропуска ИППИ, сегодня напишите https://t.me/zay_rina.

А вот и расписание лекционной части Летней Школы🔥

Замечательного дня! ☕️

И еще один мини-курс из нашей чудесной серии:

Введение в математическую статистику

⌨️ Почему точечная оценка — всему голова в ML?

Если вы думали, что машинное обучение — отдельная инженерная дисциплина, приготовьтесь удивляться. Оно допускает и формальную интерпретацию с точки зрения математической статистики. Пусть не все модели получается описать строго, но многие утверждения, выполненные для простых моделей, помогают понять и работу нейронных сетей, в том числе больших языковых моделей. Мы разберем несколько формальных сюжетов и обсудим их связь с общими идеями машинного обучения.

Приходите разбираться вместе!

📍Большой Каретный п-ок, 19с1; аудитория 615.
Если у вас нет пропуска ИППИ, до завтра напишите https://t.me/zay_rina.