Видео пятилетней давности но как будто про сегодня. Это и отличает настоящего гения от просто артиста - песни гения живут вне времени и пространства.

Размышления о трансформерах, механизме внимания и природе выводов в нейронных сетях

"В нейронных сетях индукция неотличима от дедукции." — Насим Николас Талеб

Эта фраза Талeба натолкнула меня на неожиданную мысль. Мы привыкли думать, что искусственный интеллект основан на строгой логике — алгоритмах, правилах, вычислениях. Но если присмотреться к тому, как работает современный ИИ — особенно трансформеры, лежащие в основе моделей вроде GPT, Claude или Gemini — становится ясно: он действует скорее как Шерлок Холмс, чем как академик-логик.

Индукция, дедукция и абдукция

Три способа логических выводов:

• Дедукция — от общего к частному. Все люди смертны. Сократ — человек. Следовательно, Сократ смертен.
• Индукция — от частного к общему. Все птицы, которых я видел, летают. Значит, все птицы летают?
• Абдукция — построение наиболее вероятного объяснения фактов. На полу вода, окно открыто. Вероятно, шёл дождь.

Хотя сам Шерлок Холмс говорил о «дедуктивном методе», на деле он действовал абдуктивно — строил правдоподобные гипотезы на основе ограниченного числа улик.

Attention — это не логика, а внимание

Архитектура Transformer, описанная в статье “Attention is All You Need”, перевернула представление о нейросетях. Вместо рекурсии или свёрток она использует механизм внимания, позволяющий каждому элементу «видеть» другие элементы и решать, кто важнее — с какой долей вероятности.

Это и есть ключ: вероятность, а не правило.

Attention — это не логическая операция. Это абдукция в действии:

Что из контекста важно, чтобы угадать наилучшее продолжение?

Нейросети как абдуктивные мыслители

Во время обучения трансформеры используют индукцию — они обобщают паттерны из огромного массива данных. Но при генерации текста или ответа они действуют абдуктивно: на основе частичной информации строят наиболее вероятное объяснение или продолжение.

И вот в чём самое интересное: человеческий мозг работает точно так же. Когда мы принимаем решения, додумываем фразы, вспоминаем имена, мы не «доказываем» и не «логически выводим». Мы угадываем — с опорой на опыт, интуицию и контекст.

Разница лишь в масштабе:

у мозга меньше обучающих примеров (у нас нет доступа к миллиардам документов),

у нас ограничена кратковременная память (7±2 единицы информации — по Миллеру),

и наш опыт ограничен временем и субъективностью восприятия.

Нейросеть — это абдуктивный мыслитель, как человек, но с гиперобъёмом памяти и статистическим чутьём, натренированным на всем корпусе человеческого знания.

И тут всё становится элеме​нтарно.

Когда мы говорим, что нейросеть «думает», мы имеем в виду не цепочку доказательств, а гипотетический, вероятностный вывод. ИИ — это не калькулятор, не дедуктивная машина. Он ближе к интуиции, к догадке, к сценарию Шерлока Холмса.

ИИ — это интуиция, масштабированная до предела. Он не Эвклид. Он — Шерлок. И именно поэтому фраза «Это элементарно, Ватсон» сегодня как никогда уместна. 

моя статья на LinkedIn на аглицком

Мои хорошие знакомые Тимур и Катя устраивают миниконференцию. Eсли вы в Германии и особенно в Берлине приглашаю присоединиться! Конференция откололась от проекта ПеределаноКонф, организаторы решили что могут все сделать сами еще круче.

Вот их новый сайт. Очень хочется чтобы мероприятие состоялось - предыдущий их ивент получился на славу!

Привет, дорогие друзья!

Мне нужна ваша помощь. Если вы пользуетесь умными часами на Android Wear OS (не Apple Watch), возможно, вы сможете мне помочь!

Я создал собственный циферблат для смарт-часов. Однако из-за новых правил Google Play перед публикацией нужно провести этап закрытого тестирования.

Я ищу как минимум 12 человек с часами на Wear OS, которые готовы установить циферблат и оставить его на устройстве минимум на 14 дней.

Идея проста: показывать новое вдохновляющее высказывание каждый день. Я верю, что у этого проекта большой потенциал.

Если вы можете помочь — пожалуйста, напишите мне на мой Telegram @maxistart. Чтобы добавить вас в закрытое тестирование, мне понадобится ваш Google-адрес электронной почты, чтобы отправить приглашение.

Спасибо за вашу поддержку!

Чтобы податься на немецкое гражданство, нужно сдать экзамен на знание немецкого языка и экзамен на знание немецких реалий. Записаться на экзамен по немецкому просто, а сдать — сложно. Записаться на экзамен по знанию немецких законов, наоборот, сложно, хотя сам экзамен простой. Экзамен принимается в отделениях Volkshochschule по всей стране, однако желающих столько, что запись можно получить в лучшем случае за полгода, а то и за год вперёд.

Я решил сломать систему и сдать экзамен в другом городе — и у меня получилось! Чтобы записаться на экзамен, я написал в VHS в Шверине, что в трёх с половиной часах на поезде от Берлина. К моему удивлению, мне перезвонили и записали на июль (дело было в апреле).

Вчера съездил и сдал экзамен. Вопросы из серии: какая система управления в Германии — с вариантами ответов типа монархия, диктатура, демократия. На ответы на 35 вопросов даётся 1 час, я уложился за 20 минут. Теперь жду результата, который должен прийти по почте через несколько недель. После этого можно будет подавать документы и запасаться терпением, ибо процесс рассмотрения документов длится годами — но тут уж ничего не поделаешь.

Хочу сегодня поставить в блог фрагмент из аниме "Меланхолия Харуки Судзумии". А что, мой блог, что хочу то и ставлю. Аниме, кстати, шикарное!

Тот случай, когда команда по озвучке продела отличную работу и перевод получился не чуть ни хуже оригинала.

Выпустил новую версию Morse Trainer На 100% технический релиз. Обновил Android SDK на версию 35, последнее время Google просит использовать только последнюю версию их SDK иначе пессимизируют в выдаче. Хоть приложение было сделано только для фана но нужно соответствовать... Завтра выйдет новый Lingvy (если получится победить сборку).

Выпустил новую версию Простого Текстового Редактора. На 90% технический релиз. Обновил Android SDK на версию 35, последнее время Google просит использовать только последнюю версию их SDK иначе пессимизируют в выдаче. Поправил баг с переключением языков - экран настроек игнорировал переключение языка в приложении.

Приехали полуторные кейкапы для моей клавиатуры. По какой-то причине дизайнер, разработавший этот корпус, хотел видеть именно клавиши полуторной ширины по бокам. На мой взгляд с практической точки зрения это имеет мало смысла, но раз художник так видит будем следовать его плану.

Вернулся из поездки в Россию. Было интересно повидать свой родной город, встретиться с родственниками, которых не видел много лет. Впечатления от поездки остались сложные. Пока я был в Саратове, в соседнем городе Энгельсе был подбит нефтеперерабатывающий завод, и полнеба было затянуто чёрным дымом. Люди при этом, как в фильме «Не смотри наверх», стараются жить своей жизнью, строить планы на будущее, делать свои повседневные дела. Интернет периодически пропадает, заблокированы YouTube, Instagram и другие сайты. Я понимаю людей, которые стараются не замечать происходящее вокруг, ведь иначе в этой стране не выжить. Власти подавляют любое проявление недовольства. Надеюсь, что те, кто довёл страну до такого состояния, когда-нибудь перестанут функционировать, ведь все войны когда-нибудь кончаются, а человек смертен. Хочется, чтобы это случилось при моей жизни.