В данной статье я хочу рассказать как обработать папку с текстовыми PDF документами при помощи ChatGPT.

Время от времени у меня появляется задача обработать большое количество pdf-файлов содержащих нужную мне информацию. Для того чтобы обработать все документы, необходимо каждый PDF файл открыть прочитать и понять есть ли в файле нужная мне информация. Было бы здорово если бы я мог провести предварительную автоматическую обработку файлов и сохранить результат в текстовом файле, чтобы затем обработать только те файлы которые мне интересны.

К счастью современные технологии предоставляют такую возможность. Рассмотрим это задачу на примере папки на диске с резюме различных искателей я хочу вычленить из каждого документами фамилию имя отчество, должность и сколько лет опыта у каждого.

Сначала попробуем проверить возможно ли это на примере следующего запроса к chatgpt:

я хочу чтобы ты прочитал резюме кандидата и
вычленил профессиональные качества этого человека. 
Меня интересует следующая информация: имя, профессия, сколько лет опыта, индустрия
Постарайся выбирать только факты представленные в документе с минимумом допущений. 
Результат должен быть в json формате следующего вида 
{"ФИО":"Иванов Иван Иванович", "профессия": "software injeneer", "годаОпыта": "10 лет", "индустрия": "геймдев"}
Если информации недостаточно просто оставь поле пустым.

Как мы видим робот смог вычленить нужную мне информацию и вывести ее в нужном мне виде. Значит этот процесс можно автоматизировать.

Для начала на этой странице нужно создать ключи доступа к API chatgpt, чтобы обращаться к языковой модели программно:

После этого на этой странице следует оплатить стоимость API закинув любую сумму от 5 евро на счёт. Даже если у вас уже есть платная подписка к ChatGPT пользование API в нее не входит и оплачивается отдельно. Следует обратить внимание, что не все страны доступные для пользования API. России в частности в списке разрешённых стран нет.

Убедимся что у нас установлен nodejs и npm

# should be something like v20.11.1
node --version

# should be something like 10.8.2
npm --version

Для извлечения текста из pdf установим утилиту pdf2text

# ubuntu users
sudo apt-get install poppler-utils
# mac users
brew install poppler

pdftotext -h
# Copyright 2005-2024 The Poppler Developers - http://poppler.freedesktop.org
# Copyright 1996-2011, 2022 Glyph & Cog, LLC

Клонируем git репозиторий и устанавливаем зависимости.

git clone https://github.com/maxistar/pdf-analiser.git
cd pdf-analiser

# you can also use npm but pnpm is faster but you should install it first
pnpm install

В терминале экспортируем переменную окружения с нашим openai ключом.

export OPENAI_API_KEY="sk-xxxxx...

Запускаем командой npm start чтобы обработать тестовые pdf в папке data/cvs. После запуска результат обработки будет сохранен в файле data/output/files_yyyMMMddddhhmm.csv. Файл должен выглядить примерно вот так:

File Name,Size (bytes),name,title,experience,industry
Forrest Gump.pdf,155415,"Forrest Gump","house-husband/father","43 года","IT"
Forrest_Gump-1.pdf,155415,"Forrest Gump","House-husband/father","43 года",""
Forrest_Gump.pdf,155415,"Forrest Gump","","","Разработка ПО"

После того как мы убедились что все работает копируем наши файлы которые нужно обработать в папку data/cvs и запускаем обработку еще раз. 

Мы обработали папку с PDF файлами содержащими CV соискателей и сохранили интересующие нас данные в csv файл. Следует понимать что языковые модели могут выдавать при одних и тех-же запросах разные результаты, поэтому для более предсказуемого результата можно обработать набор несколько раз и усреднить результат.

Подобным образом можно обработать любое количество документов любого типа. Указанный метод не бесплатный. Обработка сотни документов обходится примерно 2 евро. Однако обработка вручную такого количества документов может оказаться еще дороже.

Сделал антресоль в коридоре. Антресоль спроектировал в OpenSCAD. Все-таки удобная эта штука — можно программировать в 3D любые объекты, будь то для 3D-принтера, будь то для проектирования мебели. Плиты ДСП купил в Hellweg рядом с домом, там есть сервис для резки купленных досок и я сразу нарезал нужную мне длинну. Лицевая панель демпфируется воздушными доводчиками с пружинами на сто ньютонов. Боялся, что ста ньютонов будет маловато, но оказалось, что в самый раз. Внутри полку закрепил металлическими уголками — не очень красиво, но внутри никто и не видит...

Теперь у меня есть больше места для хранения всякой всячины.

Исходники антресольки выложил сюда.

GPT4All это UI клиент компании Nomic который позволяет загружать большие языковые модели от разных производителей и работать с ними полностью offline.

Загрузил новую версию GPT4All и обнаружил что в ней теперь можно загружать свои файлы которые можно использовать для запросов к большой языковой модели.

Это значит что теперь можно, например делать запросы к своим заметкам, текстам книг, технической документации и т.п. Если это действительно будет хорошо работать, то это прям здорово!

Зеркальный тест — это эксперимент, разработанный в 1970 году психологом Гордоном Гэллапом-младшим, чтобы определить, обладают ли животные способностью распознавать себя в зеркале. Зеркальный тест — основной индикатор самосознания у животных и признак перехода в зеркальную фазу у детей в психологии развития. Дети начинают узнавать себя в зеркале начиная с возраста 18 месяцев.

В настоящее время известно, что зеркальный тест проходят все гоминиды: люди, карликовые шимпанзе, шимпанзе, орангутаны, гориллы. Кроме приматов в этом списке находятся также: афалины, косатки, слоны, сороки, гигантские морские дьяволы, муравьи, свиньи.

Интересно видеть в этом списке муравьев. В книге Бернарда Вербера "Муравьи" описывается как муравей, увидев свое отражение в зеркале понимает что видит себя. Я думал, что это художественный вымысел, но оказалось Вербер опирался на вполне научные факты.

Как можно было провести зеркальный эксперимент с муравьями? Оказывается, очень просто: муравьев помечали краской и показывали им их отражение. "При воздействии зеркала муравьи, отмеченные синей точкой, пытались очистить себя, касаясь метки. Подобных результатов не наблюдалось, когда муравьи были отмечены коричневой точкой, которая была того же цвета, что и их тело."

Двар Эв торжественно запаял золотом последний контакт. Двенадцать телекамер неотрывно следили за каждым его движением - трансляция шла на всю галактику.

Он выпрямился и кивнул Двар Реину. Затем подошел к выключателю, который скоро замкнет цепь. К выключателю, соединяющему одновременно все компьютеры всех обитаемых планет - девяносто шесть миллионов миров - в суперсеть, которая объединит их в один суперкомпьютер, единую кибернетическую машину, собравшую мудрость всех известных миров.

Двар Реин обратился с короткой, вступительной речью к биллионам телезрителей и затем, после короткой паузы, он произнес:

- Пора, Двар Эв!

Двар Эв нажал выключатель. Раздалось мощное гудение, пошла энергия девяноста шести миллионов планет. На бесконечно длинном пульте замигали разноцветные огоньки.

Он отошел назад и громко провозгласил:

- Честь задать первый вопрос принадлежит вам, Двар Реин!

- Благодарю, - ответил Двар Реин, - Это будет вопрос, на который не мог ответить ни один компьютер.

Он повернулся к пульту.

- Есть ли бог?

Могущественный голос раздался сразу.

- ДА. ТЕПЕРЬ БОГ ЕСТЬ!

Двар Эв понял не сразу, но потом страх исказил его лицо - он бросился к выключателю...

Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.

Frederic Brown. Answer, 1954. отсюда.

The Pillows (яп. ザ・ピロウズ Za Pirōzu, стилизовано под подушки) — японская альтернативная рок-группа, образованная в 1989 году. Группа выпустила 22 студийных альбома, несколько EP и сборников, а также более 40 синглов. За пределами Японии они наиболее известны как группа, ответственная за саундтрек к аниме-сериалу FLCL (читается как FOOLY COOLY).

Как-то не слышал эту группу, и совершенно напрасно. Некоторые вещи, как, например, эта, производят очень сильное впечатление. Похоже на The Beatles, как если бы они играли альтернативный рок. Прямо здорово! И теперь аниме FLCL тоже посмотрю.

Не только Илья Яшин был недавно освобожден, были в группе освобожденных и другие люди и история каждого из них по-своему драматична. Одним из людей которых взял в заложники Путин был Кевин Лик. 

Кевин Лик родился 10 мая 2005 года в небольшом немецком городке Монтабаур, в ста километрах от Кёльна. Его мать Виктория вышла замуж за русского немца Виктора Лика и беременной переехала в Германию. Кевин родился с двойным гражданином Германии и России. Его родители развелись, когда ему не было и 10 месяцев, и в 2017 году Виктория решила вернуться в Россию с сыном.

Старшеклассник из Майкопа (столица Республики Адыгея, Северный Кавказ) стал самым молодым человеком, когда-либо осужденным по статье о государственной измене в России. На момент ареста ему было всего 17 лет.

23 февраля 2023 года Кевин ехал с матерью из Майкопа в Сочи, когда сотрудники ФСБ объявили, что он арестован. В ту же ночь в их доме был произведен обыск.

Назначенный государством адвокат, которого им предоставили в то время, настоятельно рекомендовал мальчику признать себя виновным и пригрозил ему более суровым наказанием, если он этого не сделает. Кевин последовал ее совету и признал себя виновным.

Сегодня Кевин дома в Германии восстанавливается после российской тюрьмы в которой он провел 526 дней.

Вчера я был на встрече Ильи Яшина со сторонниками. Илью и еще несколько заключенных российских тюрем неделю назад обменяли на группу путинских шпионов. Встреча прошла на открытом воздухе в Мауэр-парке. Модерировала мероприятие ведущая Эхо Татьяна Фельгенгауэр. Яшин выглядел бодро, было видно что российская тюрьма его не сломила и он готов продолжать свою деятельность. Он рассказал, что за время, проведенное в тюрьме, ему прислали более 30 тысяч писем и открыток, из которых он ответил на более чем десять тысяч. Еще он рассказал, как важно писать политзаключенным и как сильно это их поддерживает и мотивирует продолжать борьбу.

Также на встрече выступили мать Владимира Кара-Мурзы Елена Гордон, и адвокат Яшина Вадим Прохоров.

На встречу, по данным организаторов, пришло более двух тысяч человек, что совпало с моими ощущениями. Люди время от времени спонтанно начинали скандировать "Путин - убийца!" и "Любовь сильнее страха!". Был один фрик, который пытался выкрикивать пропутинские лозунги, но поддержки он не получил и быстро ретировался.

Встреча прошла в очень позитивной, теплой и дружественной обстановке. Мне было приятно увидеть столько классных людей в одном месте!

Есть такие слова, которые отличаются всего лишь одной буквой. Но при этом они имеют разное значение, а иногда ещё и относятся к разным частям речи. К примерам таких слов можно отнести пару омофонов «длина» и «длинна». Существительное «длина» пишется с одной Н. Пример: длина реки, длина волос. Краткое прилагательное женского рода «длинна» пишется с двумя Н. Пример: река была длинна. Отсюда.

Вот оно как, моя жизнь никогда уже не будет прежней...

Месяц назад я собрал новую поливалку. Новый концепт заключался в том, чтобы сделать устройство максимально простым и дешевым. Устройство получилось настолько компактным, что поместилось в коробочку от тик-така. Раз в час устройство подключается к интернету, и если пора поливать, запускает моторчик на полученное с сервера время. Однако возникла проблема — устройство работает уже почти месяц, и я не знаю, сколько еще оно проработает, прежде чем батарейка полностью разрядится. Хотелось бы понимать, как долго оно может функционировать, при этом не прерывая уже начатый эксперимент.

Для решения этой проблемы я собрал новое устройство, пока на макетной плате. В этот раз я включил в устройство датчик влажности и датчик напряжения питания. Поскольку у ESP8266 только один АЦП, для коммутации источников я добавил в систему еще два полевых транзистора. В режиме 30 на 10 — тридцать секунд полива каждые десять секунд — устройство проработало пять часов! Это круто! При этом напряжение на батарее в режиме разряда в конце упало почти в два раза, и мой контроллер все еще функционировал. Так высаживать батарею нельзя, поэтому нужно предусмотреть какую-нибудь сигнализацию на этот счет. Но кажется, я на верном пути. Сейчас собираю новое устройство на нормальной макетной плате в форм-факторе "тик-така". С тремя транзисторами все поместилось, но монтаж получается довольно плотным. Кажется, пора учиться делать нормальные платы с SMD монтажом.