Уявіть собі світ, де взаємодія з технологією стає максимально природною. Без складних команд, заплутаних інтерфейсів або годин витрачених на вивчення інструкцій. Саме таке майбутнє дарує Chat GPT— потужний інструмент штучного інтелекту, який змінює спосіб, у який ми взаємодіємо з комп’ютерами.
GPT (Generative Pre-trained Transformer) — це модель машинного навчання, розроблена для створення текстів. Вона здатна розуміти контекст, відповідати на запитання, писати статті, аналізувати дані та навіть допомагати у вирішенні складних завдань. Але що робить Chat GPT настільки особливим?
Історія створення
Значне зрушення у розвитку ШІ відбулося завдяки представленій у 2017 році дослідниками з Google Brain архітектурі глибоких нейронних мереж – Transformer. Якщо дуже спрощено – трансформери приймають на вхід одну послідовність даних, та видають на вихід іншу, перетворені за наданим алгоритмом. Таким чином, трансформери здатні вирішувати різноманітні види завдань за рахунок можливості обробки тексту, графічних представлень, звуку тощо.
Трансформер зручний у застосуванні та здатний масштабуватися за рахунок того, що у його основі прості модулі та блоки, що легко поєднуються та комбінуються. У свою чергу це дозволяє простою мірою здійснювати масштабування. Більш ранні варіації нейромережевих моделей до появи трансформерів були не здатні швидко обробляти потрібну кількість масивів даних з потрібною швидкістю По аналогії з рекурентними нейронними мережами (РНМ) трансформери призначені для обробки послідовностей, таких як текст природною мовою, вирішення таких завдань як машинний переклад і автоматичне реферування. На відміну від РНМ, трансформери не вимагають обробки послідовностей по порядку. У цьому випадку, дані – це текст. Трансформеру не потрібно обробляти кінець тексту після обробки його початку, завдяки чому, РНМ і може бути швидше навченою.
Штучний інтелект
GPT є продуктом багаторічних досліджень у галузі штучного інтелекту. Компанія OpenAI, яка стоїть за розробкою цієї технології, почала свою роботу над GPT-1 ще у 2018 році. Перші версії вже демонстрували вражаючи результати саме завдяки застосуванню архітектури Трансформера, але саме GPT-3 та GPT-4 стали справжнім проривом.
Вихід другої версії завдячував тому, що розробники збільшили набір тренувальних даних та об’єм самої модель, а саме збільшення її параметрів. Цей процес пов’язаний з дуже цікавим фактом того, звідки розробники з OpenAI отримали похідні данні для навчання – форуму Reddit були отримані посилання, що набрали більше трьох схвалень. Після цього, інформація за отриманими посиланнями (усього їх вийшло більше восьми мільйонів), була використана у якості навчального матеріалу для другої моделі, що вийшла у 2019 році, текстових даних було застосовано більше 40 гігабайт.
Головна ідея GPT полягає в тому, щоб навчити модель на величезних обсягах текстової інформації, після чого вона здатна:
- розуміти природну мову;
- створювати зв’язний текст;
- адаптувати стиль і тон залежно від контексту.
GPT 2 перевершила попередницю за обсягом текстових даних, що використовувались для навчання, та за розміром самої моделі (кількість параметрів) у 10 разів. Таке кількісне зростання привело до того, що модель оволоділа якісно новими навичками: складання есе зі зв’язним змістом, вирішення доволі складних завдань, що потребують зачатків побудови картини світу.
GPT Chat — це не просто модель. Це інструмент, що дозволяє інтерактивно використовувати GPT для спілкування. Такий формат відкриває двері до широкого спектру застосувань.
Моделі Plus Size
Чим більш складне рівняння використане всередині моделі (чим більше в ньому параметрів) — тим краще модель передбачає ймовірності, і тим більш правдоподібним буде згенерований нею текст. На момент готовності до релізу, у моделі GPT-2, тексти стали отримувати настільки хорошої якості, що дослідники з OpenAI навіть побоялися оприлюднити модель у відкритому доступі з міркувань безпеки.
GPT-3
GPT-3, що вийшла у 2020 році вже мала у моделі 175 мільярдів параметрів. Розгалужена нейромережа при цьому сама по собі мала об’єм у 700 гігабайтів. Набір даних для навчання GPT-3 розробники збільшили у 10 разів до 420 гігабайт, де за основу були закладені різноманітні книжки, текст Вікіпедії та ще безліч інтернет‑ресурсів. У даному випадку в процесі вивчення отриманих даних генерується інформація про різні взаємозалежності всередині них, яка перевищує обсяг вихідної інформації. Таке узагальнення моделлю дозволяє ще краще попереднього робити екстраполяцію — тобто, показує ліпші результати в завданнях на генерацію текстів, які при навчанні зустрічалися дуже рідко або не зустрічалися зовсім. Тепер вже відпала потреба вчити модель вирішувати конкретну задачу — замість цього достатньо описати словами проблему, дати кілька прикладів, і GPT-3 вже достатньо цього, щоб працювати з наданим набором змінних.
GPT-3.5
GPT-3.5 (також відома як InstructGPT) з’явилася на початку 2022 року, і головна її особливість полягала у додатковому доопрацюванні на основі зворотного зв’язку безпосередньо з користувачами. Ця модель не стала кращою у кількісному вимірюванні, але при цьому вона навчилася надавати відповіді такої якості, щоб повною мірою задовільнити запит.
ChatGPT
ChatGPT вийшла в листопаді 2022 року — приблизно через 10 місяців після InstructGPT/GPT-3.5 — і миттєво отримала популярність. При цьому з технічної точки зору в неї немає особливих відмінностей від InstructGPT. Модель дотренували на додатковому діалоговому наборі даних. Адже є речі, які специфічні саме для роботи ШІ асистента у форматі діалогу: наприклад, якщо запит користувача не зрозумілий — то самій моделі потрібно поставити уточнююче запитання.
Основні технічні характеристики: архітектура, кількість параметрів тощо, нейромережі не змінилися кардинально з минулого релізу. Головний секрет успіху ChatGPT – це зручний орієнтований на користувача інтерфейс. До InstructGPT звертатися можна було лише через спеціальний API-інтерфейс, а ChatGPT отримала звичний інтерфейс «діалогового вікна» та публічний доступ. Цього виявилося достатньо для того, щоб модель набула неймовірної популярності у різноманітних сферах застосування – відмітку в 1 мільйон користувачів стартап досяг у перші п’ять днів після релізу, а за 100 мільйонів перевалив лише за два місяці.
GPT-4
14 березня 2023 року світ побачив реліз GPT-4 (Generative Pre-trained Transformer 4), що отримала можливість на вході, крім текстів, ще й зображення, причому навіть не по одному – а одразу декількох. Відповіді на запитання щодо зображення, і загальний принцип роботи з графічними даними вже існували і до релізу GPT-4 – такі моделі називають «мультимодальними», оскільки вони можуть працювати одразу з двома та більш модальностями (текст, зображення, а в деяких випадках – навіть звук або 3D моделі). Але при цьому нова GPT-4 начисто б’є практично всі спеціалізовані та вузькоспрямовані системи відповідей на запитання щодо зображень у найрізноманітніших завданнях (її результати краще у 6 з 8 протестованих наборів даних, причому часто більш ніж на 10%).
Новою особливістю GPT-4 стала можливість генерувати вихідний код. Для програмістів – це спосіб швидше вирішувати рутинні завдання, приділяючі більше уваги саме складним задачам, з якими модель поки не справляється. Згідно дослідження GitHub, час, витрачений на програмування у користувачів асистента Copilot, скоротився на 55%, а кількість вирішених завдань зросла.
Стосовно обсягу тренувальних даних задіяних у навчанні GPT-4 відомо зовсім небагато: судячи з значного покращення відповідей моделі різними мовами, тепер у вибірці більше контенту з неанглійських сайтів та книг. При цьому OpenAI зазначили, що використовували, крім іншого, ліцензовані набори даних від третіх осіб – це один із перших подібних випадків на нашій пам’яті (раніше здебільшого дані використовувалися без якогось спеціального дозволу). І це не має сенсу: адже в сусідній галузі генерації зображень на розробників нейромережі StableDiffusion вже є позови до суду за незаконне використання чужих зображень.
Як працює модель
Основним принципом роботи мовних моделей є прогнозування вірогідності застосування наступного слова, що буде застосоване у реченні (увесь масив речень порівнюються з вже наданим результатом слово за словом). Таким чином, це співмірно з просунутою моделлю усім відомого Т9, але перепрацьованого певною мірою, якщо взагалі буде доречним таке порівняння для сучасних версій ШІ – цей приклад скоріше наведено для простішого сприйняття інформації.
Велика мовна модель (Large language model) — це тип моделі машинного навчання, розроблений для завдань обробки природної мови, наприклад генерування мови. LLM — це мовні моделі з багатьма параметрами, які навчаються за допомогою самостійного навчання великої кількості тексту.
Generative pre-trained transformer (GPT) це тип великої мовної моделі (LLM) та по своїй суті основа для текстового штучного інтелекту. Це штучна нейронна мережа, яка використовується для обробки природної мови за рахунок використання процесорного часу. Він базується на трансформаторній архітектурі глибокого навчання, попередньо навчений на великих наборах даних немаркованого тексту та здатний генерувати новий людиноподібний вміст.
Принцип роботи останніх версій GPT Chat — це аналіз запитів користувача та генерування відповідей, які максимально відповідають запиту. Це досягається завдяки кільком ключовим етапам:
- Попереднє навчання: модель вивчає величезну кількість текстів, щоб зрозуміти, як працює мова, які існують патерни та як взаємодіють слова між собою.
- Тонке налаштування: після базового навчання GPT адаптується до конкретних завдань. Наприклад, для використання у чаті модель налаштовується таким чином, щоб її відповіді були більш природними й зрозумілими.
- Взаємодія з користувачем: коли Ви пишете запит, GPT аналізує його, враховує контекст, а потім генерує відповідь.
Завдяки цьому GPT Chat здатний вести діалоги, що дуже нагадують спілкування з людиною. Але як це виглядає на практиці?
Промпти
Промпт — запитання, чи завдання, яке користувач ставить під час спілкування з мовною моделлю штучного інтелекту.
Prompt представляє собою запит, який робить користувач до мовної моделі і чім точніше він прописаний (зрозумілішим для моделі), тим більш якісною буде відповідь на виході.
Без опису цілі та без прикладів у підказці, модель також зрозуміє проблему, але результати можуть буди дещо гіршої якості. Можна сказати, що деталізована підказка дозволяє GPT краще оцінити ймовірність слів, які потрібно згенерувати в якості відповіді, направляючи її у «потрібне русло».
Вартість
У мовних моделей є кілька характеристик, які тісно пов’язані між собою: це кількість параметрів, швидкість роботи, і ціна (зазвичай її виставляють у розрахунку на 1 тисячу слів-токенів, що подаються на вхід моделі в промпті та одержуються на виході у відповіді). Чим більше параметрів у моделі, тим повільніше вона працює (доводиться обраховувати гігантські рівняння для генерації кожного слова) і тим дорожче обходиться її експлуатація (оскільки потрібні більші обчислювальні потужності).
Нижче ми спробували зібрати докупи те, що нам відомо про ціну використання API (інтерфейсу доступу) різних моделей, а також про кількість параметрів цих моделей.
GPT-3.5 (кодова назва Davinci)
Велика модель на 175 млрд параметрів, коштувала $0,02/1 тис. токенів.
GPT-3.5 (Curie)
Оптимізована версія, яку скоротили до 6,7 млрд параметрів, та знизили ціну на порядок до $0,002/1 тис. токенів.
ChatGPT (неоптимізована legacy-версія, що з’явилася першою в грудні 2022 року)
Ціни ми тут не знаємо, але за непрямими ознаками можна зробити висновок, що кількість параметрів у неї було порівняно з GPT- 3.5/Davinci – близько 175 млрд параметрів.
ChatGPT (оптимізована GPT-3.5-turbo з лютого 2023 року)
OpenAI випустили оновлену версію моделі – яка за їхніми заявами скорочувала в 10 разів по відношенню до минулого, груднева версія. Коштувати вона стала $0,002/тис. токенів – стільки ж, скільки коштує GPT-3.5/Curie – отже, можна припустити, що кількість параметрів там такого ж порядку (7-13 млрд).
GPT-4
Ціна на API цієї моделі становить зараз $0,03-0,06/1 тис. токенів – у півтора-три рази дорожче, ніж GPT-3.5/Davinci. Це може означати, що і параметрів у неї в кілька разів більше, ніж у Davinci (у тієї було 175 млрд), або пояснення ще простіше – OpenAI вирішили збільшити ціну використання. Адже навіть обрахунок моделі на 175 млрд параметрів – вже дуже серйозне обчислювальне завдання, що вже говорити про збільшення навантаження, можна припустити, що розмір GPT-4 знаходиться приблизно на схожому рівні.
Поліпшення також відбулися ще в одному важливому, але більшою мірою технічному параметрі – це збільшення максимальної довжини промпту моделі до 32 тисяч токенів.
Токени
Мовні моделі насправді оперують не окремими словами, а токенами – це може бути як ціле слово, так і його частина (рідше – буква або одна цифра). Зокрема, як токен модель може сприймати корінь слова або його закінчення, і тоді одне слово розбиватиметься на два. Саме це в тому числі допомагає мовним моделям з граматикою: їм не потрібно запам’ятовувати десятки різних форм слів у всіх відмінах – натомість достатньо «вивчити» корінь слова та різні суфікси/закінчення як окремі токени, які дозволяють робити з нього всі потрібні форми .
У середньому один токен приблизно дорівнює 3/4 слова англійською
Застосування Chat GPT
GPT Chat можна ефективно застосовувати у багатьох сферах, кожна з яких отримує певні переваги завдяки можливостям цієї технології.
Освіта
GPT Chat став справжнім помічником для студентів і вчителів. Інструмент здатний пояснювати складні теми, допомагати з написанням есе або створювати інтерактивні навчальні матеріали. Це робить процес навчання доступнішим і гнучкішим, адаптованим до потреб кожного користувача.
Робота й бізнес
У світі бізнесу моделі на базі штучного інтелекту знаходять широке застосування. Вони допомагають автоматизувати клієнтську підтримку, писати звіти та створювати контент для маркетингових кампаній. Швидкість і точність, з якими інструмент виконує ці завдання, дозволяють компаніям значно економити час і ресурси.
Медицина
Хоч GPT і не замінює лікарів, він може стати корисним помічником у медицині. Інструмент здатний надати загальну інформацію про симптоми, пояснити складні медичні терміни або створити базові рекомендації. Проте завжди варто пам’ятати про необхідність консультації з кваліфікованим фахівцем.
Розваги
ШІ знаходить своє місце у світі розваг. Він може писати історії, створювати вірші, грати в текстові ігри або навіть розробляти сценарії для заходів. Це робить його чудовим інструментом для творчості та відпочинку.
Переваги та обмеження
Переваги
- Швидкість: модель генерує відповіді майже миттєво.
- Доступність: його можна використовувати 24/7 з будь-якої точки світу.
- Адаптивність: інструмент підлаштовується під стиль і потреби користувача.
- Різноманітність застосувань: від навчання до бізнесу — спектр можливостей величезний.
Обмеження
- Точність: ChatGPT може допускати помилки, особливо в складних або спеціалізованих темах.
- Етичні питання: використання ШІ для створення контенту піднімає питання про оригінальність і авторство.
- Обмеження контексту: інструмент іноді не розуміє складні або неоднозначні запити.
Майбутнє Chat GPT
З кожним оновленням GPT стає ще більш потужним і точним. У майбутньому можна очікувати на ще глибше розуміння контексту з подальшою інтеграцією в усі сфери життя. Від побутових пристроїв до професійного обладнання. Також відбудеться подальше розширення можливостей багатомовної підтримки. Крім того, розвиток етичних стандартів і правил використання ШІ допоможе уникнути багатьох потенційних ризиків.
OpenAI з першого дня свого існування поставили собі за мету розробити найсильніший штучний інтелект (AGI, або Artificial General Intelligence). Їхня місія – зробити так, щоб штучний інтелект приносив користь усьому людству, і щоб усі мали рівний доступ до створюваних ним благ. Без привілеїв. Докладніше про це та інші принципи можна прочитати у їхньому статуті. Він, до речі, містить дуже цікаву фразу – і вона повторюється у звіті по GPT-4, який надали замість детальної статті: «Якщо проект, що збігається з нашими цілями і піклується про безпеку, наблизиться до створення AGI раніше за нас, ми зобов’язуємося припинити конкурувати з цим проектом і почати допомагати йому».
GPT Chat — це не просто технологія, а революційний крок уперед. Він дозволяє взаємодіяти зі штучним інтелектом на новому рівні, відкриваючи можливості для навчання, роботи та розваг. Хоча він ще має певні обмеження, потенціал GPT величезний. Це інструмент, що змінює наше сприйняття технологій і робить їх ще ближчими до людей.