Наградите Epica, познати повеќе од 30 години како креативен натпревар што го жирираат новинарите од индустријата, го создадоа „AIJE“ – експеримент за жири со вештачка интелигенција (Artificial Intelligence Jury Experiment). Проектот имаше за цел да го истражи потенцијалот на вештачката интелигенција во оценувањето и разбирањето на креативните идеи.
Експериментот се одвиваше паралелно со креативниот натпревар за 2023 година и неговиот исход не беше факторизиран во доделувањето на главните награди, кои што ги оцени комисија од над 150 човечки новинари.
„Нашето новинарско жири, заинтересирано за документирање на актуелните случувања, ја препозна вештачката интелигенција како неодложно прашање. Ова нè поттикна да се приклучиме на дискусијата со едноставен експеримент кој провоцира размислување“ – коментира Марк Тунгејт, уредничкиот директор на наградите Epica.
Процесот на евалуација со примена на вештачката интелигенција беше ригорозен. За оваа прва верзија, таа се потпираше исклучиво на текстуалните описи на кампањите обезбедени од учесниците. Исто така, процесот беше ограничен на кампањите кои влегоа во потесен избор во категории кои овозможуваат текстуално објаснување. На учесниците им беше дадена алатка за стандардизација, со цел да им помогне да ги дестилираат нивните креативни концепти во концизни описи кои лесно може да се обработат од вештачката интелигенција.
„Потпирањето исклучиво на текстуален опис има свои предности бидејќи е нешто подемократски. На крајот на краиштата, добрата идеја треба да може да се резимира на краток и едноставен начин“ – вели Николас Хуве, оперативен директор на наградите Epica и креатор на AIJE.
Описите за сите кампањи беа групирани по категории и внесени во најновиот модел GPT4-Turbo API, заедно со команда што го вклучуваше описот на категоријата, како и скалата за оценување која се применува од страна на наградите Epica – од 1 (лошо) до 10 (светска класа). На овој начин беше осигурано дека оценките на вештачката интелигенција се во согласност со критериумите што истовремено ги користат човечките членови на креативното жири.
Вештачката интелигенција потоа генерираше резултати, како и текстуално оправдување за својата оценка за секоја поединечна кампања. Процесот не се одвиваше не само еднаш, туку беше повторен 80 пати. Потоа беше извлечен просек на сите оценки со користење на интерквартилен опсег (IQR), метод кој ги елиминира екстремите и ја доловува средната тенденција на оценките. Сите 80 образложенија за дадените оценки од страна на вештачката интелигенција потоа биле резимирани за да се добие сеопфатен коментар за секоја една кампања.
Резултати
Експериментот AIJE откри скромна корелација со гласањето од страна на човечките членови на жирито, и тоа со коефициент на корелација од околу 0.25.
„Нашите првични тестови покажаа ветувачка корелација со човечките резултати, особено во долните нивоа. Меѓутоа, во главниот експеримент, се фокусиравме само на потесниот избор на кампањи, што доведе до забележителна дискрепанца, која што не изненадува, имајќи предвид дека сите овие кампањи веќе беа сметани за високо квалитетни од човечкото жири “ – коментира Николас Хуве.
Резултатите на вештачката интелигенција беа повисоки, во просек 7.45, за разлика од оценките дадени од луѓето, чиј просек беше еднаков на 6.60. Овој тренд ја нагласува фундаменталната разлика во пристапот на евалуација.
„Новинарите, познати по нивната критичка анализа, генерално се построги во нивното бодување. Спротивно на тоа, вештачката интелигенција имаше тенденција полесно да биде импресионирана“ – забележува Хуве.
Оваа разлика го нагласува подлабокото разбирање на новинарите во идентификувањето на оригиналноста. Но, вештачката интелигенција беше понепристрасна.
„Вештачката интелигенција се чинеше поефикасна во оценувањето на кампањите строго во рамките на нејзината категорија. За разлика од жирирачите, кои даваат повисоки или пониски оценки за делата кои што лично ги претпочитаат или не им се допаѓаат, вештачката интелигенција не беше под влијание на таквите човечки предрасуди“ – додава Хуве.
Експериментот дава вредни сознанија за потенцијалната улога на вештачката интелигенција во проценката на креативноста. Следните верзии на AIJE ќе вклучуваат повеќе категории, како и визуелни илустрации. „Отсега ќе може да гледа не само слики, туку и да гледа и да интерпретира цели видеа со студија на случај, што отвора ветувачки патишта за нејзината иднина“ – коментира Хуве, додавајќи: „Иако не исклучуваме обука на модел исклучиво врз основа на постигнати резултати на креативните натпревари, повеќе би сакале да дозволиме AIJE да се потпира на општата вештачка интелигенција, кон која мислам дека полето се движи, и која исто така е повеќе усогласена со аутсајдерскиот дух на наградите Epica, држејќи се подалеку од „ехото“ на креативната индустрија“.
Резултатите од експериментот за 2023 година се достапни на следниот линк: https://aije.epica-awards.com/
За следното издание на наградите Epica за 2024 година, учесниците автоматски ќе имаат можност да учествуваат во следниот експиремент на AIJE.
