4 примера, които показват, че не можете да се доверите на ZeroGPT и други инструменти за откриване на AI

AI chatbots несъмнено са мощни и полезни инструменти. Въпреки това, способността да се прави разлика между генерирано от човека и генерирано от AI съдържание се превръща във важен проблем.

За справяне с този проблем се появиха инструменти като ZeroGPT. Те са предназначени да правят разлика между AI и съдържание, генерирано от хора. Но работят ли?

Нека разгледаме по-подробно инструментите за откриване на AI и да видим дали могат да направят разликата между текст, генериран от хора и AI.

Казват, че доказателството за пудинга е в яденето. Така че, нека опитаме някои тестове и да видим колко ефективни са тези инструменти. Невъзможно е да тестваме всеки инструмент, затова тестваме един от най-популярните инструменти — ZeroGPT.

За материал решихме, че би било доста забавно да се опитаме на ChatGPT да напише интро за тази статия и след това да го сравним с „генерираното от човека“ интро:

Тест първи: Сравняване на статия, генерирана от човек и изкуствен интелект. Въведение

Първото нещо, което направихме, беше да накараме ChatGPT да генерира въведение. Въведохме заглавието и не му дадохме допълнителна информация. За протокола използвахме GPT-3.5 за теста.

След това копирахме текста и го поставихме в ZeroGPT. Както можете да видите, резултатите бяха по-малко от звездни.

Незабележимо начало, но илюстрира колко ефективни са AI chatbots. За да завършим теста, оставяме ZeroGPT да анализира чернова на въведение, създадено от хора.

Поне тази част е правилна. Като цяло ZeroGPT се провали в този кръг. Той установи, че поне част от въведението, генерирано от AI, е подозрително, но не успя да подчертае конкретни проблеми.

Тест две: Фалшивият положителен проблем

С нарастването на използването на ChatGPT и други AI инструменти, вероятността да знаете или чуете за някой, който е изправен пред твърдения, че работата им е генерирана от AI, се увеличава. Тези обвинения са един от по-сериозните проблеми с ChatGPT и инструменти за откриване на AI като ZeroGPT, тъй като този вид грешка може да навреди на репутацията и да засегне поминъка.

Фалшиви положителни резултати възникват, когато генерираното от човека съдържание е неправилно маркирано като дело на AI. Както показва примерът по-долу, проблемът се възпроизвежда лесно. Аз съм запален риболовец, затова реших да напиша въведение към въображаема статия за риболова във Флорида. След това оставих ZeroGPT да анализира текста - той отбеляза, че текстът е 100% генериран от AI.

Честно казано, целях този резултат. Запазих текста общ и използвах „продажбен“ език. Но идеята, че човек е написал това, остава също толкова валидна. Това не е неудобство или нещо, което може просто да се пренебрегне. Грешки като тази могат да имат сериозни последици за писатели, студенти и други професионалисти, които създават писмени произведения.

Тест три: Тестване на ZeroGPT върху художествена литература

За третия тест ще използваме ChatGPT и ще го помолим да напише малко фантастика. За да направим това, създадохме сценарий и подканихме ChatGPT да напише кратко въведение към измислена история.

Опростихме нещата и просто поискахме да напишем интро за история за двама непознати, които се срещат на железопътна платформа:

И ето отговорът от ZeroGPT:

Както е видно от резултата, ZeroGPT не може да различи факта от измислицата, когато се занимава с измислица!

Четвърти тест: Новинарски статии

Има нещо обезпокоително в това, че ИИ може да ни информира какво се случва в света около нас. Това не винаги е непременно „фалшива новина“, тъй като може да бъде уместна и информативна, но има определени етични опасения относно ИИ.

За да бъдем честни към ZeroGPT, той се представи добре в този тест. Помолихме ChatGPT и Bing Chat да напишат новинарски статии по няколко теми и ZeroGPT успяваше всеки път. Примерът по-долу показва правилното деклариране на генерирана от Bing Chat статия като 100% генерирана от AI.

Инструментът толкова последователно маркира всяка новинарска статия като генерирана от AI, че решихме да го тестваме върху фиктивна новинарска статия, която написахме за целта.

Той поне идентифицира някои от статиите като създадени от хора, но маркира над 70% като генерирани от AI. Отново трябва да бъдем справедливи тук; това беше сравнително основно повторение на статията в Bing и едва ли беше качество за награда Пулицър.

Но точката остава валидна. Това е написано от човек, използващ проучване, намерено в интернет.

Няма една единствена причина за недостатъците в инструменти като ZeroGPT. Един основен проблем обаче е ефективността на генеративните AI чатботове. Те представляват невероятно мощна и бързо развиваща се технология, която ефективно ги прави движеща се мишена за инструменти за откриване на AI.

AI chatbots непрекъснато подобряват качеството и „човещината“ на своята продукция и това прави задачата изключително предизвикателна. Въпреки това, независимо от трудностите, AI страната на уравнението трябва да направи преценка без човешки надзор.

Инструменти като ZeroGPT използват AI, за да направят своите решения. Но AI не просто се събужда сутрин и знае какво да прави. То трябва да бъде обучено и тук техническата страна на уравнението става релевантна.

Алгоритмичните отклонения и отклоненията в данните за обучение са неизбежни, като се има предвид самият размер на големи езикови модели, върху които се обучават тези инструменти. Това не е проблем, който е ограничен до инструменти за откриване на AI, същите пристрастия могат да накарат AI chatbots да генерират неправилни отговори и AI халюцинации.

Тези грешки обаче се проявяват като неправилни „AI флагове“ в инструментите за откриване. Това едва ли е идеално, но е отражение на текущото състояние на AI технологията. Пристрастията, присъщи на данните за обучението, могат да доведат до фалшиви положителни или фалшиви отрицателни резултати.

Друг фактор, който трябва да се вземе предвид, е какво представлява съдържанието, генерирано от AI. Ако съдържанието, генерирано от AI, е просто преформулирано, това човешко или генерирано от AI съдържание е? Това представлява друго голямо предизвикателство – размиването на границите между двете прави дефинирането на машинно създадено съдържание почти невъзможно.

С поглед към бъдещето на AI откриването

Това може да звучи така, сякаш използваме инструменти като ZeroGPT. Това не е така; те са изправени пред огромни предизвикателства, а технологията едва е излязла от пелена. Бързото навлизане на инструменти като ChatGPT създаде търсене на AI откриване и на технологията трябва да се даде шанс да узрее и да се учи.

Не може да се очаква тези инструменти да се справят сами с предизвикателствата, поставени от чатботовете. Но те могат да играят ценна роля в съгласувани и многостранни усилия за справяне с предизвикателствата на ИИ. Те представляват едно парче от по-голям пъзел, който включва етични AI практики, човешки надзор и текущи изследвания и разработки.

Предизвикателствата, пред които са изправени тези инструменти, са огледални образи на предизвикателствата, пред които е изправено обществото, докато се борим с дилемите, свързани с новата технологична ера.

AI или не AI? Това е въпросът

Инструменти като ZeroGPT са погрешни, няма съмнение в това. Но те не са безполезни и представляват важна стъпка, докато се опитваме да управляваме и регулираме ИИ. Тяхната точност ще се подобри, но също и сложността на ИИ, който са обучени да откриват. Някъде по средата на тази надпревара във въоръжаването трябва да намерим баланс, който да е удобен за обществото.

Въпросът - AI или не AI? Това е нещо повече от просто обсъждане дали нещо е генерирано от AI или не. Това е показателно за по-големите въпроси, пред които е изправено обществото, докато се адаптираме към прекрасния нов свят на ИИ.

За протокола и според ZeroGPT, 27,21% от това заключение е генерирано от AI. Хм.