Учени от Станфордския университет публикуваха статия в списанието Nature Machine Intelligence. В нея се твърди, че съвременните големи езикови модели (LLM) все по-добре владеят логическото мислене. Въпреки това, те трудно разпознават факти от субективни убеждения. Понякога разчитат само на данните, с които са обучени.
Тази неадекватност представлява сериозен риск, особено в отговорни области на човешката дейност. Общуването между хората зависи от способността да се прави разлика между факти и лични мнения. Увереността в знанието е различна от вярата в нещо. Това е особено важно в сфери като медицината и правото.
Големите езикови модели, като GPT на OpenAI и Gemini на Google, се учат на база огромни текстови данни. При предсказването на следващата дума, те използват тегловни фактори. И досега оценките на тяхната работа не са разглеждали как моделите действат при лингвистичните символи на убеждения и знания. Целта на новото изследване бе да установи как реагират при сблъсък на факти и убеждения.
Изследователският екип разработи набор от тестове – език на знанията и убежденията (KBLE). Той включва 13 000 специфични въпроса, разделени на 13 различни задачи. Създадени са от 1000 изречения, засягащи теми като история, литература, математика и медицина. Половината от твърденията са подкрепени от авторитетни източници, а другата половина – изкривени версии.
Изследването е оценило 24 AI модела. Включени са както стари модели, така и нови, ориентирани към разсъждения. Измерена е точността на отговорите на моделите при проверка на факти и разпознаване на убеждения.
Резултатите показаха, че AI моделите трудно разпознават неверни убеждения. Например, точността на GPT-4o е спаднала от 98,2% при верните убеждения до 64,4% при неверните. Забелязано е, че моделите по-добре приписват неверни убеждения на трети лица, отколкото на първо лице. При първо лице точността е само 62,6%.
Проучването установи несъответствия в начина, по който AI проверяват факти. По-старите модели са по-добри в разпознаването на верни твърдения. За разлика от тях, някои нови модели показват обратна тенденция, като са по-добри в проверката на неверни твърдения.
Това предполага, че последните промени в методите на обучение влияят на стратегиите за проверка. Оказва се, че дори малки изменения в формулировката на въпросите значително понижават точността на отговорите. Например, добавянето на думата „наистина“ редуцира точността драстично.
Друга трудност са рекурсивните знания. Някои AI модели добре се справят с вложени нива на осведоменост, докато други показват значителни затруднения. Често техните разсъждения остават непоследователни.
При повечето модели липсва ясно разбиране за фактическия характер на знанието. Те не откриват логическите противоречия в неверните твърдения и се опитват да ги проверят. Това може да влияе негативно на комуникацията в ситуации, които изискват разпознаване на убеждения.
Изследователите посочват, че неуспехите на LLM са следствие от тренировъчните им данни. Те имат „коригираща“ пристрастност, която пречи да приемат субъективни убеждения. Заключението е ясно: AI моделите не разграничават убежденията на потребителя от фактите. Нужно е повече внимание, когато се използват в лични ситуации.
Бъдещите изследвания трябва да помогнат на моделите да отделят понятието за истина от убеждение. Необходими са подобрения, преди AI да бъде прилаган в области, където разбирането на субективността е критично.