Тестування сервісу штучного інтелекту deepai.org на здатність дотримуватися правил формальної логіки

Abstract

Завдання статті полягає в тестування сервісу штучного інтелекту https://deepai.org/chat на здатність дотримуватися правил формальної логіки, а саме розв’язувати задачі на modus ponens і modus tollens. Розуміння цього аспекту дозволить краще зрозуміти можливості мовних ШІ і допоможе їх користувачам отримувати більш адекватні результати. Стаття присвячена аналізу логічних умовиводів, зокрема правил modus ponens і modus tollens у контексті взаємодії з штучним інтелектом (ШІ). Розглядається два приклади. У першому випадку з двох засновків (“Якщо на вулиці йде дощ, то асфальт мокрий” і “Асфальт на вулиці мокрий”) ШІ робить неправильний висновок, стверджуючи, що “на вулиці йде дощ”, попри те, що це не є коректним застосуванням modus ponens. Автори підкреслюють, що навіть здоровий глузд вказує на те, що асфальт може бути мокрим з інших причин. У другому прикладі, що стосується modus tollens, ШІ отримує ще один неправильний висновок. Знову ведеться мова про те, що коректний висновок може бути зроблений лише за правильними схемами логічного мислення. Хоча в окремих випадках ШІ досягав успіху в логічних задачах, автор вважає це випадковістю, а не підтвердженням здатності до логічного мислення. Тестування на виявлення помилок у висновках показує, що навіть коли ШІ формулює висновки неправильно, він може вказати на необхідність додаткової інформації для коректного висновку. Таким чином, стаття підкреслює обмеженість сучасних моделей ШІ в розумінні логіки і необхідність критичної думки з боку користувача при роботі з ними

The task of this article is to test the artificial intelligence service at https://deepai.org/chat for its ability to adhere to the rules of formal logic, specifically solving problems related to modus ponens and modus tollens. Understanding this aspect will allow for a better understanding of the capabilities of language-based artificial intelligence and assist users in obtaining more accurate results. The article is dedicated to analyzing logical inferences, particularly the rules of modus ponens and modus tollens in the context of interaction with artificial intelligence (AI). Two examples are examined. In the first case, from two premises (“If it is raining outside, then the pavement is wet” and “The pavement outside is wet”), artificial intelligence makes an incorrect conclusion, asserting that “it is raining outside,” despite this being an incorrect application of modus ponens. The authors emphasize that common sense indicates that the pavement could be wet for other reasons. In the second example, concerning modus tollens, artificial intelligence reaches yet another incorrect conclusion. Again, it is noted that a correct conclusion can only be drawn from proper logical thinking schemes. Although artificial intelligence has succeeded in some logical tasks, the author considers this a coincidence rather than confirmation of logical thinking ability. Testing for errors in conclusions shows that even when artificial intelligence formulates conclusions incorrectly, it can indicate the need for additional information to make a correct inference. Thus, the article highlights the limitations of contemporary artificial intelligence models in understanding logic and underscores the necessity for critical thinking on the part of users when interacting with them.