В своем исследовании Фернандо Перес-Крус и Хюин Сон Шин из Банка международных расчетов (BIS) провели тестирование способности обучаемых языковых моделей (LLM) понимать вопросы, задаваемые ими. Они обнаружили, что несмотря на впечатляющие результаты, сомнения о том, "знают" ли LLM или "понимают" они, что говорят, все же остаются.
Исследователи отмечают, что LLM, как правило, просто повторяют текст, с которым они сталкивались во время обучения, не обладая настоящим пониманием. Это вызывает серьезные сомнения не только с философской точки зрения, но и в контексте возможных экономических последствий использования LLM.
Для проверки этой гипотезы, Перес-Крус и Шин создали логическую головоломку под названием "День рождения Шерил", которая позволила оценить способности LLM к решению сложных задач. Головоломка заключается в том, чтобы определить день рождения Шерил, зная информацию, переданную Альберту и Бернарду.
Важно отметить, что даже при таком простом задании LLM не смогли достичь значимого прогресса и объединить свои знания для решения задачи.
Это исследование поднимает важные вопросы о реальном понимании обучаемыми языковыми моделями и их возможностях. Оно призывает нас задуматься о применении таких моделей в различных областях, включая экономику и философию знаний.
Источник https://www.bis.org/publ/bisbull83.pdf
Исследователи отмечают, что LLM, как правило, просто повторяют текст, с которым они сталкивались во время обучения, не обладая настоящим пониманием. Это вызывает серьезные сомнения не только с философской точки зрения, но и в контексте возможных экономических последствий использования LLM.
Для проверки этой гипотезы, Перес-Крус и Шин создали логическую головоломку под названием "День рождения Шерил", которая позволила оценить способности LLM к решению сложных задач. Головоломка заключается в том, чтобы определить день рождения Шерил, зная информацию, переданную Альберту и Бернарду.
Важно отметить, что даже при таком простом задании LLM не смогли достичь значимого прогресса и объединить свои знания для решения задачи.
Это исследование поднимает важные вопросы о реальном понимании обучаемыми языковыми моделями и их возможностях. Оно призывает нас задуматься о применении таких моделей в различных областях, включая экономику и философию знаний.
Источник https://www.bis.org/publ/bisbull83.pdf
