Знай свои ограничения

Важно знать, когда у тебя не хватает глубины или инструментов для выполнения работы, чтобы эскалировать и попросить помощи.

Sonnet 3.7 не очень хорош в знании своих пределов. Если хочешь, чтобы он сказал, когда не знает, как что-то сделать, придется как минимум явно его настроить (например, системный промпт Sonnet'а инструктирует его явно предупреждать пользователя о галлюцинациях при вопросах по очень нишевым темам). Очень важно просить LLM делать только то, что она может делать, особенно в agent mode.

Примеры

• Sonnet 3.7 глубоко, глубоко верит, что умеет делать shell вызовы. Если занимаешься agent кодингом и bash команды недоступны, а Sonnet решает, что нужно сделать исполняемый файл, он начнет создавать рандомные shell скрипты в файловой системе, пытаясь сделать какой-то странный proxy того, что реально хотел сделать. Sonnet обычно говорит: «Я собираюсь сделать X», а потом генерирует инструмент для Y, который совершенно другой. Лучшее решение — улучшить промпт (не идеально, Sonnet забудет) или просто дать Sonnet инструмент, который делает то, что он хочет делать (конкретный инструмент, который делает одну вещь, предотвратит попытки Sonnet'а делать общие shell вызовы).