Недавно передо мной встала задача разработки скрипта для автоматизации изменения ставок по ключевым словам в Google Ads. Для этого я выбрал платформу Google Apps Script, чтобы избежать необходимости приобретения дополнительного серверного оборудования.
Для упрощения написания кода я решил протестировать три популярных нейросети:
- ChatGPT
- Google Gemini Advanced
- Claude
Мой запрос был следующим:
Мне нужна помощь в создании скрипта для Google Ads, который будет увеличивать и уменьшать ставки по времени.
Несмотря на многообещающие возможности этих нейросетей, ни одна из них не предоставила готовое рабочее решение с первого раза. Мне пришлось работать с фрагментами кода, которые я вставлял в среду разработки, тестировал, сталкивался с ошибками и возвращался к нейросетям за новыми рекомендациями. Интересно, что по мере увеличения объема кода и числа интеграций, нейросети начали терять контекст и переставали давать полезные ответы.
Google Gemini Advanced:
Первым я выбрал Google Gemini Advanced, выпущенную в январе 2024 года. Эта нейросеть является частью Google DeepMind и использует модель Gemini 1.5, которая показала впечатляющие результаты в тестах на понимание контекста и генерацию текста. По данным исследования, проведенного в первой половине 2024 года, Gemini 1.5 продемонстрировала улучшение точности генерации кода на 25% по сравнению с предыдущими версиями (источник: DeepMind Research Report).
Но несмотря на эти заявления, вскоре я столкнулся с тем, что нейросеть застряла на одних и тех же ошибках и не могла предложить эффективное решение. Основное время я потратил на тестирование ответов этой нейросети.
Claude:
Затем я протестировал Claude, разработанную компанией Anthropic и выпущенную в июне 2024 года. Claude 3, последняя версия на тот момент, отличается акцентом на безопасность и этику. По данным отчета о производительности, Claude 3 показала на 30% большее понимание контекста и лучшую способность к исправлению ошибок по сравнению с Claude 2 (источник: Anthropic Performance Metrics).
Бесплатная версия была ограничена 5 запросами, что затруднило завершение задачи.
ChatGPT:
Третьей нейросетью, которую я протестировал, была бесплатная версия ChatGPT, выпущенная в апреле 2024 года. ChatGPT использует архитектуру GPT-4, которая по данным исследования OpenAI в 2024 году продемонстрировала улучшение точности генерации кода на 20% по сравнению с GPT-3.5 (источник: OpenAI GPT-4 Technical Report). В сравнении с предыдущими моделями, ChatGPT выдал более краткие ответы и использовал более старые версии API, что показалось мне менее релевантным.
После двух недель мучений и множества ошибок, я был на грани отчаяния. Однако мне пришла в голову идея найти топовые нейросети для написания кода. Я наткнулся на бенчмарк: HumanEval Benchmark (Code Generation) | Papers With Code. Этот бенчмарк оценивает нейросети по их способности генерировать рабочий код на основе тестов, что делает его полезным инструментом для выбора подходящего решения.
Согласно этому бенчмарку, на август 2024 года в список топ 3 лучших нейросетей для написания написания кода входят:
- ChatGPT – продемонстрировала 85% точности на тестах по сравнению с 75% у Claude и 70% у Gemini (источник: HumanEval Benchmark 2024).
- Claude
- Gemini
Интересно, что ChatGPT, как и другие нейросети, постоянно обучается и совершенствуется, что позволяет ей предлагать всё более точные и релевантные решения.
Убедившись в актуальности этих данных, я оформил платную подписку на ChatGPT. В течение одного дня я получил готовое рабочее решение для своей задачи:
Этот опыт показал, насколько важен правильный выбор инструментов и подходов для решения задач. И теперь я могу рекомендовать ChatGPT как надежный инструмент для генерации кода, особенно если вам нужно быстро и эффективно справиться с техническими проблемами.