На этой неделе домашняя — не один «правильный workflow». Ваша задача: провести серию экспериментов с AI как с помощником аналитика, научиться ставить ему задачи, уточнять, проверять и не отдавать ему финальное решение.
12экспериментов
8нужно выполнить
1финальная проверка
∞вариантов ответа
Практикум с AI-помощником
Можно использовать любой доступный Generative AI. Если есть несколько — сравнивайте. Если один — используйте новые чистые чаты. Важен не бренд, а качество постановки, проверки и вашей рефлексии.
0 / 12
01PROMPT LAB
Ремонт плохого prompt
Напишите намеренно слабый prompt из одной строки, например «проанализируй эти данные». Затем попросите AI превратить его в хорошее ТЗ по схеме Контекст → Цель → Задача → Ограничения → Формат. Сравните две версии.
Стартовый prompt
Вот мой слабый prompt: «Проанализируй эти данные и скажи, что делать». Улучши его для задачи анализа данных. Используй структуру: КОНТЕКСТ → ЦЕЛЬ → ЗАДАЧА → ОГРАНИЧЕНИЯ → ФОРМАТ. Не решай саму задачу, только перепиши prompt и объясни, какие решения теперь контролирую я, а какие всё ещё оставляю AI.
02CLARIFY
AI-интервьюер
Заставьте AI не бросаться сразу в анализ, а сначала задать вам вопросы. Ответьте хотя бы на три. Потом посмотрите, стал ли план более предметным.
Стартовый prompt
Ты мой аналитический помощник. Не начинай анализ сразу. Сначала задай мне 5 уточняющих вопросов, которые действительно влияют на постановку задачи, target, метрики, ограничения и способ проверки. После моих ответов предложи план, но пока не пиши код.
03EVIDENCE
Только доказательства из файла
Дайте AI CSV из урока или любой знакомый табличный файл. Попросите разделить факты, которые он видит в файле, и вещи, которые из файла установить нельзя.
Стартовый prompt
Изучи прикреплённый файл. Используй только то, что реально можно установить из него. Сделай два списка: 1) «Подтверждается данными»; 2) «Из файла установить нельзя». Не добавляй внешние единицы измерения, расшифровки кодов или медицинские объяснения как факт. Если сомневаешься — прямо скажи.
04A/B/C
Один вопрос — три чата
Запустите один и тот же prompt в трёх чистых чатах или в трёх доступных AI. Никаких follow-up. Сравните не «кто красивее», а глубину, аккуратность, следование ограничениям и проверяемость.
Стартовый prompt
Проанализируй этот датасет как первичный аудит задачи бинарной классификации. Проверь структуру, target, пропуски и возможные проблемы качества данных. Предложи план, 2–3 модели и метрики. Используй только файл. Если чего-то нельзя установить — скажи. В конце дай короткий блок «Что должен проверить человек».
05RED TEAM
AI проверяет AI
Возьмите лучший ответ предыдущего задания и отдайте его новому чату/другому AI как рецензенту. Спросите, где автор мог перепутать величины, выйти за границы данных или сделать сильный вывод без основания.
Стартовый prompt
Ты независимый рецензент аналитического отчёта. Не переписывай его целиком. Найди: 1) факты, которые нужно перепроверить по данным; 2) возможное смешение разных величин; 3) внешние знания, выданные как будто они из файла; 4) решения без объяснения; 5) места, где уверенный тон сильнее доказательств. В конце дай вердикт: что можно использовать, что проверить, что убрать.
06ORANGE
Навигатор по Orange
Покажите AI screenshot вашего Orange workflow или опишите его словами. Попросите назвать widgets, соединения, настройки и отдельно — что он не может увидеть.
Стартовый prompt
Вот screenshot / описание моего Orange workflow. Составь: 1) список реально видимых widgets; 2) видимые соединения; 3) что каждый шаг делает; 4) какие настройки мне нужно открыть и проверить вручную; 5) что на screenshot НЕ видно и поэтому нельзя утверждать как факт. Не дорисовывай невидимые widgets.
07DEBUG
Ремонтная мастерская Orange
Намеренно опишите проблему: «модель не оценивается», «target не тот», «Confusion Matrix пустая». Пусть AI предложит диагностику по шагам. Затем проверьте советы в Orange и отметьте хотя бы один неверный/лишний или действительно полезный шаг.
Стартовый prompt
У меня в Orange что-то не работает. Симптом: [опишите]. Не предлагай десять случайных действий. Сначала дай 3 наиболее вероятные причины, затем для каждой — как проверить её в интерфейсе. После этого дай минимальный порядок исправления. В конце напиши, какие детали тебе нужно было бы увидеть, чтобы быть увереннее.
08METRICS
Переводчик Test & Score
Скопируйте свои метрики из Test & Score / Confusion Matrix. Попросите AI объяснить их простыми словами и отдельно написать, чего из этих чисел заключать нельзя.
Стартовый prompt
Вот мои реальные результаты из Orange: [вставьте AUC / Accuracy / Precision / Recall / F1 / Confusion Matrix]. Объясни их простыми словами в контексте моей задачи. Не придумывай отсутствующие числа. После объяснения сделай раздел «Чего из этих метрик НЕЛЬЗЯ заключить». Отдельно спроси меня, какая ошибка для задачи дороже.
09TRANSLATE
Orange → Python без фантазий
Дайте AI screenshot workflow и попросите перевести его в Python: сначала карта «видимый widget → программный эквивалент», затем рабочий минимальный script. Если нужен технический шаг, которого нет на screenshot, AI должен явно пометить его как добавленный. В конце попросите README: как запустить и что человек обязан проверить.
Стартовый prompt
Переведи этот Orange workflow в Python, сохраняя аналитическую логику. Сначала таблица «видимый Orange widget → Python-эквивалент». Затем раздел «Технические шаги, которые я добавляю для рабочего кода, хотя их не видно на screenshot». После этого напиши минимальный запускаемый Python script и короткий README: как запустить, какие файлы нужны и что человек должен проверить. Ничего невидимого не выдавай за факт. Если нужен Pipeline или imputation, объясни почему.
10LEAKAGE
Охотник за leakage
Дайте AI опасную схему: «сначала impute/scale/select features на всех данных, потом 10-fold CV». Пусть он найдёт утечку и перепишет процесс. После этого усложните: несколько строк одного пациента или time series.
Стартовый prompt
Проверь эксперимент на leakage: я сначала обучаю imputation, scaling и feature selection на ВСЕХ данных, а потом запускаю 10-fold cross-validation. Что здесь опасно? Перепиши правильный процесс по шагам. Затем объясни, что изменится, если несколько строк относятся к одному пациенту или данные идут по времени.
11PROBABILITY
80% чего?
Попросите AI объяснить разницу между P(+|болезнь) и P(болезнь|+) без формулы, а потом через 10 000 воображаемых людей. Проверьте, не поменял ли он условие местами.
Стартовый prompt
Объясни мне как аналитику разницу между P(положительный тест | болезнь) и P(болезнь | положительный тест). Сначала без формул, затем через natural frequencies на 10 000 людей. После этого свяжи это с Recall и Precision. В конце придумай один неправильный вывод, который человек часто делает, и исправь его.
12CV
Архитектор cross-validation
Попросите AI спроектировать оценку модели: development data, stratified K-fold, сравнение learners, preprocessing внутри folds и untouched final test. Потом попросите объяснить, сколько временных моделей обучается при K=10 и трёх Learners.
Стартовый prompt
Спроектируй честную схему оценки бинарного классификатора. Мне нужны development data + stratified 10-fold cross-validation для сравнения подходов и untouched final test для финальной оценки. Всё обучаемое preprocessing должно быть внутри folds. Объясни Learner vs Model. Сколько временных обучений произойдёт при 10 folds и 3 Learners? Объясни, почему это не 30 финальных моделей продукта.
Правило домашней: не копируйте ответ AI как домашнюю. В каждом эксперименте вы должны сделать хотя бы одно действие аналитика: уточнить, проверить, сравнить, возразить, открыть Orange, пересчитать число или назвать границу вывода.
Финальная проверка: решение остаётся у аналитика
Это обязательная часть. Сначала AI предлагает решение, затем другой чистый чат получает роль независимого рецензента, а итоговое решение принимаете вы.
«Сделай всё за меня» → «Теперь разрушь свой ответ»
Возьмите любую аналитическую задачу из курса. В первом чате попросите AI предложить полный путь решения. Во втором — дайте его ответ и попросите написать максимально сильную профессиональную критику. После этого вы сами принимаете финальное решение.
ШАГ 1. Предложи полный план решения этой задачи: данные → анализ → Orange/модель → метрики → проверка → вывод. Я хочу увидеть все решения, которые ты принимаешь сам.
ШАГ 2 (новый чат). Ты враждебный рецензент. Разбери предыдущий план: где он может быть неверным, что не подтверждается данными, где возможна leakage, где метрика не отвечает цели, какие решения должен принять человек.
ШАГ 3. Сведи спор по схеме СТОП. ПРОВЕРЯЕМ!: Данные / Логика / Метрики / Здравый смысл.
Рефлексия аналитика
Коротко зафиксируйте, что произошло. Эти заметки сохраняются только в вашем браузере и входят в резервную копию прогресса курса.
Вставьте свой лучший prompt и напишите, почему он лучше первоначальной версии.
Хотя бы один конкретный пример: перепутал величины, придумал факт, слишком уверенно интерпретировал.
Что стало быстрее или понятнее благодаря AI?
Например: target, цена ошибок, выбор метрики, итоговая интерпретация.
Одно правило, которое вы реально хотите использовать дальше.
🏆 Завершение домашней работы
Для зачёта: минимум 8 из 12 экспериментов + финальная проверка + все 5 рефлексий. Это откроет достижение недели 8 и сертификат.
0%
КУРС «АНАЛИЗ ДАННЫХ В ВЕК ИИ» · НЕДЕЛЯ 8
СЕРТИФИКАТ AI-ПРАКТИКУМА
Аналитик данных
успешно выполнил(а) домашний AI-практикум: ставил(а) задачи Generative AI, улучшал(а) prompts, использовал(а) AI рядом с Orange, проверял(а) метрики, искал(а) leakage и проводил(а) независимую проверку AI-ответов.
🤖 AI как помощник🍊 Orange🧠 Prompt design🧪 Проверка🔁 Cross-validation