Отвечаем на вопросы об искусственном интеллекте, как на собеседовании в Open AI

Журнал The Status Symbol собрал ответы на простые и сложные вопросы об ИИ и ответил на них так, как отвечают на собеседовании в Open AI.

1. Что такое машинное обучение (Machine Learning, ML)?

Машинное обучение — это подход, при котором компьютер не получает все правила в явном виде, а учится находить закономерности на данных. Мы даём модели примеры, выбираем критерий ошибки и алгоритм обучения, а модель подбирает параметры так, чтобы делать как можно более точные предсказания. Например, вместо того чтобы вручную прописывать признаки спама, можно обучить модель на письмах, где уже известно, что является спамом.

2. Какие алгоритмы и формулы лежат в основе ML?

В основе ML — математическая оптимизация, статистика и линейная алгебра. Есть модель, где есть входные данные и параметры модели. Мы определяем функцию потерь, которая показывает, насколько предсказание отличается от правильного ответа, и подбираем параметры, минимизируя её. Один из основных методов — градиентный спуск: параметры изменяются в направлении, противоположном градиенту функции потерь. В зависимости от задачи применяются линейная и логистическая регрессия, деревья решений, Random Forest, KNN, SVM, нейросети и другие методы.

3. Чем отличаются линейная и логистическая регрессия?

Линейная регрессия используется для предсказания непрерывного числа: например, цены квартиры. Она строит зависимость. Логистическая регрессия обычно используется для классификации, например «спам / не спам». Она преобразует линейную комбинацию признаков с помощью сигмоиды и выдаёт вероятность от 0 до 1. Обе являются моделями машинного обучения и обучаются по данным, но решают разные типы задач.

4. Что такое функция в математике?

Функция — это правило, которое каждому допустимому входному значению ставит в соответствие определённый результат. В ML функция может описывать зависимость между признаками и предсказанием, а функция потерь показывает, насколько модель ошибается.

5. Расскажите о перцептроне Розенблатта.

Перцептрон Фрэнка Розенблатта — одна из первых математических моделей искусственного нейрона. Он получает входные признаки, умножает их на веса, складывает и пропускает результат через функцию активации. Если сумма превышает порог, нейрон выдаёт один класс, иначе другой. Перцептрон стал важной концептуальной основой современных нейронных сетей, хотя один перцептрон способен решать только относительно простые, линейно разделимые задачи.

6. Что такое нейросети и при чём здесь глубокое обучение?

Нейронная сеть состоит из взаимосвязанных искусственных нейронов, организованных в слои. Каждый слой преобразует вход и передаёт результат следующему. Глубокое обучение (Deep Learning) — это использование нейронных сетей с большим количеством слоёв. Главное преимущество глубоких сетей в том, что они могут самостоятельно изучать сложные представления данных: например, в изображениях переходить от простых границ к формам, объектам и более абстрактным признакам.

7. Как работает обратное распространение ошибки?

Backpropagation — алгоритм вычисления того, насколько каждый параметр нейросети повлиял на итоговую ошибку. Сначала сеть делает прямой проход и получает предсказание. Затем считается функция потерь. После этого ошибка распространяется от выхода сети назад через слои с использованием правила цепочки, и вычисляются градиенты по каждому весу. Оптимизатор, например Gradient Descent или Adam, изменяет веса так, чтобы уменьшить ошибку. Таким образом, сеть постепенно обучается.

8. Как соотносятся статистическое моделирование, экспертные системы и ML?

Статистическое моделирование использует математические предположения и вероятностные модели для описания данных и выявления зависимостей. Экспертная система работает преимущественно на заранее заданных человеком правилах: «если X, то Y». Машинное обучение отличается тем, что закономерности и параметры модели в значительной степени извлекаются из данных. Современные AI-системы могут сочетать эти подходы.

9. Что такое трансформеры?

Transformer — архитектура нейросетей, первоначально разработанная для работы с последовательностями, особенно с текстом. Её ключевая идея — механизм attention, который позволяет модели определять, какие элементы входной последовательности важны друг относительно друга. В отличие от последовательной обработки в классических RNN, Transformer эффективно обрабатывает множество элементов параллельно. На этой архитектуре построено большинство современных больших языковых моделей.

10. Как работает Google Colab?

Google Colab — облачная среда для запуска Python-кода через браузер, основанная на Jupyter Notebook. Код выполняется не на моём компьютере, а на удалённой вычислительной машине Google. Можно устанавливать библиотеки, загружать данные и при необходимости использовать GPU. Это удобно для экспериментов с ML и нейросетями, потому что не нужно самостоятельно настраивать локальную среду.

11. Какие бывают библиотеки для ML?

Одни из основных Python-библиотек: NumPy для численных вычислений и массивов, pandas для работы с таблицами и данными, Matplotlib для визуализации и scikit-learn для классического машинного обучения — регрессии, классификации, кластеризации, preprocessing и оценки моделей.

12. Какие библиотеки используются для обучения нейросетей?

Основные — PyTorch, TensorFlow и Keras. Они позволяют создавать архитектуры нейросетей, выполнять вычисления на GPU, считать градиенты и обучать модели. PyTorch особенно популярен в исследовательской среде, а Keras предоставляет более высокоуровневый и удобный интерфейс для построения нейросетей.

13. Расскажите о Keras и ResNet.

Keras — высокоуровневый API (Application programming interface) создания и обучения нейросетей. Он позволяет относительно быстро собирать модели из слоёв и обучать их. ResNet — архитектура сверточной нейросети, предложенная Microsoft Research. Её ключевая идея — residual/skip connections: часть информации передаётся через несколько слоёв напрямую. Это позволяет эффективно обучать очень глубокие сети и уменьшает проблему деградации при увеличении глубины.

14. Какие признаки видит CNN из изображения?

CNN (Convolutional Neural Network) автоматически извлекает признаки из изображения. Первые слои обычно обнаруживают простые локальные элементы — границы, направления и контрастные переходы. Более глубокие слои объединяют их в текстуры и формы, а ещё глубже могут формироваться представления частей объектов и целых объектов. Поэтому CNN не требует вручную описывать каждый визуальный признак.

15. Что такое бэггинг и бустинг?

Это методы ансамблевого обучения. Bagging обучает несколько моделей независимо на разных выборках данных, а затем объединяет их результаты. Классический пример — Random Forest: много деревьев решений работают вместе, что повышает устойчивость модели и снижает переобучение. Boosting строит модели последовательно: каждая следующая модель старается исправить ошибки предыдущих. Примеры — Gradient Boosting, XGBoost и LightGBM. В результате множество относительно простых моделей может сформировать очень сильную модель.

16. Что такое GPU?

GPU — Graphics Processing Unit, графический процессор. В отличие от CPU, который оптимизирован для небольшого числа сложных последовательных вычислений, GPU содержит большое количество вычислительных ядер и хорошо выполняет множество однотипных операций параллельно. Нейросети постоянно выполняют матричные и тензорные операции, поэтому GPU значительно ускоряет их обучение и инференс.

Изображение сгенерировано Grok.