Топ-8 сайтов с бесплатными курсами по Python для начинающих
Python вдохновил многих людей на изучение программирования, да и продолжает вдохновлять. Я лично знаю несколько человек, изучивших Python для разных целей, от веб-разработки до машинного обучения.
Также я видел много новичков, создающих веб-приложения с использованием Django или модели машинного обучения с использованием Python, или просто пишущих какие-нибудь скрипты для автоматизации рутинных задач. В настоящее время Python лидирует среди языков программирования, а его популярность растет день ото дня. Этим он не в последнюю очередь обязан популярности науки о данных и машинного обучения, а также своим прекрасным библиотекам, таким как Pandas, NumPy и TensorFlow.
Если вы тоже решили в текущем году изучить Python или даже уже начали писать код на этом языке, но все еще интересуетесь бесплатными обучающими ресурсами, эта статья — для вас. В ней я поделюсь ссылками на несколько сайтов и порталов, где можно изучать Python бесплатно.
Учеба по бесплатным руководствам это просто потрясающе. Вам не нужна кредитная карта, не нужно платить за курс. Все, что нужно, — жажда знаний.
Но выбрать подходящие ресурсы непросто, ведь ассортимент курсов, книг и сайтов очень велик. Это как искать иголку в стоге сена. Но с этой проблемой я вам помогу.
Кстати, если вы не имеете ничего против того, чтобы потратить несколько долларов на изучение такого ценного и полезного языка как Python, могу посоветовать курс Джоша Портиллы на Udemy — «The Complete Python 3 Bootcamp». Этот курс позволит вам изучить Python быстро и более структурированно, а во время распродаж его можно купить всего за 10 долларов.
Топ-8 платформ и бесплатных ресурсов по Python для начинающих
Здесь я перечислю несколько лучших мест, где вы можете изучать Python совершенно бесплатно. Этот список я составлял в компании с экспертами по Python. Мы специально старались отобрать как можно меньше ресурсов, но при этом все же оставить какую-то возможность выбора.
1. CodeCademy
Если вам нравится интерактивное обучение, для вас нет лучшего места, чем CodeCademy. На этой платформе вас сначала очень кратко учат теории, а затем просят написать код (онлайн), используя изученную концепцию. А самое главное — вам не придется ничего настраивать. Не нужно даже устанавливать Python на свою машину! Запускать код вы сможете прямо в браузере.
Второе преимущество этой платформы состоит в том, что вам не придется писать программу целиком, пока вы не будете готовы к этому. Вы будете вносить маленькие изменения и выполнять код. Это отличный и увлекательный способ научиться программировать на Python.
С помощью этой интерактивной платформы я изучил JavaScript, Java, Python и Linux. Раньше все курсы были совершенно бесплатными, но сейчас у них «фримиум»-модель, т. е., некоторые уроки и курсы доступны только для платных подписчиков.
В настоящее время курс Learn Python 2 бесплатный, в отличие от курса по Python 3. Если можете себе это позволить, — подпишитесь, но если нет, вы вполне можете начать с курса по Python 2: он прекрасно подойдет новичкам с нулевым опытом.
2. Udemy
Это еще одна популярная платформа с онлайн-курсами. Пожалуй, здесь хранится самая большая коллекция онлайн-курсов на земле. Мне нравится Udemy, потому что на этой платформе можно найти курс буквально по любой теме, которую вы хотите изучить, к тому же эти курсы бесплатны.
Как и на CodeCademy, подписываться не обязательно. Нужно лишь создать бесплатный аккаунт, и сразу можно будет начать проходить бесплатные курсы по Python. При первом запуске курса большинство инструкторов делают уроки бесплатными, чтобы привлечь внимание к своему курсу и получить отзывы.
Но есть и целые курсы, причем отличные, которые выкладываются совершенно бесплатно. На них вы сможете довольно глубоко изучить Python 3.
Преимущество Udemy в том, что учить вас будут эксперты. Но здесь нет той интерактивности, которую вы найдете на CodeCademy. В общем, если вам нравится учиться по видео, для вас нет лучшего места, чем Udemy.
3. Класс по Python от Google
Если вы не знали, то скажу, что у Google тоже есть отличный набор туториалов по Python для начинающих, т. н. Класс по Python. Это бесплатный курс для людей, желающих изучить Python и имеющих начальные знания в программировании. В этом курсе вы найдете текстовые руководства, видеолекции и множество упражнений для практики в написании кода на Python.
Первые упражнения позволят вам отработать базовые концепции Python, такие как строки и списки, а в следующих вы будете создавать уже целые программы, работая с текстовыми файлами, процессами и http-соединениями.
Компания Google и сама использует Python во многих своих проектах. Материалы курса используются внутри компании для обучения языку Python людей, которые только начали изучать программирование или имеют совсем небольшой опыт.
Лучшее в этом курсе то, что его видеоматериалы доступны на YouTube, так что вам не потребуется создавать дополнительный аккаунт. Также в рамках курса вас научат настраивать вашу собственную среду разработки на Python. Это не такая простая задача, но очень важная в долгосрочной перспективе.
4. Бесплатный курс по Python от Microsoft
Раз у Google есть Класс по Python, разве может Microsoft отставать? Эта компания тоже представила бесплатный курс и выложила его на Edx — еще одном популярном онлайн-портале для бесплатного самообразования. Курс называется «Introduction to Python: Absolute Beginner» («Вступление в Python для абсолютных новичков»). Ведет его Эрик Камплин, Senior Content Developer.
В рамках этого курса вы будете изучать Python в Jupyter Notebooks — браузерном редакторе кода для Python. Это значит, что вам не придется устанавливать что-либо на свою машину. Прохождение курса занимает 5 недель, на каждую неделю приходится 3-4 часа занятий.
Этот курс также является частью программы Microsoft «Entry-Level Software Development», которая тоже бесплатна. Но если захотите добавить в свое резюме или профиль на LinkedIn сертификат о прохождении курса, за него уже придется заплатить.
6. Изучение Python: полный курс для начинающих от FreeCodeCamp
В этом видео вы получите превосходное вступление ко всем основным концепциям Python. Смотреть можно совершенно бесплатно на YouTube. Вот список тем с разбивкой по времени:
7. Изучение Python с нуля на Educative
Educative.io — это текстовая интерактивная платформа, где можно изучать программирование и писать код прямо в браузере. Вы можете изучить какую-либо концепцию и написать соответствующий код прямо в следующей строке. То есть, вам не придется ничего скачивать или настраивать. Это огромное преимущество любого курса для начинающих, поскольку большинство новичков, столкнувшись с трудностями настройки, просто не продвигаются дальше.
Если вы хотите начать изучать Python, эта платформа — отличное место для старта. Курс начинается с пояснения базовых строительных блоков, а дальше вы знакомитесь с более высокоуровневыми концепциями, такими как функции и циклы. По мере прохождения курса вы будете решать увлекательные задачки, используя при этом изученные концепции.
К концу курса вы будете знакомы со структурами данных и функциональным программированием на Python. Курс бесплатный, для доступа к нему нужно только создать аккаунт на Educative.io.
8. Coursera
Если хотите учиться по программам ведущих мировых университетов, не платя за это ни копейки, обратите внимание на платформу Coursera. Там предлагаются онлайн-курсы от университета Стэнфорда, INSEAD, Национального университета Сингапура и многих других.
Кроме того, один из самых популярных курсов на Coursera — «Python — Programming for Everybody» («Python — программирование для всех»).
Этот курс предназначен для обучения Python 3 с нуля. Для его прохождения не нужно иметь даже начальных знаний программирования. Уже больше 850 тысяч учащихся записалось на этот курс и научилось писать код на Python, и вы тоже вполне можете им воспользоваться.
Вообще на Coursera есть целый блок курсов, посвященных Python, и «Python — Programming for Everybody» — часть этого блока. Кроме него есть еще курсы для более глубокого изучения этого языка:
На все эти курсы можно записаться бесплатно и проходить их, так сказать, в роли вольного слушателя. То есть, за практическую часть курса и сертификат придется будет платить (если они вам нужны).
В принципе, если вы можете себе позволить заплатить за этот блок курсов — сделайте это. Он, без сомнения, стоит вашего времени и денег.
Наш список бесплатных ресурсов для изучения Python подошел к концу. Все сайты, указанные в нем, прекрасны, вы можете смело выбирать любой из них. Не стоит браться за все: это займет слишком много времени, к тому же будет совершенно бессмысленно. Выбирайте тот, который лучше всего подойдет для вашего стиля учебы.
Например, если вам нравится интерактивное обучение, выбирайте CodeCademy. Если вам больше по душе неформальные видеокурсы, остановите свой выбор на Udemy. А если предпочитаете более структурированную учебу, как в университете, тогда стоит отдать предпочтение Coursera. И наконец, для тех, кому больше нравится читать тексты, чем смотреть видео, есть класс по Python от Google.
Как изучить Python самостоятельно и бесплатно: алгоритм
Отдел продаж проклял нас за эту статью! От вас — пара часов в день, от нас — список бесплатных материалов для входа и прокачки в Python.
Python — основной язык в Data Science и один из трёх главных языков в веб-разработке — вместе с PHP и JavaScript. Кроме того, он широко используется для администрирования сетей, автоматического тестирования, создания приложений и даже 3D-анимации.
Ко всему прочему, Python считается лёгким в изучении: у него десятки тысяч подключаемых библиотек на все случаи жизни, глобальное сообщество разработчиков и нереальное количество учебных материалов.
Так что если вы решаете, с какого языка вам вкатиться в программирование, то Python — ваш кандидат!
Как убедиться, что Python — отличный язык для старта в разработке? Простой алгоритм:
Кандидат философских наук, специалист по математическому моделированию. Пишет про Data Science, AI и программирование на Python.
Окей, Python! Дальше-то что?
Мы собрали для вас ссылки на обучающие материалы, которые накопились за годы работы Skillbox. Они бесплатны и разбиты по трём направлениям: основы, приложения, Data Science. Внутри каждого направления статьи отсортированы по возрастанию сложности: от простых до заковыристых.
Как вам выучить Python по нашим материалам:
Настало время добрых советов — часть из них могут показаться банальными, но они и правда работают!
Выделите на занятия 1–2 часа ежедневно, чтобы знания не успевали выветриваться (согласно кривой забывания), и постарайтесь продержаться в таком темпе три недели — говорят, за этот срок вырабатывается привычка.
Не бойтесь ошибок. Их будет много — и в процессе обучения, и когда вы станете настоящим программистом. Воспринимайте ошибки как повод впасть в депрессию узнать что-то новое. Цикл вашего обучения должен выглядеть приблизительно так:
Только учтите — статьи и вебинары могут не отражать самые новые фишки языка. Что-то могло измениться: исчезли команды, обновились библиотеки, сервисы стали другими. Это не помешает учиться, но в каких-то мелочах придётся разобраться самостоятельно — и да, это часть ежедневной работы программиста.
Python: основы
С помощью этих материалов вы изучите Python на базовом уровне: установка интерпретатора, синтаксис языка, импорт библиотек, основные типы данных и операции над ними. Кстати, этого вполне достаточно, чтобы создавать довольно сложные и полезные программы.
Установка
Программировать на Python можно на своём компьютере, скачав и установив дистрибутив (рекомендуем Anaconda или PyCharm ), либо в браузере, с помощью специальных сервисов (например, Google Colab ).
Первые шаги
Инструменты и фишки
Хороший программист — любопытный программист. Знание фишек и неочевидных нюансов языка — один из признаков хорошего программиста, пусть и начинающего.
Продвинутые возможности
Python снисходителен к новичкам — потому что позволяет решать какие-то задачи достаточно небрежно, жертвуя чистотой кода в обмен на скорость разработки. Но это не значит, что правильного и красивого решения не существует.
Python: приложения
Можно проматывать и ускорять видео, пересматривать сложные места — записи именно для этого и сделаны.
Считаем калории и пишем голосового ассистента
Анастасия Борнева, ведущий исследователь данных в Сбербанке, демонстрирует процесс создания нескольких простых программ в PyCharm. Бонусом — советы по началу карьеры в Python.
«Нет неподходящего возраста, есть неправильно преподнесённое резюме».
Подбираем пароли и работаем с сетью
Никита Левашов, технический директор в Lia, учит основам хакинга на Python.
Создаём мессенджер с формами и интерфейсом
Эмиль Богомолов, инженер-исследователь из Сколтеха, показывает, как написать мессенджер на питоне.
Python: Data Science
Наверняка кто-то уже написал статью о причинах популярности Python среди дата-сайентистов. Эти причины нам, по правде сказать, не слишком важны, просто запомним, что на данный момент Python главный язык в науке о данных.
Если вы планируете карьеру в этом направлении, то в дополнение к основным вебинарам прочитайте статьи:
Первые модели
Делаем умного чат-бота
Николай Герасименко, ведущий исследователь данных в «Сбере», научит вас делать умных чат-ботов.
Пишем зрячую нейросеть
Уже знакомый нам Никита Левашов покажет, как сделать приложение с нейронкой внутри.
Интенсив «Пишем нейросеть для распознавания предметов и слежки»: первый день, второй день, третий день.
Что в итоге
Вдумчивое освоение указанных материалов даст вам достаточно навыков, чтобы претендовать на позиции стажёра или, если повезёт, даже джуниора, в зависимости от требований в конкретной компании.
Самое главное — не останавливаться. Путь программиста — это путь постоянного обучения, и Python-программисты не исключение. Эта статья — лишь начало вашего путешествия в огромный мир IT. Заметим, что совершенно необязательно идти туда в одиночестве.
На курсе «Профессия Python-разработчик» в Skillbox вы получите ещё больше структурированных знаний и концентрированного опыта. Вас ждут общение с единомышленниками, персональные консультации от действующих разработчиков и гарантированное трудоустройство по окончании обучения. Приходите, и да пребудет с вами дух Python! Import this!
обложка: Альберто Блинчиков для Skillbox Media
🐍 Топ-20 бесплатных ресурсов для изучения Python: сохрани это в закладки
Бесплатные курсы и пособия для программистов на Python
Получить теоретические знания и практические навыки проще всего на курсах, притом некоторые из них есть в свободном доступе. Не стоит думать, будто бесплатные курсы – пустая трата времени. Новичкам они помогут получить базовое представление о языке программирования, способах его применения и потенциале развития в профессии.
Программирование на Python
Материал подойдет тем, кто не имеет опыта программирования. Курс содержит 28 уроков, разъясняющих базовые понятие и элементы синтаксиса Python: списки, операторы, циклы, условия, строковые и числовые переменные. Для проверки знаний доступно 27 тестов. В продолжении курса есть еще 19 уроков и 25 тестов с реальными задачи и советами по каждой теме.
Введение в Python
Теоретическая информация по синтаксису, типам коллекций, функциям, операторам и юникоду с проверкой пройденного материала после каждой лекции. Для каждого урока доступно видео с текстовой базой (основные моменты теории и код).
Язык программирования Python: Информация
Подойдет для любителей читать, т.к. в курсе много теоретической информации в виде текста. Рассмотрены библиотеки и форматы данных, а главное – применение Python для создания программ в разных предметных областях.
A Byte of Python
Learnpython.org
Информация для новичков и опытных программистов: основы (функции, классы, операции и т.д.), руководство по базам данных, материалы для продвинутых разработчиков (специализации, карты, многопользовательские аргументы, частичные функции и пр.). Здесь можно проверить знания на практике: написать код, запустить программу и получить отчет по ошибкам.
Codecademy
Изучение Python 2 от фундаментальных знаний до написания кода. Интерактивные занятия с возможностью запустить и проверить код через браузер без дополнительных настроек. Преимущество платформы в отсутствии потребности писать код целиком – необходимо только вносить небольшие изменения и запускать программы.
Udemy
На этом сайте собрано несколько бесплатных курсов c видеоматериалами. Наиболее востребованы следующие:
Educative
Интеграционная текстовая платформа, которая позволяет изучать концепцию и писать код по каждому уроку. Новичку не придется ничего скачивать и настраивать на своем устройстве, все обучение происходит на сайте. В начале курса идет объяснение основ и концепций, по которым придется решать задачи для работы с функциональным программированием и структурами данных.
Coursera
Этот популярный ресурс предлагает несколько учебных программ от специалистов ведущих университетов (INSEAD, Stanford, National University of Singapore и прочие). Стоит обратить внимание на курс от преподавателей Мичиганского университета « Специализация Python для всех », который (среди прочего) включает следующие разделы: « Структуры данных в Python », « Capstone: Retrieving, Processing, and Visualizing Data with Python» и « Using Databases with Python ».
Code School
Бесплатно после регистрации можно получить доступ только на 10 дней, а за дальнейшее обучение нужно заплатить 29$. Материалы курсов рассчитаны опытных разработчиков, которым необходимо повысить уровень знаний.
Codewars
Интерактивный ресурс с собранием функциональных задач, интересными тестами, отображением результатов, проведением дискуссий с коллегами и повышением ранга. Игровой процесс мотивирует быстро щелкать задачки.
Chekio
Игровая платформа, в которой получение новых знаний и навыков кодирования происходит в непринужденном режиме. Творческий подход к обучению и поддержка коллег позволяют достичь желаемых целей в короткие сроки.
w3schools
Для любителей разработки это отличный ресурс, который позволяет проверить знания Python. На сайте можно изучить теоретические основы языка и примеры его использования, а также поупражняться в создании программ по всем представленным материалам.
Сообщества разработчиков программ на Python
Обучение в режиме общения, консультации с коллегами, ответы на конкретные вопросы – все это можно получить в сообществах. Их преимуществом является бесплатная поддержка от начинающих разработчиков и матерых специалистов. Задавать вопросы нужно, четко обозначив тему и расписав требующую решения проблему.
Форум Python Программистов
Профессиональные программисты в сообществе отвечают на вопросы новичков и более опытных разработчиков. Здесь можно быстро получить консультацию по коду, если правильно оформить заголовок и четко сформулировать вопрос.
Pyslackers
Международное сообщество, которое собрало единомышленников по программированию на Python. Общение происходит через сервис Slack, в котором написать и быстро найти любого участника сообщества не составит труда. Общение по тематическим каналам и личная переписка ускорят процесс обучения и решения проблем.
Python-сообщество
Бесплатные видеолекции по программированию на Python
Любителям визуального и голосового восприятия информации в изучении языка программирования помогут видеоролики. Представляем небольшую подборку видеокурсов, в которых лекторы рассказывают об основах языка, а также дают практические рекомендации по разработке приложений.
Изучаем Python – Полный курс для начинающих
Видео англоязычное, но с русскими субтитрами. В длительной (более 4-х часов) лекции собрана информация по установке и настройке Python и PyCharm, показано создание калькулятора и игры. В курсе представлено все – от переменных и списков, до модулей и функций.
Python Tutorial – Python for Beginners
Классы, модули, параметры и другая теория рассмотрена в шестичасовом видео. В конце инструктор Мош разбирает три проекта: по автоматизации, машинному обучению, а также по созданию веб-сайта. Лектор дает материал на хорошем английском, доступны также субтитры на русском языке.
Python Tutorial for Beginners
Плейлист из 220 видео, в котором собраны всевозможные данные для изучающих программирование на Python новичков. Синтаксис, команды, обработка исключений, расширения и все прочее, что нужно для интерактивного обучения.
Google Python Class
19 видео от команды Google Developers с информацией о веб-программировании на Python. Опытные разработчики демонстрируют практическое применение материала, представленного на теоретических курсах Google’s Python Class.
На Python создают прикладные приложения, пишут тесты и бэкенд веб-приложений, автоматизируют задачи в системном администрировании, его используют в нейронных сетях и анализе больших данных. Язык можно изучить самостоятельно, но на это придется потратить немало времени. Если вы хотите быстро понять основы программирования на Python, обратите внимание на онлайн-курс «Библиотеки программиста». За 30 уроков (15 теоретических и 15 практических занятий) под руководством практикующих экспертов вы не только изучите основы синтаксиса, но и освоите две интегрированные среды разработки (PyCharm и Jupyter Notebook), работу со словарями, парсинг веб-страниц, создание ботов для Telegram и Instagram, тестирование кода и даже анализ данных. Чтобы процесс обучения стал более интересным и комфортным, студенты получат от нас обратную связь. Кураторы и преподаватели курса ответят на все вопросы по теме лекций и практических занятий.
Как выучить python || План обучения с нуля
Всем привет. Решил поделиться планом обучения python с нуля и до приемлимого уровня.
Итак рекомендую начать обучение с прочтения книги «Byte of Python « или по русски укус питона. Это очень маленькая книжка, прочтение которой не отнимет у вас много времени, но зато вы уже сможете получить знания об основах языка. Все кратно и по делу.
Ссылка: https://wombat.org.ua/AByteOfPython/#id10
Далее стоит закрепить полученные знания в курсе на сайте stepik : «Поколение Python»: курс для начинающих
После этого курса стоит немного уделить времени алгоритмам, в этом нам поможет книга “Грокаем аглоритмы”, все примеры в этой книге так же разбираются на языке пайтон, что очень удобно для нас.
После книги про алгоритмы возвращаемся на stepik и проходим курс «Python: основы и применение.» Здесь вы еще больше погрузитесь в язык. изучите классы, попробуете поработать с различными АПИ. В общем будет чем заняться.
Ссылка: https://stepik.org/course/512/syllabus
После этого курса я рекомендую пару недель уделить только решению различных задач по программированию. Для этого существует множество сайтов, я оставлю ссылки на все в описании. Выбирайте какой больше понравится. Лично мне больше всех понравился chekio. Знаю, что многие любят codewars.
Сайты где можно порешать задачки Python:
Вне зависимости от того какой сайт вы выберете, рекомендую начинать с более простых задач, и решать по 3-5 штук в день. Так же после решения, вам будет позволено посмотреть как эту задачу решили другие участники. Почти всегда это будет сделано более элегантным или продвинутым способом. В общем на решениях других людей тоже можно многое почерпнуть.
Далее стоит ознакомиться с ютуб каналом Computer science center
Здесь уже рассматривают продвинутые техники языка. Очень рекомендую к ознакомлению.
Если вам больше нравится читать книги, то вместо этого курса могу порекомендовать книгу «Python. К вершинам мастерства.»
Еще есть вот такой курс от Яндекса.
Так же не забываем постоянно решать задачки с сайтов, чтобы постоянно была практика.
При среднем темпе обучения, на все эти шаги у вас уйдет 3-4 месяца.
На этом этапе уже можно спокойно начать погружаться в выбранную Вами сферу, будь это веб программирование с помощью фреймворков джанго, фласк или может быть датасаенс. Это уже выходит за рамки данного поста. То как стать датасаентистом, мы разбирали в этом посте:
Так же эти ресурсы могут быть вам полезны:
Книга: Изучаем Python. Том 1 | Лутц Марк
Книга: Изучаем Python. Том 2 | Лутц Марк
Книга: Доусон М. Программируем на Python.
У нас есть чатик в телеграмме где мы обсуждаем с подписчиками различные вопросы, залетай к нам! https://t.me/DataScienceGuy
Сейчас смотрю лекции Хирьянова.
О, от яндекса курс не видела ещё, спасибо.
Салют! Ты с 0 осваивал pyhton? Сколько времени заняло обучение чтобы выйти на начальный уровень?
А мне кажется, что бесплатно сложно научиться, мотивация не такая сильная, в отличие от того
если ты заплатил за курс. Есть относительно не дорогие, но очень качественные курсы https://codeby.net/threads/kurs-python-dlja-pentestera.70415. Пять месяцев обучения от нуля до продвинутого. Домашнее задание проверяется в ручную, преподаватели всегда на связи.
Крутяк! Хотеть подобный пост про Java
Давно хотел изучить Питон, но никак не мог найти правильный ракурс подхода к данному вопросу. Опираясь на Ваш пост уже прошел курс «Поколение Python: курс для начинающих» и прочел книги «Byte of Python» и «Грокаем алгоритмы». Так вот, к чему это я. Дойдя до курса «Python: основы и применение.» я познал боль и отчаяние. Был вынужден искать новые пути познания и пока остановился на курсе «Инди-курс программирования на Python от egoroff_channel» от Артема Егорова (ссылку оставлять не стану на случай, если автор против подобных вбросов). Данный курс часто появлялся в комментах на «Основах и применении» как единственная панацея, что я и решил проверить. Не знаю, проблема ли в качестве изложения авторов курса из Вашего списка, либо в резком перепаде сложности курсов, но что-то не пошло. Возможно стоит рассмотреть какую-то прослойку из переходного курса или вспомогательных материалов. Дело Ваше, но я говорю от лица человека, который по данному посту с нуля решил обучиться и встретил определенные сложности.
Во всяком случае, путь мой только начат, и начат он не без Вашей помощи. Спасибо 🙂
Пы.Сы: хотел просто вбросить про возможно неплохое дополнение к программе обучения, но что-то занесло хехехе.
Спасибо, а почему бы и нет!
Здравствуйте. Есть предложение по сотрудничеству. Если интересно- напишите ermolenko_olja@mail.ru
А у меня создалось ощущение, что питон просто очередная мода. Может быть востребован ещё долго, а может и отвалится. Помнится на перл поначалу также многие молились.
Сам пользуюсь уже лет 10 для автоматизации и мне в принципе питон очень нравится. Но крупный серьёзный проект скорее всего на нем не стал бы делать.
За сссылки спасибо, сохранил.
Оставлю комент. Завтра почитаю.
ТС скажи как у питона обстоят дела с ООП
На всякий случай изучу. А то в селе скучно стало, клуб и тот закрыли.
найти заказчика, который скажет: Тебе надо закрыть этот проект на питоне «на вчера»
Ну не летом же начинать такое серьезное дело, а вот с числа точно начну!:))
Вот уже на протяжении нескольких лет Тимофей, преподаватель кафедры информатики МФТИ, выкладывает свои лекции по программированию на своём Youtube канале с открытым доступом.
Разработка системы заметок с нуля. Часть 2: REST API для RESTful API Service + JWT + Swagger
Продолжаем серию материалов про создание системы заметок. В этой части мы спроектируем и разработаем RESTful API Service на Go cо Swagger и авторизацией. Будет много кода, ещё больше рефакторинга и даже немного интеграционных тестов.
В первой части мы спроектировали систему и посмотрели, какие сервисы требуются для построения микросервисной архитектуры.
Подробности в видео и текстовой расшифровке под ним.
Начнём с макетов интерфейса. Нам нужно понять, какие ручки будут у нашего API и какой состав данных он должен отдавать. Макеты мы будем делать, чтобы понять, какие сущности, поля и эндпоинты нам нужны. Используем для этого онлайн-сервис NinjaMock. Он подходит, если макет надо сделать быстро и без лишних действий.
Страницу регистрации сделаем простую, с четырьмя полями: Name, Email, Password и Repeat Password. Лейблы делать не будем, обойдемся плейсходерами. Авторизацию сделаем по юзернейму и паролю.
После входа в приложение пользователь увидит список заметок, который будет выглядеть примерно так:
Интерфейс, который будет у нашего веб-приложения:
— Слева — список категорий любой вложенности.
— Справа — список заметок в виде карточек, который делится на два списка: прикреплённые и обычные карточки.
— Каждая карточка состоит из заголовка, который урезается, если он очень длинный.
— Справа указано, сколько секунд/минут/часов/дней назад была создана заметка.
— Тело заголовка — отрендеренный Markdown.
— Панель инструментов. Через неё можно изменить цвет, прикрепить или удалить заметку.
Тут важно отметить, что файлы заметки мы не отображаем и не будем запрашивать у API для списка заметок.
Полная карточка открывается по клику на заметку. Тут можно сразу отобразить полностью длинный заголовок. Высота заметки зависит от количества текста. Для файлов появляется отдельная секция. Мы их будем получать отдельным асинхронным запросом, который не помешает пользователю редактировать заметку. Файлы можно скачать по ссылке, также есть отдельная кнопка на добавление файлов.
Так будет выглядеть открытая заметка
В ходе прототипирования стало понятно, что в первой части мы забыли добавить еще один микросервис — TagsService. Он будет управлять тегами.
Для страниц авторизации и регистрации нам нужны эндпоинты аутентификации и регистрации соответственно. В качестве аутентификации и сессий пользователя мы будем использовать JWT. Что это такое и как работает, разберём чуть позднее. Пока просто запомните эти 3 буквы.
Для страницы списка заметок нам нужны эндпоинты /api/categories для получения древовидного списка категорий и /api/notes?category_id=? для получения списка заметок текущей категории. Перемещаясь по другим категориям, мы будем отдельно запрашивать заметки для выбранной категории, а на фронтенде сделаем кэш на клиенте. В ходе работы с заметками нам нужно уметь создавать новую категорию. Это будет метод POST на URL /api/categories. Также мы будем создавать новый тег при помощи метода POST на URL /api/tags.
Чтобы обновить заметку, используем метод PATCH на URL /api/notes/:uuid с измененными полями. Делаем PATCH, а не PUT, потому что PUT требует отправки всех полей сущности по спецификации HTTP, а PATCH как раз нужен для частичного обновления. Для отображения заметки нам ещё нужен эндпоинт /api/notes/:uuid/files с методами POST и GET. Также нам нужно скачивать файл, поэтому сделаем метод GET на URL /api/files/:uuid.
Структура репозитория системы
Ещё немного общей информации. Структура репозитория всей системы будет выглядеть следующим образом:
В директории app будет исходный код сервиса (если он будет). На уровне с app будут другие директории других продуктов, которые используются с этим сервисом, например, MongoDB или ELK. Продукты, которые будут использоваться на уровне всей системы, например, Consul, будут в отдельных директориях на уровне с сервисами.
Писать будем на Go
— Идём на официальный сайт.
— Копируем ссылку до архива, скачиваем, проверяем хеш-сумму.
— Распаковываем и добавляем в переменную PATH путь до бинарников Go
— Пишем небольшой тест проверки работоспособности, собираем бинарник и запускаем.
Установка завершена, всё работает
Теперь создаём проект. Структура стандартная:
— cmd — точка входа в приложение,
— internal — внутренняя бизнес-логика приложения,
— pkg — для кода, который можно переиспользовать из проекта в проект.
Я очень люблю логировать ход работы приложения, поэтому перенесу свою обёртку над логером logrus из другого проекта. Основная функция здесь Init, которая создает логер, папку logs и в ней файл all.log со всеми логами. Кроме файла логи будут выводиться в STDOUT. Также в пакете реализована поддержка логирования в разные файлы с разным уровнем логирования, но в текущем проекте мы это использовать не будем.
APIService будет работать на сокете. Создаём роутер, затем файл с сокетом и начинаем его слушать. Также мы хотим перехватывать от системы сигналы завершения работы. Например, если кто-то пошлёт приложению сигнал SIGHUP, приложение должно корректно завершиться, закрыв все текущие соединения и сессии. Хотел перехватывать все сигналы, но линтер предупреждает, что os.Kill и SIGSTOP перехватить не получится, поэтому их удаляем из этого списка.
Теперь давайте добавим сразу стандартный handler для метрик. Я его копирую в директорию pkg, далее добавляю в роутер. Все последующие роутеры будем добавлять так же.
Далее создаём точку входа в приложение. В директории cmd создаём директорию main, а в ней — файл app.go. В нём мы создаём функцию main, в которой инициализируем и создаём логер. Роутер создаём через ключевое слово defer, чтобы метод Init у роутера вызвался только тогда, когда завершится функция main. Таким образом можно выполнять очистку ресурсов, закрытие контекстов и отложенный запуск методов. Запускаем, проверяем логи и сокет, всё работает.
Но для разработки нам нужно запускать приложение на порту, а не на сокете. Поэтому давайте добавим запуск приложения на порту в наш роутер. Определять, как запускать приложение, мы будем с помощью конфига.
Создадим для приложения контекст. Сделаем его синглтоном при помощи механизма sync.Once. Пока что в нём будет только конфиг. Контекст в виде синглтона создаю исключительно в учебных целях, впоследствии он будет выпилен. В большинстве случаев синглтоны — необходимое зло, в нашем проекте они не нужны. Далее создаём конфиг. Это будет YAML-файл, который мы будем парсить в структуру.
В роутере мы вытаскиваем из контекста конфиг и на основании listen.type либо создаем сокет, либо вешаем приложение на порт. Код graceful shutdown выделяем в отдельный пакет и передаём на вход список сигналов и список интерфейсов io.Close, которые надо закрывать. Запускаем приложение и проверяем наш эндпоинт heartbeat. Всё работает. Давайте и конфиг сделаем синглтоном через механизм sync.Once, чтобы потом безболезненно удалить контекст, который создавался в учебных целях.
Теперь переходим к API. Создаём эндпоинты, полученные при анализе прототипов интерфейса. Тут важно отметить, что у нас все данные привязаны к пользователю. На первый взгляд, все ручки должны начинаться с пользователя и его идентификатора /api/users/:uuid. Но у нас будет авторизация, иначе любой пользователь сможет программно запросить заметки любого другого пользователя. Авторизацию можно сделать следующим образом: Basic Auth, Digest Auth, JSON Web Token, сессии и OAuth2. У всех способов есть свои плюсы и минусы. Для этого проекта мы возьмём JSON Web Token.
Работа с JSON Web Token
JSON Web Token (JWT) — это JSON-объект, который определён в открытом стандарте RFC 7519. Он считается одним из безопасных способов передачи информации между двумя участниками. Для его создания необходимо определить заголовок (header) с общей информацией по токену, полезные данные (payload), такие как id пользователя, его роль и т.д., а также подписи (signature).
JWT использует преимущества подхода цифровой подписи JWS (Signature) и кодирования JWE (Encrypting). Подпись не даёт кому-то подделать токен без информации о секретном ключе, а кодирование защищает от прочтения данных третьими лицами. Давайте разберёмся, как они могут нам помочь для аутентификации и авторизации пользователя.
Аутентификация — процедура проверки подлинности. Мы проверяем, есть ли пользователь с полученной связкой логин-пароль в нашей системе.
Авторизация — предоставление пользователю прав на выполнение определённых действий, а также процесс проверки (подтверждения) данных прав при попытке выполнения этих действий.
Другими словами, аутентификация проверяет легальность пользователя. Пользователь становится авторизированным, если может выполнять разрешённые действия.
Важно понимать, что использование JWT не скрывает и не маскирует данные автоматически. Причина использования JWT — проверка, что отправленные данные были действительно отправлены авторизованным источником. Данные внутри JWT закодированы и подписаны, но не зашифрованы. Цель кодирования данных — преобразование структуры. Подписанные данные позволяют получателю данных проверить аутентификацию источника данных.
Реализация JWT в нашем APIService:
— Создаём директории middleware и jwt, а также файл jwt.go.
— Описываем кастомные UserClaims и сам middlware.
— Получаем заголовок Authorization, оттуда берём токен.
— Берём секрет из конфига.
— Создаём верификатор HMAC.
— Парсим и проверяем токен.
— Анмаршалим полученные данные в модель UserClaims.
— Проверяем, что токен валидный на текущий момент.
При любой ошибке отдаём ответ с кодом 401 Unauthorized. Если ошибок не было, в контекст сохраняем ID пользователя в параметр user_id, чтобы во всех хендлерах его можно было получить. Теперь надо этот токен сгенерировать. Это будет делать хендлер авторизации с методом POST и эндпоинтом /api/auth. Он получает входные данные в виде полей username и password, которые мы описываем отдельной структурой user. Здесь также будет взаимодействие с UserService, нам надо там искать пользователя по полученным данным. Если такой пользователь есть, то создаём для него UserClaims, в которых указываем все нужные для нас данные. Определяем время жизни токена при помощи переменной ExpiresAt — берём текущее время и добавляем 15 секунд. Билдим токен и отдаём в виде JSON в параметре token. Клиента к UserService у нас пока нет, поэтому делаем заглушку.
Добавим в хендлер с heartbeat еще один тестовый хендлер, чтобы проверить работу аутентификации. Пишем небольшой тест. Для этого используем инструмент sketch, встроенный в IDE. Делаем POST-запрос на /api/auth, получаем токен и подставляем его в следующий запрос. Получаем ответ от эндпоинта /api/heartbeat, по истечении 5 секунд мы начнём получать ошибку с кодом 401 Unauthorized.
Наш токен действителен очень ограниченное время. Сейчас это 15 секунд, а будет минут 30. Но этого всё равно мало. Когда токен протухнет, пользователю необходимо будет заново авторизовываться в системе. Это сделано для того, чтобы защитить пользовательские данные. Если злоумышленник украдет токен авторизации, который будет действовать очень большой промежуток времени или вообще бессрочно, то это будет провал.
Чтобы этого избежать, прикрутим refresh-токен. Он позволит пересоздать основной токен доступа без запроса данных авторизации пользователя. Такие токены живут очень долго или вообще бессрочно. После того как только старый JWT истекает мы больше не можем обратиться к API. Тогда отправляем refresh-токен. Нам приходит новая пара токена доступа и refresh-токена.
Хранить refresh-токены на сервере мы будем в кэше. В качестве реализации возьмём FreeCache. Я использую свою обёртку над кэшем из другого проекта, которая позволяет заменить реализацию FreeCache на любую другую, так как отдает интерфейс Repository с методами, которые никак не связаны с библиотекой.
Пока рассуждал про кэш, решил зарефакторить существующий код, чтобы было удобней прокидывать объекты без dependency injection и синглтонов. Обернул хендлеры и роутер в структуры. В хендлерах сделал интерфейс с методом Register, которые регистрируют его в роутере. Все объекты теперь инициализируются в main, весь роутер переехал в мейн. Старт приложения выделили в отдельную функцию также в main-файле. Теперь, если хендлеру нужен какой-то объект, я его просто буду добавлять в конструктор структуры хендлера, а инициализировать в main. Плюс появилась возможность прокидывать всем хендлерам свой логер. Это будет удобно когда надо будет добавлять поле trace_id от Zipkin в строчку лога.
Вернемся к refresh_token. Теперь при создании токена доступа создадим refresh_token и отдадим его вместе с основным. Сделаем обработку метода PUT для эндпоинта /api/auth, а в теле запроса будем ожидать параметр refresh_token, чтобы сгенерировать новую пару токена доступа и refresh-токена. Refresh-токен мы кладём в кэш в качестве ключа. Значением будет user_id, чтобы по нему можно было запросить данные пользователя у UserService и сгенерировать новый токен доступа. Refresh-токен одноразовый, поэтому сразу после получения токена из кэша удаляем его.
Для описания нашего API будем использовать спецификацию OpenAPI 3.0 и Swagger — YAML-файл, который описывает все схемы данных и все эндпоинты. По нему очень легко ориентироваться, у него приятный интерфейс. Но описывать вручную всё очень муторно, поэтому лучше генерировать его кодом.
— Создаём эндпоинты /api/auth с методами POST и PUT для получения токена по юзернейму и паролю и по Refresh-токену соответственно.
— Добавляем схемы объектов Token и User.
— Создаём эндпоинты /api/users с методом POST для регистрации нового пользователя. Для него создаём схему CreateUser.
Понимаем, что забыли сделать хендлер для регистрации пользователя. Создаём метод Signup у хенлера Auth и структуру newUser со всеми полями для регистрации. Генерацию JWT выделяем в отдельный метод, чтобы можно было его вызывать как в Auth, так и в Signup-хендлерах. У нас всё еще нет UserService, поэтому проставляем TODO. Нам надо будет провалидировать полученные данные от пользователя и потом отправить их в UserService, чтобы он уже создал пользователя и ответил нам об успехе. Далее вызываем функцию создания пары токена доступа и refresh-токена и отдаём с кодом 201.
У нас есть подсказка в виде Swagger-файла. На его основе создаём все нужные хендлеры. Там, где вызов микросервисов, будем проставлять комментарий с TODO.
Создаём хендлер для категорий, определяем URL в константах. Далее создаём структуры. Опираемся на Swagger-файл, который создали ранее. Далее создаём сам хендлер и реализуем метод Register, который регистрирует его в роутере. Затем создаём методы с логикой работы и сразу пишем тест API на этот метод. Проверяем, находим ошибки в сваггере. Таким образом мы создаём все методы по работе с категориями: получение и создание.
Далее создаём таким же образом хендлер для заметок. Понимаем, что забыли методы частичного обновления и удаления как для заметок, так и для категорий. Дописываем их в Swagger и реализуем методы в коде. Также обязательно тестируем Swagger в онлайн-редакторе.
Здесь надо обратить внимание на то, что методы создания сущности возвращают код ответа 201 и заголовок Location, в котором находится URL для получения сущности. Оттуда можно вытащить идентификатор созданной сущности.
В третьей части мы познакомимся с графовой базой данных Neo4j, а также будем работать над микросервисами CategoryService и APIService.