Это перевод статьи Ивана Зареа How I would explain a decade of web development to a time traveler from 2007.
- (Веб) Приложения
- Нормально, если ты в замешательстве
- Данные
- Хранение
- Обучение
- Микросервисы и облако
- Как мы строим софт
Привет! Надеюсь, тебе нравится наш, новый для тебя мир. Он сильно отличается от мира 2007 года. Если ты только что взял ипотеку, вернись и закрой её. Поверь мне.
Я рад, что тебя всё ещё интересуют компьютеры! Сегодня у нас их гораздо больше, чем 10 лет назад, что принесло новые сложности. Мы носим компьютеры на руках и голове, держим их в карманах, они встроены в холодильники и чайники. Автомобили успешны в самоуправлении, а программы (чему мы их научили) играют лучше, чем люди, почти в каждую игру, за исключением наверно только алкогольных игр.
(Веб) Приложения
Возможно, ты застал выпуск iPhone прямо перед тем, как вошёл в кабину перемещения во времени. Apple — самая крупная и самая богатая технологическая компания, в основном благодаря iPhone и операционной системе iOS. Их конкурент — Google с системой Android. Microsoft тоже пыталась получить кусочек постоянно растущего пирога со своим Windows Phone. Это не сработало.
Слева: в руке iPhone 3GS, выпущенный в 2008. Справа: в руке того же размера iPhone X, намного крупнее, выпущенный в 2017. Нам ещё пришлось практиковаться делать кадры, снятые через плечо.
Мы стали называть программы приложениями, а некоторые веб-сайты — веб-приложениями. В 2008 году Google выпустил новый браузер "Chrome". Девять лет спустя он стал самым популярным способом выходить в интернет.
Команда Chrome очень вложилась в работу с JavaScript, и каждый месяц код становится лучше. В веб-приложениях используется много JavaScript, и они напоминают интерфейсы рабочего стола из твоего времени.
Компании также инвестировали в JavaScript, чтобы улучшить его — теперь он поддерживает классы и модули. Мы используем языки, которые компилируются в JavaScript, например, TypeScript от Microsoft (они сегодня жгут) или Flow.
Сегодня мы пишем много на JavaScript, так как никто больше не поддерживает Flash. Мы даже на сервере запускаем JavaScript вместо Perl, используя такую штуку как Node. Звучит всё проще, чем есть на самом деле.
Адаптивный дизайн: один и тот же сайт выглядит по-разному на разных устройствах. Мы всё ещё не профессионалы, но любим показать красоту. Источник: 10twelve.
Помнишь Swing, SWT и штуки наподобие wxWidgets? Нам пришлось переделать их под браузер. Появилось несколько новых моделей программирования UI, которые в основном сфокусированы на компонентах.
Нам требовалось найти способ разработки, сборки и тестирования приложений, сохранив при этом их адаптивность (этот термин мы используем для описания веб-сайтов, которые не выглядят дерьмово на мобильном телефоне). Нам также нужно поддерживать их лёгкость — не у всех быстрый интернет, а браузер есть почти у всех.
Сегодня с этим могут помочь компонетные фреймворки. Этому термину невозможно дать чёткое определение, поскольку он включает в себя разные похожие штуки вроде, Angular от Google, React от Facebook и Vue от сообщества. Но это лучший термин, который у нас есть.
Кстати, я не уверен, что ты помнишь Facebook 2007 года. В то время он разрастался в США, а сейчас он просто гигантский. С его более чем миллиардом пользователей, это ещё и одна из самых крупных баз кода в мире.
Команда разработчиков Facebook тоннами пишет отличный код и публикует его в интернете. У них есть своя конференция, F8. У большинства крупных компаний есть свои собственные конференции.
CSS тоже было необходимо развитие, поскольку новые приложения требовали более сложных макетов. Мы перестали использовать таблицы с изображениями, фреймы. Вместо этого мы создали новые стандарты, вроде CSS Floats, Flexbox и CSS Grid.
Людям пришлось переиспользовать эти стандарты, и они построили библиотеки, чтобы сохранить консистентность, например Bootstrap, Foundation и многие другие. Подобно JavaScript, мы создали языки, которые компилируются в CSS. Они компенсируют некоторые моменты, которые в нём упущены, например, переменные или модули. Это все еще сложно.
Нормально, если ты в замешательстве
Не расстраивайся, если не совсем понимаешь, что происходит. Мы все немного сбиты с толку — и это нормально. Теперь разработчиков на всей планете намного больше, а технологические компании становятся всё более успешными. Некоторое время мы использовали термин «стартап» для описания компаний, которые быстро росли и не знали, что делать. Но даже этот термин устарел.
Данные
Теперь больше программистов, больше программ и больше устройств. Больше данных. Мощность компьютеров должна расти достаточно для того, чтобы все это обрабатывать, и мы разработали несколько методов, чтобы превратить данные в аналитику.
Во-первых, мы создали область Data Science (обработка и анализ данных), целью которой является изучение и извлечение информации из данных.
Например, стартап Waze позволяет людям устанавливать приложение на телефон, чтобы отслеживать свои передвижения в автомобилях. Поскольку приложение установлено у многих людей, Waze имеет множество данных о том, как передвигаются автомобили. Эти данные используются для разработки программ, которые могут определить, где образуются пробки.
Теперь, если открыть Waze на своем телефоне, можно увидеть пробки на карте в реальном времени и выбрать другой маршрут.
Google купил Waze. Такое часто происходит со стартапами.
Кто-то использует Waze, чтобы куда-то добраться. Остальные пользователи Waze отображаются в виде забавных иконок. Источник: Блог waze.
Перед Data Science встали три основные задачи: хранение, понимание и использование данных. Мы продвинулись во всех этих областях. Давай посмотрим на каждую.
Хранение
Сегодня нам требуется хранить намного больше информации, а затем разбираться, какая её часть важна. Нам потребовалось изобрести новые базы данных. Подобия MySQL и PostgreSQL не подходили для хранения терабайтов информации (мы назвали это большими данными).
Крупные компании, для которых интернет первостепенен, как правило, сталкивались именно с этими проблемами. Поэтому они оказались в гуще развития технологий. В большинстве случаев технологии сначала использовались внутри компаний, а затем переходили в open source.
Был механизм, который мы назвали NoSQL. Новый класс баз данных принял некоторые из соглашений традиционных реляционных баз и развернул их на 180 градусов.
Hadoop контролирует распределение данных для хранения на нескольких физических компьютерах. Он подбирает способ обработки данных, который называется MapReduce (основанный на публикации Google — крупные компании сегодня пишут хорошие научные публикации).
Cassandra рассматривает данные не как таблицы, а как наборы ключей и столбцов, которые могут храниться на разных компьютерах. Также она гарантирует, что любой из этих компьютеров может уйти в оффлайн без потери данных.
Ещё есть MongoDB, база данных, которую легко установить и использовать для прототипирования приложений. В 2017 году мы относимся к технологиям так же, как десять лет назад относились к поп-звездам — ревностно защищаем некоторые из них и яростно ненавидим другие. MongoDB, как группа Nickelback, входит в последнюю группу.
Обучение
Фотография собаки, сделанная с помощью приложения Prisma. Оно использует машинное обучение, чтобы превращать обычные картинки в подобие работ знаменитых художников. Больше никаких фильтров Plastic Wrap в Photoshop. Источник: cultofmac.
В сфере «понимания данных» основные приоритеты сдвинулись в область «машинного обучения». Появилось много новых методов, от простой классификации до глубокого обучения, которые теперь можно найти в каждом наборе инструментов для специалистов по обработке и анализу данных. Они в основном пишут на Python и сотрудничают с разработчиками, чтобы внедрить машинное обучение практически везде.
Например, благодаря специалистам по обработке данных многие веб-приложения используют A/B-тестирование. Этот метод предлагает две немного разные версии приложения разным пользователям из одинаковых групп. Его используют для того, чтобы понять, какая версия быстрее приведёт к желаемой цели, будь то регистрация или покупка.
Многие крупные компании, вроде Airbnb (произносится эйр-би-эн-би), Uber и Netflix, одновременно проводят сотни и тысячи A/B тестов, чтобы убедиться, что пользователи удовлетворены их продуктом. Netflix — это приложение, через которое люди могут смотреть теле-шоу с любого своего устройства. ¯\_(ツ)_/¯
Микросервисы и облако
Такие компании, как Netflix, огромны. Поскольку они обслуживают множество людей, у них должна быть уверенность в том, что сервис постоянно в активном и работоспособном состоянии. Это означает, что они должны мастерски управлять своими компьютерами. Они могут добавлять сотни новых серверов, когда понадобится.
Этого трудно добиться с помощью привычного дата-центра, поэтому гениальные инженеры Netflix используют виртуальные машины. Помнишь Amazon Web Services, который был запущен в 2006 году? Тогда компания начала предлагать Elastic Cloud Compute, известный как EC2, чтобы предоставить людям виртуальные компьютеры в дата-центрах Amazon.
Сегодня у них почти 80 подобных услуг, все созданы для быстрого роста компаний. Раньше у нас для этого было модное название — «The Cloud» — но этому термину так же трудно дать определение, как и NoSQL.
Это список сервисов, которые можно найти в облаке Amazon. Список до сих пор растёт.
Google and Microsoft предлагают свои собственные облачные хранилища, формируя рынок облачных услуг. А когда умные люди конкурируют друг с другом, рождаются разные безумные инновации.
Во-первых, мы начали больше представлять инфраструктуру как код. Раньше нужно было купить новый сервер, подключить клавиатуру и установить зависимости.
Теперь мы используем инструменты управления конфигурацией, вроде Puppet, Chef, и Ansible, чтобы автоматизировать сервера. Пишешь реальный код на языках подобных Ruby и provision сервера, основанные на конфигурациях. Если необходимы изменения — меняешь конфигурации, а затем обновляешь сервера. Больше никаких SSH.
Позже мы начали больше присматриваться к контейнерам. Так как появилась возможность делать провизии машин на EC2, потребовалась возможность разрабатывать в таком же окружении, как на продакшене.
Мы начали с виртуальных машин, используя инструменты, вроде Vagrant, чтобы автоматизировать их. Но затем появились Linux-контейнеры и, наконец, Docker. Мы нашли способ запускать Linux на MacBook без запуска всей виртуальной машины и расшаривать некоторые операции, относящиеся к ОС.
Используя Docker, мы смогли создавать описания систем, которые в точности совпадали с теми, что были запущены на production. Разработчики назвали эти описания образами и стали запускать приложения в своеобразных виртуальных штуках, называемых контейнерами.
Кстати, мы очень любим MacBookи. А на картинке - люди, сидящие на конференции выпуска Windows 10. Источник: reddit
Затем провайдеры облачных хранилищ подхватили это и позволили нам запускать свои контейнеры напрямую в своих облаках. Они предоставили нам инструменты вроде Marathon и Kubernetes, которые называются фреймворками оркестрации. Эти фреймворки позволили разработчикам запускать приложения внутри контейнеров без забот о масштабировании, чуствительности к сбоям, мониторинге и discovery. Серверы стали одноразовыми, и мы не даём им больше умные названия.
Это так же позволило разработчикам создавать маленькие приложения, которые назвали сервисами или микросервисами, а затем запускать их независимо друг от друга. Поскольку эти микросервисы имеют несколько внешних зависимостей, мы начали задумываться об использовании языков программирования, наподобие Go (которые были созданы, чтобы сделать параллельные вычисления сносными) и Java. Да, Java всё ещё существует и становится лучше.
Так же существуют языки вроде Scala и Clojure, которые позволяют использовать виртуальную машину Java и все соответствующие библиотеки. Веб-сайт наподобие AirBnB запускает сотни микросервисов, используя несколько языков программирования и баз данных.
Из-за этих микросервисов мы были вынуждены пересмотреть некоторые из наших моделей программирования. Сейчас намного больше приложений вообще и мелких приложений в частности, им требуется согласованность.
В результате появились инструменты вроде Apache Kafka, Google PubSub, и RabbitMQ, которые нацелены максимально помочь компьютерам, коммуницирующим друг с другом. Kafka был создан компанией LinkedIn — социальной сетью, где люди делают публичной свою профессиональную жизнь. Позже он был выложен в open-source.
Как мы строим софт
Избыточная сложность, пришедшая с фреймворками оркестрации, больше подходит для крупных команд. Помнишь, у нас сейчас больше людей разрабатывающих софт, чем когда-либо раньше, и каждый программист хочет деплоить свой готовый код немедленно. Если в компании сотни программистов, работающих над веб-сайтом, необходим контроль за тем, что их релизам не требуется координация.
Поэтому мы создаём софт маленькими командами. У команд обычно есть опыт в интеграции разработки и эксплуатации, а участники достаточно хорошо разбираются в операциях, чтобы делать деплой для своего софта. Они используют своеобразную форму управления Agile, где выпускают софт беспрерывно, короткими циклами. Организации так же экспериментируют с другими формами иерархии, вроде Squads, Chapters, Tribes и Guilds, так же как делает Spotify (новый сервис музыкального стриминга).
Все эти проекты (и многие другие, которые упоминались ранее) разрабатывались публично сообществом людей. Иногда они спонсируются компанией. В большинстве случаев разработка происходит на сайте GitHub. Там люди могут обсуждать софт, строить его публично и соглашаться со вкладами, добавляя к ответам вот такую 👍 эмоджи. Эмоджи — это специальный символ, который мы сегодня используем, чтобы выражать эмоции вроде согласия :-)
Сегодня существует намного больше сообществ, и они все экспериментируют со способами создания открытого софта. Например, веб-фреймворк EmberJS использует шестинедельный цикл релизов, поддерживаемый сообществом. Другие языки и известный open source софт (вроде GitLab и Visual Studio Code, редактор кода от Microsoft) используют месячный цикл релизов, чтобы быть уверенными, что они не выпускают целиком сломанные изменения. Пакеты немного ломаются в каждом релизе.
Кстати, война редакторов всё ещё не утихла. Мы пишем код в десктоп приложениях, они запускаются в браузере и отображают текстовое поле. И это офигенно (кхм-кхм, не очень, — прим. ред.). Приложения достаточно хорошо справляются со своей работой (и становятся лучше с каждым релизом), прилично настраиваются. Там даже есть поддержка VIM-режима!
RailsGirls — это мероприятие, которое открывает мир разработки многим женщинам. Тут участники воркшопа в Софии (Болгария) на встрече Friday Hug - популярном движении в сообществе Ruby. Источник: Railsgirls.
По любой теме проводятся конференции. Они увлекательные и их делают везде. Сходи на какую-нибудь и там столкнёшься с абсолютно разными людьми! Подружись с кем-нибудь, подурачься, вдохновись, выскажи свои мысли. Можешь даже сходить на шоу algorave. То, что они творят с музыкой, картинками и кодом — просто захватывающе.
