Переводчики С. Белов , Е. Сандицкая

Технический редактор Н. Гринчик

Литературный редактор Н. Гринчик

Художники Н. Гринчик, С. Заматевская , Г. Синякина (Маклакова)

Корректоры О. Андриевич, Г. Блинов, Е. Павлович

Верстка Г. Блинов

Пранав Шукла, Шарат Кумар

Elasticsearch, Kibana, Logstash и поисковые системы нового поколения . — СПб.: Питер, 2019.

ISBN 978-5-4461-1024-7

© ООО Издательство "Питер", 2019

Все права защищены. Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

Об авторах

Пранав Шукла — основатель и руководитель компании Valens DataLabs, инженер, муж и отец двоих детей. Разработчик архитектур больших данных и профессиональный программист, использующий языки программирования на базе JVM. Пранав более 14 лет занимается разработкой корпоративных приложений для компаний и стартапов Fortune 500. Его основная специализация — создание масштабируемых, управляемых данными приложений на основе JVM, Java/Scala, экосистемы Hadoop, Apache Spark и баз данных NoSQL. Активно развивается в сферах, связанных с организацией больших данных, аналитикой и машинным обучением.

Пранав основал Valens DataLabs, чтобы помочь другим компаниям использовать данные для повышения своей конкурентоспособности. Valens DataLabs специализируется на создании облачных приложений нового поколения для работы с большими данными и веб-технологиями. Работа компании основана на использовании гибких практик, принципов бережливого производства, разработки на основе тестов и поведения, постоянной интеграции и непрерывного развертывания устойчивых программных систем.

В свое свободное время Пранав любит читать, играть на музыкальных инструментах, петь, слушать музыку и смотреть матчи по крикету. Вы можете связаться с ним по электронной почте: pranav.shukla@valensdatalabs.com — и подписаться на него в «Твиттере»: @pranavshukla81.

Я хотел бы поблагодарить свою жену Крути Шукла за ее безоговорочную любовь и поддержку, наших сыновей Саухадра и Пратишха, моих родителей Шарада Шукла и Варшу Шукла. Благодарю также своего брата Вишала Шукла за вдохновение и особую роль в моей карьере и написании этой книги. Отдельные благодарности для Партха Мистри, Гопала Хангара и Кришны Мита за их ценные отклики о книге. И спасибо остальным, кто привнес посильный вклад в мою карьеру: Умешу Каккаду, Эдди Мужену, Варту Франсену, Правину Саменени, Виноду Пателу, Гопаху Шаху и Сачину Бакши.

Шарат Кумар М.Н. получил степень магистра по компьютерным наукам в Техасском университете, Даллас, США. Он уже более десяти лет работает в IT-индустрии, в данный момент занимает должность разработчика решений на Oracle для Elasticsearch, является приверженцем Elastic Stack. Будучи заядлым оратором, он выступал на нескольких научно-технических конференциях, в том числе Oracle Code Event. Шарат — аттестованный преподаватель Elastic (Elastic Certified Instructor) — один из нескольких технических экспертов в мире, кому компания Elastic Inc. предоставила официальное право проводить тренинги «от создателей Elastic». Он также является энтузиастом в машинном обучении и науке о данных.

В свободное время Шарат занимается горным туризмом, любит слушать музыку, играть со своими питомцами Гудду и Мило. Он также расширяет свои навыки программирования на Python для анализа биржевых рынков. Вы можете связаться с ним по электронной почте: mnsk07@gmail.com.

Я хотел бы поблагодарить своих родителей, Гита и Нанжайю, сестру Шилпу М.Н., зятя Сридхара и моих друзей — без их поддержки я бы не смог закончить свою часть книги вовремя. Также говорю спасибо сотрудникам издательства Packt Publishing (особенно Черил, Сэмьюэлю, Варше, Сагару) за предоставление отличной возможности поучаствовать в этом захватывающем путешествии.

О научном редакторе

Марцело Очоа работает в лаборатории факультета точных наук в Национальном университете Центрального Буэнос-Айреса (Universidad Nacional del Centro de la Provincia de Buenos Aires), Аргентина. Он является техническим директором компании Scotas (www.scotas.com), которая специализируется на решениях в псевдореальном времени с использованием технологий Apache Solr и Oracle. Марцело успевает работать в университете и заниматься проектами, связанными с Oracle и технологиями больших данных. Ранее он работал с базами данных, веб- и Java-технологиями. В мире XML Марцело известен как разработчик DB Generator для проекта Apache Cocoon. Он принимал участие в создании таких проектов с открытым исходным кодом, как DBPrism, DBPrism CMS, а также Restlet.org, где работал над Oracle XDB Restlet Adapter, который является альтернативой для записи нативных веб-сервисов REST внутри базы данных JVM.

С 2006 года он принимает участие в программе Oracle ACE, а в последнее время подключился к работе над проектом Docker Mentor.

Марцело является соавтором таких книг, как Oracle Database Programming Using Java and Web Services от издательства Digital Press и Professional XML Databases от Wrox Press. Он был техническим обозревателем в некоторых книгах издательства Packt: Mastering Elastic Stack, Mastering Elasticsearch 5.x, Third Edition, Elasticsearch 5.x Cookbook, Third Edition и пр.

Предисловие

Elastic Stack — это мощный набор инструментов для распределенного поиска, анализа, сбора и визуализации данных в массивах данных различного размера. Новейший Elastic Stack 6.0 отличается новыми функциями и возможностями, которые позволяют пользователям находить уникальные решения. В этой книге мы дадим вам фундаментальное понимание работы программного обеспечения и научим эффективно пользоваться мощными приложениями по обработке данных в реальном времени.

Сначала мы кратко рассмотрим новые функции Elastic Stack 6.0, после чего вы узнаете, как устанавливать инструменты, и познакомитесь с их базовыми конфигурациями. Далее вы увидите, как использовать Elasticsearch для распределенного поиска и анализа, Logstash — для сбора данных, а Kibana — для визуализации данных. Будет продемонстрировано создание пользовательских плагинов с помощью Kibana и Beats. Поговорим об Elastic X-Pack — полезном расширении для реальной защиты и мониторинга. Мы также дадим вам полезные рекомендации по использованию Elastic Cloud и развертыванию Elastic Stack в производственной среде.

Структура книги

Глава 1 «Введение в Elastic Stack» знакомит с основными компонентами Elastic Stack, объясняет их роль в общей структуре, описывает назначение каждого компонента. В этой главе также рассказывается о необходимости распределенного, масштабируемого поиска и анализа, которые достигаются с помощью Elasticsearch. В конце приводится руководство по скачиванию и установке Elasticsearch и Kibana, чтобы можно было начать работу с этими инструментами.