k8s部署elasticsearch7.9.1集群
部署示意图 service1、service2、service3用于集群内服务互通，service用于集群服务对外提供访问。 使用自定义存储卷 创建三个nfs pvc 通过管理界面创建3个PVC（es-nfs-pvc-1,es-nfs-pvc-2,es-nfs … 阅读全文
首页 » 大数据
总结Redis攻击方法
Redis是什么？ Redis是数据库的意思。Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 R … 阅读全文
EFK收集nginx日志无法读取问题
问题描述 EFK日志收集系统，通过td-agent(Fluentd组件)收集nginx日志过程中，报无权限读取错误，如下： 解决方法 修改nginx日志生成的权限，修改/etc/logrotate.d/nginx 如下： 重启nginx生效
EFK集群之td-agent部署
td-agent安装 适于于Redhat&Centos的安装方式： 测试一下td-agent是否正常工作： td-agent默认被配置为从http获取日志，并将其路由到/var/log/td-agent/td-agent.log文件中 td-agent … 阅读全文
Hadoop分布式文件系统使用指南
目的 本文档的目标是为Hadoop分布式文件系统（HDFS）的用户提供一个学习的起点，这里的HDFS既可以作为Hadoop集群的一部分，也可以作为一个独立的分布式文件系统。虽然HDFS在很多环境下被设计成是可正确工作的，但是了解HDFS的工作原理对在特定集群上 … 阅读全文
Hadoop分布式文件系统：架构和设计
引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署 … 阅读全文
Hadoop集群搭建
目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决条件 确保在你集群中的每个节点上都安装了所有必需软件。 获取Hadoop软 … 阅读全文
Hadoop快速入门（一）
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Ha … 阅读全文
spark开发环境配置
搭建spark本地环境 java环境安装 (1)到官网下载JDK下载地址:点击这里(2)解压缩到指定的目录 (3)设置路径和环境变量 在文件的最后加上 (4)让配置生效 (5)验证安装是否成功 安装Scala (1)到官网下载安装包点击这里 (2)解压缩到指定 … 阅读全文
Elasticsearch运维宝典——监控实战篇
Elasticsearch（文中简称 ES）是分布式全文搜索引擎，产品提供高可用、易扩展以及近实时的搜索能力，广泛应用于数据存储、搜索和实时分析。很多服务的可用性对 ES 重度依赖。因此，保障 ES 自身可用性，是实现服务高可用的重中之重。 ES监控概述 针对 … 阅读全文
Elasticsearch启动错误解决--绑定网络地址错误
问题描述 elasticsearch-7.1.0 启动过程报错，绑定ip地址错误。 解决办法 修改config/elasticsearch.yml,增加http.host配置项 修改后可以正常启动 Elasticsearch重要配置http://devops. … 阅读全文
重要的Elasticsearch配置说明
虽然Elasticsearch只需要很少的配置，但有许多设置需要手动配置，并且在投入生产之前一定要配置。 path.data 和 path.logs cluster.name node.name bootstrap.memory_lock network.ho … 阅读全文