金沙澳门官网网址_金沙国际登陆

欢迎加入金沙澳门官网网址体验更多不一样的精彩.,金沙国际登陆提供最丰厚回馈!,因为金沙澳门官网网址这里的游戏是多种多样的,为大家打造一个最专业的化的超级五星酒店。

金沙澳门官网网址 > 服务器运维 > ELK系统一分配析Nginx日志并对数据开展可视化展示

原标题:ELK系统一分配析Nginx日志并对数据开展可视化展示

浏览次数:72 时间:2019-11-07

UPS电源的主要工作过程是滤波整流逆变,另外还包括许多辅助的单元,如:充电器及蓄电池、微处理器、通信接口等。由于UPS电源是安装在设备与市电之间的,可以滤除电网中的电磁干扰,因此,给人造成一种假象,UPS电源可以阻挡包括雷电在内的所有的电磁脉冲的侵入,事实上并非如此。

一、写在前面

结合之前写的一篇文章:Centos7 之安装Logstash ELK stack 日志管理系统,上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示,并在用户前端使用nginx 来代理kibana的请求响应,访问权限方面暂时使用HTTP 基本认证加密用户登录。(关于elk权限控制,我所了解的还有一种方式-Shield),等以后有时间了去搞下。下面开始正文吧。。。

注意:环境默认和上一篇大致一样,默认安装好了E、L、K、3个软件即可。当然了,还有必需的java环境JDK

开始之前,请允许我插入一张图,来自线上我的测试图:(如果有需要的童鞋,可以私信我,我可以把登录帐号给你。。)

备注:由于阿里云主机已经删除,无法提供试看了哈。

nginx日志文件其中一行:

218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" 
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"

nginx 服务器日志的log_format格式:

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

009 Linux下编译安装Nginx服务器 并 修改Nginx服务器访问根目录,009nginx

一、 nginx安装环境

       yum install -y gcc-c++   pcre pcre-devel zlib zlib-devel  openssl openssl-devel

该命令等效于下面4句:

1、  gcc 安装
        安装nginx需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc:

         yum install gcc-c++

2、  PCRE pcre-devel 安装
       PCRE(PerlCompatible Regular Expressions)是一个Perl库,包括 perl 兼容的正则表达式库。nginx的http模块使用pcre来解析正则表达式,所以需要在linux上安装pcre库。
        yum install -y pcre pcre-devel

3、  zlib 安装
        zlib库提供了很多种压缩和解压缩的方式,nginx使用zlib对http包的内容进行gzip,所以需要在linux上安装zlib库。
        yum  install -y zlib zlib-devel

4、OpenSSL 安装
      OpenSSL是一个强大的安全套接字层密码库,囊括主要的密码算法、常用的密钥和证书封装管理功能及SSL协议,并提供丰富的应用程序供测试或其它目的使用。nginx不仅支持http协议,还支持https(即在ssl协议上传输http),所以需要在linux安装openssl库。
       yum  install -y openssl openssl-devel

二、下载nginx

1.直接下载.tar.gz安装包,地址:

2.使用wget命令下载1.10.1版本(推荐)。
wget -c

三、安装

1、解压
tar -zxvf nginx-1.10.1.tar.gz
cd nginx-1.10.1

2、配置
其实在 nginx-1.10.1 版本中你就不需要去配置相关东西,默认就可以了。当然,如果你要自己配置目录也是可以的。
1.使用默认配置
./configure
输出:
      nginx path prefix: "/usr/local/nginx"
      nginx binary file: "/usr/local/nginx/sbin/nginx"
      nginx modules path: "/usr/local/nginx/modules"
      nginx configuration prefix: "/usr/local/nginx/conf"
      nginx configuration file: "/usr/local/nginx/conf/nginx.conf"
      nginx pid file: "/usr/local/nginx/logs/nginx.pid"
      nginx error log file: "/usr/local/nginx/logs/error.log"
      nginx http access log file: "/usr/local/nginx/logs/access.log"
      nginx http client request body temporary files: "client_body_temp"
      nginx http proxy temporary files: "proxy_temp"
      nginx http fastcgi temporary files: "fastcgi_temp"
      nginx http uwsgi temporary files: "uwsgi_temp"
      nginx http scgi temporary files: "scgi_temp"

3、编译安装
make
make install

查找安装路径:"/usr/local/nginx

四、开放80端口、开放http服务,重启防火墙
    firewall-cmd --zone=public --add-port=80/tcp --permanent
    firewall-cmd --permanent --zone=public --add-service=http
    firewall-cmd --reload
    firewall-cmd --list-all #查看开放服务、端口中是否有http服务和80端口。

五、更改nginx访问根目录
安装完nginx服务器后发现nginx的根目录在 安装目录的/html/下(/usr/local/nginx/html/),但是对于部署文件来说,在该目录下是不太习惯的,我就尝试着更改nginx访问的根目录

1、更改nginx配置文件

   vi  /usr/local/nginx/conf/nginx.conf

更改如下:

    server {
        listen       80;
        server_name  localhost;
        location / {                 
            root  /home/ftpuser/wwwRoot;               #新的根目录
            index  index.html index.htm index.jpg;   #添加一张图片,测试用。
        }

2、nginx根目录权限设置:

         chmod  -R 755  /home/ftpuser/wwwRoot/

3、重启nginx务器
     service nginx restart

4、测试

拷贝一直张jpg格式图片到:/home/ftpuser/wwwRoot/目录下,改名为:index.jpg 。
chmod  744  /home/ftpuser/wwwRoot/index.jpg #设置所有人可读。
访问
设置完成后此时访问   即为/home/www/XXX

六、使用nginx
1 启动nginx
 /usr/local/nginx/sbin/nginx

注意:执行 /usr/local/nginx/sbin/nginx,这里可以-c指定加载的nginx配置文件,如下:
/usr/local/nginx/sbin/nginx -c /xxxxx
如果不指定-c,nginx在启动时默认加载/usr/local/nginx/conf/nginx.conf文件。

 
2 停止nginx
/usr/local/nginx/sbin/nginx -s quit
此方式停止步骤是待nginx进程处理任务完毕进行停止。

 
3 重启nginx:先停止再启动
/usr/local/nginx/sbin/nginx -s quit
/usr/local/nginx/sbin/nginx

 

(2)现在不少UPS增加了避雷功能,其原理是在UPS的输入端增加一个MOV避雷模块,有些部分进口名牌UPS及几家国内著名UPS生产厂家在其UPS内部,根据国际IEC801-5的标准加装了避雷模块,抑制吸收电源供电线路输入端的雷电电压及电流的强浪涌,其冲击电流为20KA,冲击电压为6kV,波形为8/20。然而统计资料表明,直击雷电在一般低压架空线路产生的过压幅值高达100kV,电信线路高达40~60kV。感应雷电过压幅值在无屏蔽架空线上最高标准达20kV,无屏蔽地下电缆可达10kV,如果没有按照规范设计的完整的防雷体系,即是这样的UPS也无法保护用电设备不受雷电侵害的。

利用 ELK系统分析Nginx日志并对数据进行可视化展示,elknginx

作者:飞走不可

从雷电灾害损失事例类型来看,90%以上涉及电脑网络及通讯系统,而且基本上都有UPS电源。所以一定要对UPS电源及其监控系统的雷电防护引起足够的重视。

三、配置Elasticsearch

1.先修改es的配置文件如下(存放路径:/etc/elasticsearch/elasticsearch.yml):

[[email protected] ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml
node.name: es-1
path.data: /data/elasticsearch/
network.host: 127.0.0.1
http.port: 9200

其它内容都保持默认。主要修改了es的数据存放路径,它默认的路径在根目录下,由于容量太小,而/data容量大。 根据你的实际情况考虑而定。

创建数据存放目录:

[[email protected] ~]# mkdir -pv /data/elasticsearch

修改该文件的权限所属者:

[[email protected] ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/

之后重启es,重启logstash。

[[email protected] ~]# systemctl restart elasticsearch
[[email protected] ~]# systemctl restart logstash

检查启动状态:

[[email protected] ~]# netstat -ulntp | grep java
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      25988/java
tcp6       0      0 127.0.0.1:9300          :::*                    LISTEN      25988/java

[[email protected] ~]# systemctl status logstash
● logstash.service - LSB: Starts Logstash as a daemon.
   Loaded: loaded (/etc/rc.d/init.d/logstash)
   Active: active (running) since Fri 2016-09-09 16:14:17 CST; 38s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 27195 ExecStart=/etc/rc.d/init.d/logstash start (code=exited, status=0/SUCCESS)
   CGroup: /system.slice/logstash.service
           └─27201 /bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX...

Sep 09 16:14:17 log-monitor systemd[1]: Starting LSB: Starts Logstash as a daemon....
Sep 09 16:14:17 log-monitor logstash[27195]: logstash started.
Sep 09 16:14:17 log-monitor systemd[1]: Started LSB: Starts Logstash as a daemon..

logstash 的日志查看:

[[email protected] ~]# tail -f /var/log/logstash/logstash.log
{:timestamp=>"2016-09-09T16:14:26.732000+0800", :message=>"Pipeline main started"}

从上面可以看到启动是正常的,我们在去看下es里的索引,应该已经在倒入数据了。

[[email protected] ~]# curl 'localhost:9200/_cat/indices?v'
health status index                            pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana                            1   1          1            0      3.1kb          3.1kb
yellow open   logstash-nginx-access-2016.09.08   5   1      69893            0     24.2mb         24.2mb
yellow open   logstash-nginx-access-2016.09.09   5   1        339            0    273.8kb        273.8kb

从上面看到数据已经在慢慢的导入了。大概需要一段时间,因为涉及到日志的过滤写入等。不过也很快啦。我们暂时不去配置kibana。先去安装nginx做个代理。

本文由金沙澳门官网网址发布于服务器运维,转载请注明出处:ELK系统一分配析Nginx日志并对数据开展可视化展示

关键词:

上一篇:shell脚本基础知识,IBM至强5600服务器相比【金沙

下一篇:linux系统安装,vue权限控制