ELK監控nginx日志的整體流程

 更新時間:2022年03月07日 16:07:00   作者:andandan  
這篇文章主要介紹了ELK監控nginx日志總結,整體流程是先把logstash啟動,讀取nginx日志數據存儲到ES中,再用kibana進行統計以及可視化,本文給大家介紹的非常詳細,需要的朋友參考下吧

ELK介紹

ELK即ElasticSearch + Logstash + kibana

  • ES:作為存儲引擎
  • Logstash:用來采集日志
  • Kibana可以將ES中的數據進行可視化,可以進行數據分析中常見的對屬性求和、平均值、計數,按照時間戳或其他日志展示出來

整體的流程就是先把logstash啟動,讀取nginx日志數據存儲到ES中,再用kibana進行統計以及可視化

一.nginx

第一步需要先把nginx的日志格式修改為json格式,這樣方便logstash讀取
找到配置文件位置,我的是在/usr/local/nginx/conf
在其中添加

  log_format main_json '{"@timestamp": "$time_local", '
                        '"remote_addr": "$remote_addr", '
                        '"referer": "$http_referer", '
                        '"request": "$request", '
                        '"status": $status, '
                        '"bytes": $body_bytes_sent, '
                        '"agent": "$http_user_agent", '
                        '"x_forwarded": "$http_x_forwarded_for", '
                        '"up_addr": "$upstream_addr",'
                        '"up_host": "$upstream_http_host",'
                        '"up_resp_time": "$upstream_response_time",'
                        '"request_time": "$request_time"'
                        ' }';
    access_log  logs/access.log main_json; # 引用日志格式名稱

改完以后日志的格式就會變為json字符串,如下所示

{
    "@timestamp": "25/Feb/2022:10:58:15 +0800",
    "remote_addr": "192.168.2.95",
    "referer": "-",
    "request": "GET /api/getScreenshot?url=http://www.qhjyedu.com/0e/bd/c12a3773/page.htm&path=/data2/ncs-cyber/mirror/page_image/situation_image/gdzx20211020/ddd38417-971b-400f-b430-834022c57d97.png&errorKeyWord=中國民族偉大復興&successKeyWord=中華民族偉大復興 HTTP/1.1",
    "status": 304,
    "bytes": 0,
    "agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36",
    "x_forwarded": "-",
    "up_addr": "192.168.3.222:9848",
    "up_host": "-",
    "up_resp_time": "12.193",
    "request_time": "12.193"
}

二.logstash

接著便是寫logstash配置文件了,自己寫一個配置文件,我的名字叫做nginx-access.conf,配置如下

input {
    file {
        path => ["/usr/local/nginx/logs/access.log"]   # 讀取日志文件的路徑
	start_position => "beginning"
	codec => json {    # 這里是將json字符串轉化為json,不然的話會在es中存一個<屬性,json字符串>
		charset => ["UTF-8"]
		}
    }
}
filter {  # 簡單處理,無過濾操作
    }
output {
    elasticsearch {
        hosts => ["你的ip:port"]  # 你的es的ip+端口
	index => "logstash-nginx-access-%{+YYYY.MM.dd}" # 你的索引名
	
    }
    stdout {
        codec => rubydebug
    }
}

這樣配置完配置文件以后,就可以執行logstash指令了,根據配置文件,讀取指定的日志文件

logstash-6.7.2/bin/./logstash -f /home/xxx/nginx_access.conf --path.data=/home/xxx/logstash

之后可以在es中查看自己新建立的索引

由于我這里服務器的logstash和es都是已經部署好的,沒有部署的話需要查看一下部署的教程,部署一下

另外,日志采集其實也可以使用fleatbeats,是一個更加輕量易用的日志采集工具

三.kibana

接著就可以在kibana中對es索引進行可視化了

1.management添加索引

 

選擇你在es中存儲的索引,直接一路next。

2.Discover查看索引

3.Visualize建立儀表盤模板

選擇你想要展示的圖標模式,我這里簡單的測試了一下折線圖,統計的同學應該對這些操作更加熟悉

縱軸選擇count,橫軸選擇terms,執行一下,圖表就出來了

點擊上側導航欄的save即可將你建立的這個視圖模板保存,之后可以將其放入到dashboard持續監測

4.Dashboard

可以選擇建立好的visualize,在這個地方進行展示

總結

一次關于elk的簡單實踐,主要的操作都在于部署、配置,不過由于我的服務器已經部署好了這些,只需要配置就行了。
另外不容易操作的點就在于visualize的配置,可能需要一些統計學知識,才能對數據進行更好的統計分析,以便公司做出更優的決策

到此這篇關于ELK監控nginx日志總結的文章就介紹到這了,更多相關ELK監控nginx日志內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • nginx中斜杠(/)詳解

    nginx中斜杠(/)詳解

    本文主要介紹了nginx中斜杠(/)詳解,配置location、proxy_pass時,加“/”與不加“/”的區別,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2022-01-01
  • Nginx配置文件詳解

    Nginx配置文件詳解

    Nginx是lgor Sysoev為俄羅斯訪問量第二的rambler.ru站點設計開發的。Nginx功能豐富,可作為HTTP服務器,也可作為反向代理服務器,郵件服務器。這篇文章主要介紹了Nginx配置詳解,需要的朋友可以參考下
    2017-05-05
  • CentOS 7下安裝Nginx服務器

    CentOS 7下安裝Nginx服務器

    這篇文章主要為大家詳細介紹了CentOS 7下安裝Nginx服務器的相關資料,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2017-06-06
  • Nginx本地目錄映射實現代碼實例

    Nginx本地目錄映射實現代碼實例

    這篇文章主要介紹了Nginx本地目錄映射實現代碼實例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-10-10
  • 使用Nginx實現301跳轉至https的根域名示例代碼

    使用Nginx實現301跳轉至https的根域名示例代碼

    這篇文章主要介紹了使用Nginx實現301跳轉至https的根域名,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2020-04-04
  • nginx使用replace-filter-nginx-module實現內容替換的示例

    nginx使用replace-filter-nginx-module實現內容替換的示例

    本篇文章主要介紹了nginx使用replace-filter-nginx-module實現內容替換的示例,小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-03-03
  • Nginx反向代理+DNS輪詢+IIS7.5 千萬PV 百萬IP 雙線 網站架構案例

    Nginx反向代理+DNS輪詢+IIS7.5 千萬PV 百萬IP 雙線 網站架構案例

    某公司有一站點,一天IP 430W,PV 3100W,之前采用5臺 DELL R610 做NLB,系統2008 IIS7.5.每天高峰期時都不堪重負.會出現以下情況
    2012-11-11
  • Nginx隱藏和偽造版本號的操作方法

    Nginx隱藏和偽造版本號的操作方法

    這篇文章主要介紹了Nginx隱藏和偽造版本號的操作方法,本文圖文并茂給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-12-12
  • Nginx安裝出現錯誤解決方案

    Nginx安裝出現錯誤解決方案

    這篇文章主要介紹了Nginx安裝出現錯誤解決方案,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-06-06
  • Windows下用Nginx配置https服務器及反向代理的問題

    Windows下用Nginx配置https服務器及反向代理的問題

    這篇文章主要介紹了Windows下用Nginx配置https服務器及反向代理的問題,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-09-09

最新評論

免费人成视频在线观看