ELK日志收集系统搭建过程常见报错排查处理方法

搭建ELK的时候，最烦的就是服务起一半突然蹦个报错，看启动日志又长又乱，一时半会儿摸不着头脑。我自己搞这套也反复踩坑，后来总结出几个高频故障点，顺着查一遍基本能快速揪出问题，不至于对着屏幕干瞪眼。

端口占用或网络连通类报错排查

启动ES或者Logstash直接端口绑定失败这种事儿太常见了。第一反应不是去改配置，而是打开终端敲个netstat -tunlp看看端口是不是已经被别的进程占上了，有时候之前残留的Java进程没彻底杀掉就会闹这出。如果端口没冲突，那就沿着网络往下查，节点之间能不能通。云服务器上最容易被忽略的是安全组策略，ES集群内部通信一般用9300，对外是9200，Kibana还有5601，这些端口不光本机防火墙得放，云主机的安全组规则也得配齐，少丢一条规则就死活连不上。还有一次我就忘了在防火墙上打开Logstash抽取链路的端口，结果管道一直报连接拒绝，查了一圈才反应过来，气得直拍大腿。

配置文件格式类报错排查

改完配置文件一重启直接崩掉，这种痛估计不少人都体验过。特别是Logstash的管道文件和Elasticsearch的yml，yml对缩进空格要求极其严格，不小心混进一个tab或者少打一个空格都能让它翻脸。遇到这种配置类报错，翻启动日志的时候注意看它提示的行号，照着那行检查附近是不是缩进搞错了，或者该转义的特殊字符比如路径里的反斜杠没处理好。还有自定义索引名，必须全小写，不能带下划线开头，这么一两条小规则没注意到很容易就踩进去。Logstash那边filter段里面手一抖写错个逗号或者括号没对齐也是常规失误，报错信息虽然绕，但基本都会点出大概位置。

权限不足与依赖缺失类报错排查

用非root用户去启ES，有时候啪一下弹个“无法创建目录”或者“内存分配失败”的报错，先别怀疑服务器配置，赶紧ls -l去看ES的安装目录和数据目录，属主是不是跟你当前启动用户对得上。ES对用户权限很挑剔，目录不是它的它就不认。另外切记不能图省事直接用root去跑ES，它内置的安全机制会直接拒绝，报错长得还挺吓人。碰到Java版本不对的提示就更直接了，跑个java -version确认一下环境里的JDK版本，ELK各个大版本对JDK的要求不一样，比如ES 7.x一般要求Java 11，不小心装了Java 8就会依赖不兼容，启动直接挂。有时候机器上同时装了多个Java版本，环境变量混乱也容易出问题，这些边边角角的细节都得顾上。

折腾多了就养成了个习惯，排查顺序基本是网络先过一遍，再看配置格式有没有低级错误，最后才去翻权限和依赖版本，这么捋下来比闷头用grep硬搜全量日志高效多了，十次有八九能早点把根因揪出来。