spring boot
学生管理系统
回归
渗透测试
区块链
注解处理器
应届生就业
qt5
Cartographer
nexus
debian
滤波
计算机考博
光纤光栅
应用现代化
include
一维高斯函数
docker 搭建es
mysql 锁使用
反思
splunk
2024/4/11 18:27:54
Splunk interview 面试题目
Basic Splunk Interview Questions and Answers
1) What is Splunk?
Splunk is Google for your machine data. It’s a software/Engine which can be used for searching, visualizing, Monitoring, reporting, etc of your enterprise data. Plunk takes valuable machin…
Splunk 输出取 / 分割符 之间的部分
今天有个需求输出的结果是：
想取出以 “/” 为分隔符的 输出：
举个例子：
原来的SPL: indexabc "Path""/china/shanghai/newcity/zone" | table Path
想等到的效果是：
newcity 给取出来。
解决方法是…
[ 已解决 ]Splunk ES 升级后有些 alert 不能删除
1: 背景： 最近升级Splunk ES, 发现了很多问题，记录一下：
有个很妖的就是有些ES 下面的report / alert 不能删除了。
下面想了一下升级的过程，有些地方的细节，找到原因。
1: 先想一下，是什么对升级产生关键作用：
去发布的机器上面：有这个文件：
/opt/splunk/etc/sh…
[揭秘]splunk 背后running 的job
1: 背景：
最近客户总是会收到一些dashboard 的PDF 文件，有些内容不是想要的，想要求更新一下，但是问题来了，这些dashboard 的自动运行的job 在哪里呢？
2: 查找原因： 2.1 如果知道这个dashboard 发到那个email 的，那么可以查找： abc@163.com
去: /opt/splunk/etc/use…
【研究】Splunk 字段是否被加工过
1: 背景：
最近用户有个疑问，就是有些字段的输出有点问题，不确定是否被加工过。 2: 查找问题： index=abc sourcetype=def123
发现字段： city_shanghai 的输出可能有点问题。 3: 排查问题：
先去这个splunk search head cluster 的页面： server 的查找如下： 登入so1 s…
Windows + Syslog-ng 发送eventlog 到Splunk indexer
1: 背景：
装了window Splunk universal forwarder 的 window server 要把event log 送到linux 的splunk indexer 上，由于网络的原因，不能直接发送数据到splunk indexer的话，要利用跳板机来实现：
2:架构： 3: 先说明每个类型server 上的安装情况：
Window server: 安装S…
Splunk 意外解决 license_usage.log不能被读取的问题
1: 背景：
为了更好的知道Splunk platform 每天处理了多少的数据，就要对每天的license_usage 进行跟踪，最好，每天发个report 给到管理员的邮箱，来进行分析。 最近发现 index=_internal source=*license_usage.log* 就是在splunk 的搜索页面查不到，很奇怪的是:/opt/splunk…
数据管理平台Splunk Enterprise本地部署结合内网穿透实现远程访问
文章目录 前言1. 搭建Splunk Enterprise2. windows 安装 cpolar3. 创建Splunk Enterprise公网访问地址4. 远程访问Splunk Enterprise服务5. 固定远程地址 前言
Splunk Enterprise是一个强大的机器数据管理平台，可帮助客户分析和搜索数据，以及可视化数据…
简单记录一下Splunk ES 升级
1: 背景：
现在有些app 产品对splunk ES (enterprise security) 的版本有要求，这个就要求splunk ES 随着Splunk enterprise 也一起升级，下面先列一下各个版本的兼容：
Splunk products version compatibility matrix - Splunk Documentation 下面列出的8.2.11 的版本：
2:…
【实践】Deployer 发布到search head : local OR default
1: 背景：
search head deployer 上的 /opt/splunk/etc/schcluster/apps 下面的local, 还有default 派发到 search head 到app 下面是怎么工作的，这个过程，实践了一下：
参考Use the deployer to distribute apps and configuration updates - Splunk Documentation
2: 实…
【已解决】Splunk 8.2.X 升级ES 后红色报警
1： 背景： 由于splunk ES 占有很大的computing resource, 所以，Splunk ES 升级到7.1.1 后，有红色的alert.
2: 解决方法： 降低iowait 的 threshold:
Investigation
The default threshold setting for IOWait is pre-set to a low value and may not be relevant to the …
【Splunk】自定义仪表板样式和行为
Splunk官方文档地址：Developing Views and Apps for Splunk Web 本文主要内容为自定义仪表盘样式和行为 目录 实践：自定义一个仪表板的样式和行为创建自定义文件将自定义文件添加到仪表板 将其他应用程序中的自定义文件添加到仪表板实践：自定…
Splunk 之 filed 恢复
1: 背景：
我们在工作过程中，或者是和很多team 进行交互的时候，总会有 filed 共用的情况，还有就是filed 会被相同权限的同事删除等等，这种情况下，就要求做好 /opt/splunk/etc/apps 的备份工作。
如果知道原…
Splunk Connect for Kafka – Connecting Apache Kafka with Splunk
1: 背景：
1: splunk 有时要去拉取kafka 上的数据：
下面要用的有用的插件：Splunk Connect for Kafka
先说一下这个Splunk connect for kafka 是什么：
What is Splunk Connect for Kafka?
Spunk Connect for Kafka is a “sink connector” built on the Kafka Connect…
Splunk 优化之加速报表 Accelerate reports
1: 背景：
有些客户的数据比较大，这个时候就会用到 报表的加速功能：
Accelerate reports
If your report has a large number of events and is slow to complete when you run it, you may be able to accelerate it so it completes faster when you run it in the futu…
2020年12月机器学习新书推荐
各位好，此账号的目的在于为各位想努力提升自己的程序员分享一些全球最新的技术类图书信息，今天带来的是新鲜出炉的2020年12月机器学习新书，来看看有没有你感兴趣的新技术吧~
1、Mastering Splunk 8 图书简介
了解Splunk 8的组件及其工作方式…
Splunk: 使用btool 后台检查alert / fields / macros 配置
1: Splunk btool 最近想从后台检查一下 alert / fields / macros 的配置：
1: 举个例子：想看一下alert : holiday_2023 的配置：
su - splunk
splunk btool list savedseaches "holiday_2023" --debug
2: 想看一下report : good_luch_2023 的配置
splunk btool…
使用Portainer创建Nginx容器并部署本地网站结合内网穿透实现公网访问
文章目录 前言1. 安装Portainer1.1 访问Portainer Web界面 2. 使用Portainer创建Nginx容器3. 将Web静态站点实现公网访问4. 配置Web站点公网访问地址4.1公网访问Web站点 5. 固定Web静态站点公网地址6. 固定公网地址访问Web静态站点 前言
Portainer是一个开源的Docker轻量级可视…
【实践成果】Splunk 9.0 Configuration Change Tracking
Splunk 9.0 引入了新的功能，一个很重要的一个，就是跟踪conguration 文件的变化：
这个很重要的特性，在splunk 9.0 以后才引入，就看server.conf 配置中，9.0 以后的版本才有：
server.conf - Splu…
AnyTXT Searcher：本地文件内容搜索神器如何搭建与远程访问
文章目录 前言1. AnyTXT Searcher1.1 下载安装AnyTXT Searcher 2. 下载安装注册cpolar3. AnyTXT Searcher设置和操作3.1 AnyTXT结合cpolar—公网访问搜索神器3.2 公网访问测试 4. 固定连接公网地址 前言
你是否遇到过这种情况，异地办公或者不在公司，想找…
利用Splunk收集HBase集群日志
什么是splunk
Splunk是日志界的google。支持任何服务器产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。让管理员彻底从繁琐的ssh，grep中解放出来。…
Splunk 创建特色 dashboard 报表
1: 背景：
对原有的dashboard 进行增加点东西，特别是文字部分：
比如： 增加：“this is a guidline for how to use performance".
这段话，就不能写在title, 那样，这段文字，会出现在dashboard 的PDF 文件的分割线的上面，不符合要求。 2: 解决问题： 正确的做法是…
Splunk HEC 取发送数据 服务器的hostname
1:背景：
最近Client 发送数据到 Splunk HEC， 发现对方hostname 没有取到，都是HEC 的VIP 地址。
这个就不能发现是那个host 发过来的数据，下面查了下文档，发现Splunk 是可以跟踪发送数据的host 的，主要配置如下：
2: 解决方法：
splunk_httpinput\inputs.conf
connec…
Splunk 证书appsLicenseCA.pem 过期是否有影响
1: 背景
appsLicenseCA.pem 证书过期了，Splunk version: 8.2.X
2: 查找文档：
Splunk 官网没有找到，可能是Splunk 下线了类似的文档，现在Splunk 已经到9.x.x.
3: 结论：
这个证书过期没有影响，如果升级到…
Splunk的转发器扮演什么角色？
Splunk 的转发器（Forwarder）在数据收集中扮演着关键的角色，它们是 Splunk 架构中的重要组成部分之一。没有转发器，数据收集仍然可以进行，但转发器提供了一种更灵活、可扩展和可管理的方式来管理数据收集。以下是有关 S…
【聊聊】Splunk: app.conf 对app的控制
1: 背景：
我们很多的app 有些需要在界面上面显示，有些app 在deployer 发布的时候，又有特殊的要求，那么这个时候，就需要app.conf 来发挥作用啦。
2: 举个例子： Deployer 发布app 到search head 的时候，有些是merge_to_default的，有的可能就是其他的：
Use the deploy…
解决 Splunk windows数据接入奇葩问题
1： 背景：
最近有台window server 的服务器的log 没有发送到splunk 上面来。
2: 问题排查：
2.1 防火墙问题，看看是否: window server -> indexer server: 9997 port is OK? DS (app dispatch server) -> window server: 8089 port is OK?
上面的DS (development…
Splunk 转移数据之collect 命令
1: 背景：
有些数据的输出结果需要很长时间，原因是查询的数据量很大，还有就是搜索的时间范围很大：一年，或者要统计过去几个月的count / 或者是比例等。
那么在这种背景下，就需要转移查询的数据结构，进行转移到另外一个index, 用另外一个新的index 进行实时展示。
下面…
【谈谈】Splunk 高效命令之 tstats
1: 背景： Splunk tstats 的命令可以运行的很快，而且不占资源：
Because it searches on index-time fields instead of raw events, the tstats command is faster than the stats command.
By default, the tstats command runs over accelerated and unaccelerated data …
Splunk 成功获取Salesforce 数据
1: 先说一下Splunk server 上要安装Splunk Add-on for Salesforce : (https://splunkbase.splunk.com/) 去下载：
https://splunkbase.splunk.com/app/3549
2: 下载安装后，看到如下界面： 3: 官方的指导文档：
Configure your Salesforce account to collect data…
Splunk安装配置
前言
Splunk 社区 ，包括白皮书，各类手册，资源下载，社区问答等
入门：Splunk 入门指南 | Splunk
手册：Splunk Enterprise - Splunk Documentation
资源下载:数据可视化工具Splunk Enterprise免费下载 | S…
syslog-ng 发送metric 到 Prometheus + Grafana
1: 背景：
syslog-ng 作为很多linux 收集日志的重要工具，当然很多splunk 的source 也是用这个收集的，下面就介绍用 Prometheus来收集数据，然后发送到 grafana 来展示，还是很直观的。下面就来详细道来：
2: 安装 syslog-ng node exporter:
Prometheus: syslog-ng exporte…
[深度理解] 重启 Splunk Search Head Cluster
1: 背景：
关于释放Splunk search head 的job 运行压力：splunk search head cluster 要重启的话，怎么办？
答案是：splunk rolling-restart shcluster-members
Initiate a rolling restart from the command line
Invoke the splunk rolling-restart command from any me…
Splunk 编写高效 查询语句
1: 背景：
splunk 的查询语句的是否优化，对是否节省资源有很大的影响。下面说一下大概的方法：
There are a set of basic principles that you can follow to optimize your searches. Retrieve only the required data Move as little data as possible Parallelize as mu…
docker运行syslog-ng，搭建日志服务器
Splunk 的数据很多是用syslog-ng 来收集的。
使用docker 来搭建syslog-ng 服务器还是很方便的。
#create network
docker network create -d macvlan --subnet=192.7.0.0/16 --gateway=192.7.0.1 -o parent=ens35 docker-out docker network create -d macvlan --ipv6 --sub…
[解决]Splunk KV Store initialization has not completed
1: 背景：
今天客户反映数据搜索的时候，不是很稳定，想确定一下 ，这个是什么原因造成的，我去系统里看一下，检查了一下kvstore 有问题：
03-17-2023 00:39:02.459 -0700 ERROR DataModelObject [74341 SchedulerThread] - Failed to parse baseSearch. err=Error in input…
Splunk Enterprise 9.0.5 (macOS, Linux, Windows) 发布 - 机器数据管理和分析
Splunk Enterprise 9.0.5 (macOS, Linux, Windows) - 机器数据管理和分析
请访问原文链接：https://sysin.org/blog/splunk-9/，查看最新版。原创作品，转载请保留出处。
作者主页：sysin.org 混合世界的数据平台
快速、大规模地从…
Splunk目录结构及常用配置文件
Splunk目录结构及常用配置文件 并没有将所有目录罗列出来，了解了解个别文件目录，知道一下功能混个面熟 $SPLUNK_HOME目录：这是Splunk安装目录的根路径，一般是/opt/splunk，其中包含Splunk的配置文件、日志文件、插件和其…
Splunk参考手册（命令）下载
Splunk参考手册（命令）下载
前言
大家也知道，这种形式的下载估计很难审核过
迅雷网盘地址：
链接：https://pan.xunlei.com/s/VMzAta77CFc1_JafF13T_fOlA1 提取码：khqj
截图
【实践】Splunk Workload Management
1: 背景：
有些需要对特定的搜索 进行特点的限制：
Configure workload rules - Splunk Documentation
可以copy 下面的rule:
View workload_rules.conf
When you create a workload rule using Splunk Web, the CLI, or REST, the rule configuration is stored in $SPLU…
【重要】Splunk 的 Lookup Table能否被覆盖呢？
1: 背景：
用户自己的lookup table 可能需要被覆盖，因为用户自己会自动更新，但是如果不是用户自己更新，Deployer 上面发布的时候，用于没有用户的table ，那么默认是不能把客户的table overwite 的。如果用户要覆盖的话，如果客户有权限的话，客户可以自己更换lookup table…