Kafka集群无脑搭建

发表于 LINUX 分类,标签:
hostnamectl--staticset-hostnamekafka-clustercat >> /etc/profile.d/jdk.sh << 'EOF'JAVA_HOME=/usr/local/jdkJRE_HOME=/usr/local/jdk/jrePATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexport JAVA_HOME JRE_HOME PATH CLASSPATHEOFsource /etc/profiletar -zxf&n...

Kafka集群-沉醉寒风

发表于 LINUX 分类,标签:
Kafka简介Kafka是一个分布式的开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。 流处理平台具有的三个关键功能Ø 发布和订阅消息(流),在这方面,它类似于一个消息队列或企业消息系统Ø 以容错的方式存储消息(流)Ø 在消息流发生时处理它们 Kakfa的优势它应用于两大类应用:Ø 构...

ELK搭建(单点)

发表于 LINUX 分类,标签:
说明:1、过程中没有做任何截图,遇到错误根据提示百度解决2、配置文件都使用最简单的配置,无优化,最终目标跑起来即可3、如果要自行优化,各种组件可以集群模式干起来本文档大体数据走向准备软件包版本/data/soft/elasticsearch-7.6.2-linux-x86_64.tar.gz/data/soft/filebeat-7.6.2-linux-x86_64.tar.gz/data/soft/jdk-8u261-linux-x64.tar.gz/data/soft/kafka_2.13-2.4.1.tgz/data/soft/kibana-7.6.2-linux-x86_64.tar.gz/data/soft/logstash-7.6.2.tar.gz/data/soft/zookeeper-3.4.14.tar.gz准备机器,软件包放入对应机器的/data...

Redis 5.0.9 集群模式安装

发表于 LINUX 分类,标签:
编译安装过程请参考上一篇文章编译完成后执行下面操作创建集群目录结构mkdir /data/cluster/{conf.d,data,logs,run,nodes}mkdir /data/cluster/data/redis_36379mkdir /data/cluster/data/redis_36380mkdir /data/cluster/data/redis_36381mkdir /data/cluster/data/redis_36382mkdir /data/cluster/data/redis_36383mkdir /data/cluster/data/redis_36384创建公共配置cat >> /data/cluster/common.conf&n...

Redis 5.0.9 哨兵模式安装

发表于 LINUX 分类,标签:
redis哨兵模式安装针对于redis的系统优化echo "vm.overcommit_memory=1" >> /etc/sysctl.conf echo never > /sys/kernel/mm/transparent_hugepage/enabledecho 1024 > /proc/sys/net/core/somaxconnecho "net.core.somaxconn = 1024" >> /etc/sysctl.conf说明:1、vm.overcommit_memory=1  表示内核允许分配所有的物理内存,而...

redis5集群安装

发表于 LINUX 分类,标签:
redis-cluster集群准备:node1172.16.1.10node2172.16.1.14node3172.16.1.51、安装redisyum-yinstallgccgcc-c++wgethttp://download.redis.io/releases/redis-5.0.7.tar.gztarxfredis-5.0.7.tar.gz-C/usr/localcd/usr/localmvredis-5.0.7/rediscdredismakeMALLOC=libcmakeinstallcputils/redis_init_script/etc/init.d/redischmod+x/etc/init.d/redis2、创建集群准备工作node1mkdir/etc/redis/{7001,7002}-pvmkdir/data/r...

主板烧了-换机器

发表于 LINUX 分类,标签:
1、修复测试环境物理机,更换物理服务器,提供了一台R720(老的是R730)  1)清空R720机器上的磁盘阵列信息clear或者恢复工厂模式,将老机器上的磁盘依次按顺序插入R720,第一次启动会很慢,自动从硬盘恢复阵列信息,成功进入到系统  2)进入系统后,由于新机器和老机器bios等相关设置可能不一样,发现LVM处于未激活状态,查阅pve官方文档和lvm相关文档,尝试使用lvconvert--repairpve/data修复,修复成功后重启服务器,然后发现服务已恢复正常,接下来尝试启动测试环境相关虚拟机和应用。...

VMware fusion 11 序列号

发表于 LINUX 分类,标签:
VMwareFusion11序列号7HYY8-Z8WWY-F1MAN-ECKNY-LUXYXhttp://www.pc6.com/mac/614784.html?_t=1554079418...

在阿里云上安装pfsense(阿里云上没有的系统镜像)

发表于 LINUX 分类,标签:
1、下载你想要的系统,这里我就直接下载pfsense的amd64的iso文件2、阿里云支持vhd、raw、qcow2三种镜像格式的系统盘/数据盘   可以使用virtualbox、vmware、pve等工具制作你希望的数据盘格式,或者做出来之后找工具相互转换。   pve将lvm磁盘转换成qcow2,具体步骤如下:            将lvm转换为qcow2        root@pve:/#qemu-imgconvert-Oqcow2-c/dev/mapper/pve-vm--103--disk--1...

docker代理

发表于 LINUX 分类,标签:
Environment="HTTPS_PROXY=http://www.ik8s.io:10080"Environment="NO_PROXY=127.0.0.0/8,172.20.0.0/16"填写在ExecStart上面kubeadminit--kubernetes-version=v1.15.1--image-repository=registry.aliyuncs.com/google_containers--pod-network-cidr=10.244.0.0/16kubeadminit--kubernetes-version=v1.18.3--pod-network-cidr=10.244.0.0/16#kubeadminit--kubernetes-version=v1.18.3--image-repositor...

dd命令测试linux磁盘读写速度操作

发表于 LINUX 分类,标签:
出处https://blog.csdn.net/ZYC88888/article/details/831447131、先熟悉两个特殊的设备:  (1)/dev/null:回收站、无底洞。  (2)/dev/zero:产生字符。2、测试磁盘写能力  timeddif=/dev/zeroof=/testw.dbfbs=4kcount=100000  rm-f/testw.dbf  因为/dev//zero是一个伪设备,它只产生空字符流,对它不会产生IO,所以,IO都会集中在of文件中,of文件只用于写,所以这个命令相当于测试磁盘的写能力。命令结尾添加oflag=direct将跳过内存缓存,添加oflag=sync将跳过hdd缓存。3、测试磁盘读能力 ...

Linux查看进程启动时间和已持续时间

发表于 LINUX 分类,标签:
Linux查看进程启动时间和已持续时间ps-eopid,lstart,etime,cmd|grepmsgserver_hotliveps-eopid,lstart,etime,cmd|egrep"STARTED|进程名称"...

kubernetes 创建用户配置文件来访问集群API(只能访问default名称空间)

发表于 Kubernetes 分类,标签:
kubernetes创建用户配置文件来访问集群API(只能访问default名称空间)创建一个账号kubectlcreateserviceaccountdef-ns-admin-ndefault绑定集群权限kubectlcreaterolebindingdef-ns-admin--clusterrole=admin--serviceaccount=default:def-ns-admin查看建立的账号kubectlgetsecretkubectldescribesecretdef-ns-admin-token-r6dss创建一个集群的配置文件kubectlconfigset-clusterkubernetes--certificate-authority=/etc/kubernetes/pki/ca.crt--server="https:...

未命名

发表于 LINUX 分类,标签:
2.角色管理用户角色分为6类,超级管理员,监控者,策略制定者,普通管理者,模仿者,以及其他。超级管理员(administrator):可登陆管理控制台(启用managementplugin的情况下),可查看所有的信息,并且可以对用户,策略(policy)进行操作。监控者(monitoring):可登陆管理控制台(启用managementplugin的情况下),同时可以查看rabbitmq节点的相关信息(进程数,内存使用情况,磁盘使用情况等)策略制定者(policymaker):可登陆管理控制台(启用managementplugin的情况下),同时可以对policy进行管理。普通管理者(management):仅可登陆管理控制台(启用managementplugin的情况下),无法看到节点信息,也无法对策略进行管理。模仿者(Impersonator):不能登录后台,通常就是...

kubernetes无法删除资源问题

发表于 LINUX 分类,标签:
解决无法删除pv的问题kubectlpatchpvnfs-pv-data00-p'{"metadata":{"finalizers":null}}'kubectlpatchpvnfs-pv-data01-p'{"metadata":{"finalizers":null}}'kubectlpatchpvnfs-pv-data02-p'{"metadata":{"finalizers":null}}'...