怎样修改配置文件集群|搭建hadoop集群常用配置文件是什么以及配置哪些属性

|

『壹』 如果要修改集群的备份数量,可以修改下面哪个配置文件

修改集群的备份数量,可以修改下面的配置文件,一般是根据配置文件的时间日期进行排版的修改时,可以按照时间日期进行修改,同时根据所需要的要求进行保存即可完成修改。

『贰』 Ceph 集群 scrub 设置策略(数据一致性校验)

基本概念 1、什么是 Scrub Scrub是 Ceph 集群副本进行数据扫描的操作,用于检测副本间数据的一致性,包括 scrub 和 deep-scrub。其中scrub 只对元数据信息进行扫描,相对比较快;而deep-scrub 不仅对元数据进行扫描,还会对存储的数据进行扫描,相对比较慢。 2、Scrub默认执行周期 OSD 的scrub 默认策略是每天到每周(如果集群负载大周期就是一周,如果集群负载小周期就是一天)进行一次,时间区域默认为全体(0时-24时),deep-scrub默认策略是每周一次。 配置scrub策略 为了避开客户业务高峰时段,建议在晚上0点到第二天早上5点之间,执行scrub 操作。 1、设置标识位 在任一monitor节点进行如下操作: 2、临时配置 先通过tell 方式,让scrub 时间区间配置立即生效,在任一monitor节点进行如下操作: 3、修改配置文件 为了保证集群服务重启或者节点重启依然有效,需要修改Ceph集群所有节点的配置文件 /etc/ceph/ceph.conf 添加以下区段配置: 注意: 该时间设置需要参考物理节点的时区设置 4、取消标识位 5、向 OSD {osd-num} 下达一个scrub命令. (用通配符 * 把命令下达到所有 OSD 。实测ceph 12.2.x版本不能加*) 6、设置 light scrub 周期 将osd_scrub_min_interval 和 osd_scrub_max_interval都设为4分钟,这里的单位是秒 7、通过命令手动启动scrub : 8、尝试 pg repair 9、(Deep)Scrub的相关配置选项 同前端IO和Recovery一样,Ceph通过控制PGScrub来间接控制Scrub的所有IO优先级。

『叁』 linux 怎么改redis集群的ip地址

首先要有linux环境,然后下载redis3.0以上版本。redis结合使用ruby实现了集群,所以需要ruby环境,安装ruby环境和redis的gem接口后,就可以使用redis的redis-trib.rb脚本创建集群。步骤:1.修改配置文件,启动多个redis实例。2.安装ruby、rubygems、redis ruby接口。安装gem 需要ruby的版本在 1.8.7 以上,默认的centos5 上都是1.8.5 版本,所以首先你的升级你的ruby 3.gem 安装redis ruby 接口 4.redis-trib.rb脚本创建集群

『肆』 如何在Ubuntu上配置Tomcat集群

多安装几个tomcat,并配置不同的端口号。关键在于修改这一行,添加jvmRoute="jvm1"<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1">,不同的tomcat修改成不同的值,可以叫jvm1、jvm2、jvm3,自己定。然后通过apache(或ngix或其它web服务器),通过代理或Jk方式,配置一个负载均衡。如下apache+tomcat集群配置。APACHE 2.2.8+TOMCAT6.0.14配置负载均衡目标: 使用 apache 和 tomcat 配置一个可以应用的 web 网站,要达到以下要求: 1、 Apache 做为 HttpServer ,后面连接多个 tomcat 应用实例,并进行负载均衡。 2、 为系统设定 Session 超时时间,包括 Apache 和 tomcat 3、 为系统屏蔽文件列表,包括 Apache 和 tomcat 注:本例程以一台机器为例子,即同一台机器上装一个apache和4个Tomcat。一、前期准备工作:安装用的程序(前提保证已安装了JDK1.5以上的版本)APAHCE 2.2.8下载:apache_2.2.8-win32-x86-no_ssl.msiTOMCAT6.0.14下载:apache-tomcat-6.0.14.zip直接解压。二、安装过程APAHCE安装目录:D:\Apache。四个TOMCAT目录:自行解压到(D:\Tomcat集群服务器\)下。分别为 tomcat6.0,tomcat6.01,tomcat6.02,tomcat6.03这几个安装过程就不详细说明了。三、配置1、Apache配置1.1、httpd.conf配置修改APACHE的配置文件D:\Apache \conf\httpd.conf将以下Mole的注释去掉,这里并没有使用mod_jk.so进行apache和tomcat的链接,从2.X以后apache自身已集成了mod_jk.so的功能。只需简单的把下面几行去掉注释,就相当于以前用mod_jk.so比较繁琐的配置了。这里主要采用了代理的方法,就这么简单。LoadMole proxy_mole moles/mod_proxy.so LoadMole proxy_connect_mole moles/mod_proxy_connect.so LoadMole proxy_ftp_mole moles/mod_proxy_ftp.so LoadMole proxy_http_mole moles/mod_proxy_http.so LoadMole proxy_ajp_mole moles/mod_proxy_ajp.so LoadMole proxy_balancer_mole moles/mod_proxy_balancer.so再找到<IfMole dir_mole></IfMole>加上index.jsp修改成<IfMole dir_mole>DirectoryIndex index.html index.jsp</IfMole>1.1.1、 在最下面加入 ProxyRequests Off <proxy balancer://cluster> BalancerMember ajp://127.0.0.1:8009 loadfactor=1 route=jvm1BalancerMember ajp:// 127.0.0.1:9009 loadfactor=1 route=jvm2BalancerMember ajp:// 127.0.0.1:9001 loadfactor=1 route=jvm3BalancerMember ajp:// 127.0.0.1:9003 loadfactor=1 route=jvm4</proxy>上面的四个BalancerMember成员是我们配置的tomcat集群。后面会说明的。1.2、httpd-vhosts.conf设置接下来进行虚拟主机的设置。APACHE的虚拟主机设置如下:首先要修改 conf/httpd.conf找到(#Include conf/extra/httpd-vhosts.conf)把注释去掉。# Virtual hostsInclude conf/extra/httpd-vhosts.conf在文件(extra/httpd-vhosts.conf)最下面加入 <VirtualHost *:80> ServerAdmin [email protected] ServerName localhost ServerAlias localhost ProxyPass / balancer://cluster/ stickysession=jsessionid nofailover=On ProxyPassReverse / balancer://cluster/</VirtualHost>其中的域名和路径根据你自己情况设置然后再设置TOMCAT虚拟主机2 配置 tomcat 2.1. 配置 server 的关闭我们需要在一台机器上跑 4 个不同的 tomcat ,需要修改不同的 tomcat 的关闭口,避免出现端口被占用的情况。其中tomcat6.0用默认值,不修改。其他三个修改。在tomcat6.01\conf, tomcat6.02\conf下和tomcat6.03\conf下的 server.xml 中找到 server, 将: <Server port="8005" shutdown="SHUTDOWN"> 改为 <Server port="XXXX" shutdown="SHUTDOWN"> XXXX 在这里表示不同的端口:我的其它三个 tomcat 分别使用 9005,8006 , 9007 2.2. 配置 Engine 把原来的配置注释掉,把下面一句去掉注释。并标明jvmRoute="jvm2".<Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm2"> 以下是原来的配置。<!– <Engine name="Catalina" defaultHost="localhost"> –> 其他(tomcat6.02和tomcat6.03)也要同样 配置。注意:jvmRoute配置不要一样。<Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm3"> <Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm4"> 2.3. 配置 Connector 原来的默认配置。<!– Define an AJP 1.3 Connector on port 8009 –><Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />这里是apache和tomcat链接的关键,前台apache就是通过AJP协议与tomcat进行通信的,以完成负载均衡的作用。也可以用HTTP协议。大家注意它们是如何连接通信的,上面的红色部分(port="8009")就是连接的接口了。把其他三个tomcat的<Connector port="XXX" />port分别改成与上面<proxy balancer://cluster> #与tomcat6.0对应,route与<Engine jvmRoute="jvm1">对应。BalancerMember ajp://127.0.0.1:8009 loadfactor=1 route=jvm1#与tomcat6.01对应,route与<Engine jvmRoute="jvm2">对应。BalancerMember ajp:// 127.0.0.1:9009 loadfactor=1 route=jvm2#与tomcat6.02对应,route与<Engine jvmRoute="jvm3">对应。BalancerMember ajp:// 127.0.0.1:9001 loadfactor=1 route=jvm3#与tomcat6.03对应,route与<Engine jvmRoute="jvm4">对应。BalancerMember ajp:// 127.0.0.1:9003 loadfactor=1 route=jvm4</proxy>中的端口对应,tomcat6.01 的ajp端口port:9009. tomcat6.02 的ajp端口port:9001。tomcat6.03 的ajp端口port:9003.一定要与上面的一致。同时也要把redirectPort的值改成唯一的,确保四个tomcat的都不一样。2.5.配置Cluster(每个tomcat中都要修改)原来的配置。<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"/>修改为以下的代码:<Receiver port=”XX”/>port也要保证唯一性。<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="6"> <Manager className="org.apache.catalina.ha.session.BackupManager" expireSessionsOnShutdown="false" notifyListenersOnReplication="true" mapSendOptions="6"/> <!– <Manager className="org.apache.catalina.ha.session.DeltaManager" expireSessionsOnShutdown="false" notifyListenersOnReplication="true"/> –> <Channel className="org.apache.catalina.tribes.group.GroupChannel"> <Membership className="org.apache.catalina.tribes.membership.McastService" address="228.0.0.4" port="45564" frequency="500" dropTime="3000"/> <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver" address="auto" port="5001" selectorTimeout="100" maxThreads="6"/> <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter"> <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/> </Sender> <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/> <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/> <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/> </Channel> <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/> <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer" tempDir="/tmp/war-temp/" deployDir="/tmp/war-deploy/" watchDir="/tmp/war-listen/" watchEnabled="false"/> <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/> </Cluster>这个设置是主要用以tomcat的集群。四、启动服务,测试tomcat自带的例子1、测试apache和tomcat协作。先在每个tomcat中的\webapps\ROOT下的index.jsp下面加上以下的测试代码部分:(X代表不同的tomcat的输出不同的信息),把index.html删除,以免影响测试效果。在最后面的加上.即</table></body>之间。<% System.out.println("tomcat6.0X deal with request");%>然后再通过http:// 127.0.0.1来访问一下,就会出现大家熟悉的猫猫。然后再通过分别访问http:// 127.0.0.1:8080, http:// 127.0.0.1:9080,http:// 127.0.0.1:8081,http:// 127.0.0.1:9002它们访问的内容和上面的http:// 127.0.0.1是一样的。这样就说明apache和TOMCAT整合成功!2、测试均衡器通过http:// 127.0.0.1多次访问,要想看到真正的效果,必须用一些压力测试工具,可用微软Microsoft Web Application Stress Tool进行简单压力测试,不然你靠不停刷新是体现不出来的,你只会在一个tomcat的控制台有输出结果。只用用压力测试工具模拟大量用户同时访问,你会发现四个tomcat控制台均有打出控制信息,说明均衡器工作正常。

『伍』 weblogic集群完成之后,在web应用修改配置文件时,集群中的各个server之间不会同步

呵呵,不错

『陆』 TiDB修改配置参数

在TiDB 中,“修改配置参数”似乎是个不精准的说法,它实际包含了以下内容:

TiDB的配置修改比较混乱,先做个总结,再介绍具体内容:

查看TiDB系统变量:

集群中所有 TiDB Server 都生效;

持久化在哪里? 持久化在 kv 存储中,跟数据一样持久化了,不会持久化在 conf/tidb.toml 配置文件中。所以不用担心 tiup upgrade 和 tiup reload 等运维操作会把配置文件覆盖,不会导致修改失效,因为这个修改的持久化不依赖配置文件。

有些参数的作用域只有会话级别。也就是只能会话级修改,这不代表着不能被动态修改。

修改方式和会话级修改一样:

修改 Instance 级别的参数修改不会持久化,那么如何持久化呢? a. 手工修改 TiDB 的配置文件:

b. 并使用 tiup edit-config 来修改对应的配置项,不需要做 tiup reload:

内容如下:

目前查看官方文档,发现只有3个只读变量:hostname、tidb_config、tidb_current_ts,没法通过 set variables 修改。作用域比较奇怪,用法介绍也不清楚,看起来没有修改的必要。如果一定要修改可以通过 tiup 方法修改。

修改集群配置包括TiDB、TiKV 以及 PD 在内的各组件的配置进行修改。

使用 edit-config 命令来编辑参数,以编辑模式打开该集群的配置文件:

如果配置的生效范围为该组件全局,则配置到 server_configs,比如修改所有 tikv 的 log-level 为 waring(默认是 info):

如果配置的生效范围为某个节点,则配置到具体节点的 config 中。例如:

tiup reload 分发配置并滚动重启组件,无论是否可以动态修改的参数都会重启,并且默认会重启所有组件,可以选择指定节点或者组件: tiup cluster reload ${cluster-name} [-N <nodes>] [-R <roles>]

示例中我们只修改 tikv 的 log-level 为 waring,所以用 -R tikv 指定只重启 tikv 节点:

set config 当前4.0版本属于实验性功能,不建议在生产使用: https://docs.pingcap.com/zh/tidb/stable/dynamic-config 目前只支持修改 TiKV 和 PD 的配置,TIDB的配置修改用上面的 set variables 方法。

查看当前参数设置:

用 set config 修改参数,会持久化到配置文件。log-level 无法动态修改,不会报错但是会有 warnings,对于不能动态修改的参数使用 tiup 进行修改:

动态修改示例:

虽然TiKV的配置文件 conf/tikv.toml 会持久化这个修改,但是为了防止tiup upgrade 和 tiup reload 等运维操作把配置文件覆盖导致修改失效,还需要执行 tiup edit-config 来编辑参数。

『柒』 使用 kubectl 管理 kubeconfig 配置文件

Kubernetes 集群在服务器搭建部署成功之后,通常我们都会通过 kubectl 命令行工具与集群互动、发送操作指令来管理集群。 kubectl 主要依赖于集群配置文件 kubeconfig 与集群进行通讯,这个文件通常在 Kubernetes 集群的 master 节点服务器的 $HOME/.kube/config 目录下。开发者可以从服务器获取改配置文件到开发者本地电脑上的相同目录位置上即可。 本篇文章主要介绍一下我们如何管理这个配置文件。如果熟悉 kubeconfig 文件的结构,读者当然可以使用文本编辑器自行修改,不过手工修改难免会有错误和不便。所以这里介绍一下如何利用 kubectl 工具来帮助我们管理和调整配置文件。 kubeconfig 是一个 Kubernetes 中的一个资源对象,叫做 Config , 内容格式是 YAML 。这个文件中主要包含了集群(clusters)、上下文(contexts)和用户(users)信息,他们的层次结构和关系如下图所示: 如图所示,上下文 context 是建立集群、用户和命名空间之间关系的桥梁和纽带,我们在本地切换所谓的“环境”其实就是将一个指定的上下文为当前激活的上下文(current-context)。再通俗点讲,这个上下文指的就是你当前是以什么身份(user) 在连接哪个集群(cluster),连接后自动切换到哪一个命名空间(namespace)下。 kubectl 中的 config 子命令可以帮助我们维护存储在本地的配置文件,我们先来看下它的帮助说明: 这里简要说明一下config下几个主要的子命令: 接下来我们列举一些常见的任务场景。 首先我们使用以下命令来看下集群 kubernetes 的 server 属性的值: 接下来我们是用 set-cluster 子命令来修改服务器的地址: kubectl config 未直接提供的删除用户的子命令,所以我们找不到类似于 delete-user 之类的选项。不过我们可以使用 unset 子命令来完成这个任务: 建议大家使用 kubectl config 的方式来配置 kubeconfig 文件,避免了手工修改的麻烦和误配置之外,对于自动化管理也可以更加规范和统一。

『捌』 搭建hadoop集群,常用配置文件是什么,以及配置哪些属性

一. 简介

参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功。下面就把详细的安装步骤叙述一下。我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择2.7.1版本。(前边主要介绍单机版的配置,集群版是在单机版的基础上,主要是配置文件有所不同,后边会有详细说明)

二. 准备工作

2.1 创建用户

创建用户,并为其添加root权限,经过亲自验证下面这种方法比较好。

1 sudo adser hadoop2 sudo vim /etc/sudoers3 # 修改内容如下:4 root ALL = (ALL)ALL5 hadoop ALL = (ALL)ALL

给hadoop用户创建目录,并添加到sudo用户组中,命令如下:

1 sudo chown hadoop /home/hadoop2 # 添加到sudo用户组3 sudo adser hadoop sudo

最后注销当前用户,使用新创建的hadoop用户登陆。

2.2安装ssh服务

ubuntu中默认是没有装ssh server的(只有ssh client),所以先运行以下命令安装openssh-server。安装过程轻松加愉快~

sudo apt-get install ssh openssh-server

2.3 配置ssh无密码登陆

直接上代码:执行完下边的代码就可以直接登陆了(可以运行ssh localhost进行验证)

1 cd ~/.ssh# 如果找不到这个文件夹,先执行一下 "ssh localhost"2 ssh-keygen -t rsa3 cp id_rsa.pub authorized_keys

注意:

这里实现的是无密登陆自己,只适用与hadoop单机环境。如果配置Hadoop集群设置Master与Slave的SSH无密登陆可

三. 安装过程

3.1 下载hadoop安装包

有两种下载方式:

1. 直接去官网下载:

2. 使用wget命令下载:

3.2 配置hadoop

1. 解压下载的hadoop安装包,并修改配置文件。我的解压目录是(/home/hadoop/hadoop-2.7.1),即进入/home/hadoop/文件夹下执行下面的解压缩命令。

tar -zxvf hadoop-2.7.1.tar.gz

2. 修改配置文件:(hadoop2.7.1/etc/hadoop/)目录下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml。

(1). core-site.xml 配置:其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

至此,wordcount demo 运行结束。

六. 总结

配置过程遇到了很多问题,最后都一一解决,收获很多,特此把这次配置的经验分享出来,方便想要配置hadoop环境的各位朋友~

(Hadoop集群安装配置过程基本和单机版是一样的,主要是在配置文件方面有所区别,以及ssh无密登陆要求master和slave能够互相无密登陆。

『玖』 可在什么文件中配置集群资源管理系统参数

可在以下文件中配置集群资源管理系统参数:1、core-site.xml,集群全局参数,用于定义系统级别的参数。2、hdfs-site.xml,HDFS参数。3、yarn-site.xml,集群资源管理系统参数。4、mapred-site.xml,MapRece参数。

『拾』 怎样将zookeeper的mode由standalone改成集群形式'

将下载的 ZooKeeper 解压,进入 conf 目录,复制一份 zoo_sample.cfg 的配置文件命名为 zoo.cfg,修改如下:# the basic time unit in milliseconds used by ZooKeeper. It is used to do heartbeatstickTime=2000# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/var/lib/zookeeper# the port at which the clients will connectclientPort=21812、 进入 bin 目录,启动 ZooKeeper:./zkServer.sh start启动运行后会创建相关目录,所以注意相关目录的写权限。启动的日志如下:ZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper-3.4.9/bin/../conf/zoo.cfgStarting zookeeper … STARTED3、 Client Connecting to ZooKeeper客户端连接到 ZooKeeper:./zkCli.sh -server 127.0.0.1:2181连接成功的日志输出:Welcome to ZooKeeper!SendThread(127.0.0.1:2181):[email protected]] – Opening socket connection to server 127.0.0.1/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)WATCHER::WatchedEvent state:SyncConnected type:None path:null[zk: 127.0.0.1:2181(CONNECTED) 0]


赞 (0)