仙 - Page 2 of 114 - 本来无一物,何处惹尘埃!

解决 mv: Argument list too long 问题

这个文件一般都是目录下文件太多引起的
这个”太多” 不是固定的, 而是内核预定的

可以修改改为
ulimit -s unlimited

就好了

当然通过rsync 或者 for 循环都可以
但是麻烦啊
…..

PHP读取文本文件换行尾巴的问题

Hello World John play football

这个文本文件如果编码不一样
结果也不一样

如果这样替换
$lines = file(‘file.txt’);
$string = str_replace(array(“\r”, “\n”), ”, $lines)
会有换行的尾巴

可以这样
$lines = file(‘file.txt’, FILE_IGNORE_NEW_LINES);

如果需要去掉空行可以这样
$lines = file(‘file.txt’, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);

另外一个方法
$file = ‘newline.txt’;
$data = file_get_contents($file);
$lines = explode(PHP_EOL, $data);

CentOS7 e1000 / 82574 网卡系列的bug和修复

这个也算是个奇葩问题了
这么多年就是不能打个补丁

这破问题害我损失不少客户

yum install epel-* -y
yum install pciutils net-tools iftop -y
yum update -y

#检查网卡
lspci |grep -i ethernet
# 如果是82754系列 那么恭喜你 你买到古董机器了

检查驱动版本
modinfo e1000e | grep 'version:'

#不出意外话 应该是这样
[root@web1 ~]# modinfo e1000e |grep version
filename:       /lib/modules/3.10.0-514.26.2.el7.x86_64/kernel/drivers/net/ethernet/intel/e1000e/e1000e.ko
version:        3.2.6-k
license:        GPL
description:    Intel(R) PRO/1000 Network Driver
author:         Intel Corporation, <linux.nics@intel.com>
rhelversion:    7.3
srcversion:     08D3BD37D763F6255639A98

#好吧 需要更新
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# C7安装这
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# C6安装这
rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm
yum clean all
yum update -y
yum -y install kmod-e1000e.x86_64

#等待完成，在检查下版本
modinfo e1000e | grep 'version:'


# 现在应该这样

[root@web1 ~]# modinfo e1000e
filename:       /lib/modules/3.10.0-514.26.2.el7.x86_64/weak-updates/e1000e/e1000e.ko
version:        3.3.5.3-NAPI
license:        GPL
description:    Intel(R) PRO/1000 Network Driver
author:         Intel Corporation, <linux.nics@intel.com>
rhelversion:    7.3
注意那个3.3系列 升级成功了


## 你以为这就完了 不可能的
curl --connect-timeout 15 -m 15 "http://djlab.com/stuff/fixeep.sh" > ~/fixeep.sh
chmod +x ~/fixeep.sh
~/fixeep.sh eth0
~/fixeep.sh eth1
~/fixeep.sh eno1
~/fixeep.sh eno2
~/fixeep.sh enp2s0
~/fixeep.sh enp3s0
~/fixeep.sh enp4s0
~/fixeep.sh enp5s0
rm -rf fixeep.sh
修复网卡  你看看你网卡什么名 改下对应的就行


## 最后一步骤
grubby --update-kernel=ALL --args="pcie_aspm=off"
更新内核关闭下PCIE

最后重新启动机器
reboot

Okay, anything has done

yum install epel-* -y

yum install pciutils net-tools iftop -y

yum update -y

#检查网卡

lspci |grep -i ethernet

# 如果是82754系列那么恭喜你你买到古董机器了

检查驱动版本

modinfo e1000e | grep 'version:'

#不出意外话应该是这样

[root@web1 ~]# modinfo e1000e |grep version

filename: /lib/modules/3.10.0-514.26.2.el7.x86_64/kernel/drivers/net/ethernet/intel/e1000e/e1000e.ko

version: 3.2.6-k

license: GPL

description: Intel(R) PRO/1000 Network Driver

author: Intel Corporation, <linux.nics@intel.com>

rhelversion: 7.3

srcversion: 08D3BD37D763F6255639A98

#好吧需要更新

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

# C7安装这

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

# C6安装这

rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm

yum clean all

yum update -y

yum -y install kmod-e1000e.x86_64

#等待完成，在检查下版本

modinfo e1000e | grep 'version:'

# 现在应该这样

[root@web1 ~]# modinfo e1000e

filename: /lib/modules/3.10.0-514.26.2.el7.x86_64/weak-updates/e1000e/e1000e.ko

version: 3.3.5.3-NAPI

license: GPL

description: Intel(R) PRO/1000 Network Driver

author: Intel Corporation, <linux.nics@intel.com>

rhelversion: 7.3

注意那个3.3系列升级成功了

## 你以为这就完了不可能的

curl --connect-timeout 15 -m 15 "http://djlab.com/stuff/fixeep.sh" > ~/fixeep.sh

chmod +x ~/fixeep.sh

~/fixeep.sh eth0

~/fixeep.sh eth1

~/fixeep.sh eno1

~/fixeep.sh eno2

~/fixeep.sh enp2s0

~/fixeep.sh enp3s0

~/fixeep.sh enp4s0

~/fixeep.sh enp5s0

rm -rf fixeep.sh

修复网卡你看看你网卡什么名改下对应的就行

## 最后一步骤

grubby --update-kernel=ALL --args="pcie_aspm=off"

更新内核关闭下PCIE

最后重新启动机器

reboot

Okay, anything has done

无语了，我要换硬盘，你每次给加硬盘什么意思……

有几台古董机器配的老硬盘几年了最近Raid报警
过去几个月一直在换，联系机房值班
原来搭配的N块盘，每次有盘坏了就给我加一块
坏盘也不给我拔掉，真鸡巴懒
结果现在挂了一堆硬盘了……

FFMPEG 硬件转码 GPU CUDA9 问题

傻逼了又，头脑发热升级下驱动版本
结果出现灵异问题
驱动安装和CUDA那些没错

编译FFMPEG出现
ERROR: cuda requested, but not all dependencies are satisfied: ffnvcodec
查询了下cuda9才又这个错误，好像是pkgconfig里命名导致问题

修复方式
cd /opt git clone https://git.videolan.org/git/ffmpeg/nv-codec-headers.git cd nv-codec-headers make make install

在编译遇到
ERROR: cuvid requested, but not all dependencies are satisfied: cuda
我很确认 cuda是安装好了的
卸载，重新安装，ldconfig 这个问题神奇的没了

这样就算升级成功

测试下

没问题

N卡官方
https://developer.nvidia.com/ffmpeg

nginx 保护特定的文件后缀禁止特殊后缀访问

location ~\.(ini|log|conf|db)$ { deny all; return 405; }

seafile专业版破解

0001. seafile：
关于seafile的介绍请自行百度，其实官方是提供了专业版的，而且免费的专业版跟付了钱买的专业版功能上没有任何区别，主要是免费的只能注册三个用户。（百度上也貌似找不到专业版的破解版）
虽然说是可用的状态，但是我的感觉是十分蛋疼。毕竟有强迫症在作怪，正好作为小白的我可以用这个程序来练练手。

0010.破解：
详细的破解过程就不在此进行阐述，主要是对限制人数进行了破解使其突破3人的限制。（将其修改为1000人）
破解的版本为目前的最新版本 6.2.9
大致分析及破解过程如下：
该程序是由python和C编写，前台使用了python的django框架。
安装好运行之后添加4个用户，根据报错信息追踪代码调用位置。
最后发现判断人数是否超限的代码就在 seafile-pro-server-6.2.9/seahub/seahub/utils/licenseparse.py 文件中：

def user_number_over_limit(new_users=0):    logger = logging.getLogger(__name__)
    if is_pro_version():
        try:
            # get license user limit
            license_dict = parse_license()
            max_users = int(license_dict.get('MaxUsers', 3))

            # get active user number
            active_db_users = ccnet_api.count_emailusers('DB')
            active_ldap_users = ccnet_api.count_emailusers('LDAP')
            active_users = active_db_users + active_ldap_users if \
                           active_ldap_users > 0 else active_db_users

            if new_users < 0:
                logger.debug('`new_users` must be greater or equal to 0.')
                return False
            elif new_users == 0:
                return active_users >= max_users
            else:
                return active_users + new_users > max_users

        except Exception as e:
            logger.error(e)
            return False
    else:
        return False

def user_number_over_limit(new_users=0): logger = logging.getLogger(__name__)

if is_pro_version():

try:

# get license user limit

license_dict = parse_license()

max_users = int(license_dict.get('MaxUsers', 3))

# get active user number

active_db_users = ccnet_api.count_emailusers('DB')

active_ldap_users = ccnet_api.count_emailusers('LDAP')

active_users = active_db_users + active_ldap_users if \

active_ldap_users > 0 else active_db_users

if new_users < 0:

logger.debug('`new_users` must be greater or equal to 0.')

return False

elif new_users == 0:

return active_users >= max_users

else:

return active_users + new_users > max_users

except Exception as e:

logger.error(e)

return False

else:

return False

难道真的就么简单？？，于是把3改为1000，重启服务。
继续添加用户，不过这时候错误变成了添加用户失败。果然没那么简单！
继续追踪分析python代码，最后发现基本上所有的操作（比如添加用户，更换邮箱，删除用户）都是使用rpc进行通信调用C语言程序进行的操作。
这时候突然想起启动时控制台的输出信息，于是使用IDA进行静态分析。从 seafile-pro-server-6.2.9/seafile/bin/ccnet-server 文件中发现了端倪。
进行text搜索：license 果不其然，决定使用人数的代码就在其中。（文件删了后我也懒得下，所以就不放图了，后面的就自行分析吧）。
不过最初我是想做个注册机出来，最后发现程序使用RSA来验证授权文件，所以如果做注册机还需将程序中的公钥替换成我的，这样还不如直接修改人数限制来的简单粗暴。

0100.下载链接：
不知道为什么官网也是放出了一个Ubuntu的版本？所以顺带也破解了。

Ubuntu 版：https://pan.baidu.com/s/1w2jZcoOYKAec1eurHPJVEw 密码：xz2z

百度网盘：https://pan.baidu.com/s/1bYVO_KfWqFbX8vZQwIr7HA 密码：zayr

demo站点：https://pan.deny.cx

文件都是从官网下载的，然后进行了破解，后门病毒之类的应该不存在的吧？（大家请放心，我技术这么渣想加也加不了啊）

0101.安装教程官方的文档都有
安装方法就按照官方的说明来就是了。

0110..侵删；

CentOS 7.* 下的FFMPEG 自动安装脚本 FFMPEG一键安装

CentOS 7.* 下的FFMPEG 自动安装脚本

https://github.com/hostsoft/ffmpegtoolkit

上次撸了一个这个版本……

4.x的内核,在部分CentOS7系统下会异常

4.x的内核,在部分CentOS7系统下会异常
不是特别稳定,测试差不多的配置, 4台机器
3.x的内核正常
尝试升级到4.x 会出现负载升高,失去响应的问题

这个各种因素影响比较大,所以也没时间定位哪里触发的崩溃

LVM SATA SSD缓存性能比较

给客户部署测试的

做了个性能测试比较

pvcreate /dev/md126p3  #板载Raid0  3x2000G SATA 垃圾硬盘
pvcreate /dev/sdd1     #120G SSD硬盘

vgcreate cache /dev/md126p3
lvcreate -l 100%FREE -n hls cache

vgextend cache /dev/sdd1
lvcreate -n CacheMetaLV -L 1G cache /dev/sdd1
lvcreate -n CacheDataLV -L 109G cache /dev/sdd1  #这里注意硬盘需要预留一定空闲,否则不能转换
# 大约 512M Meta = 160G Data

lvconvert --type cache-pool --cachemode writethrough --poolmetadata \
cache/CacheMetaLV cache/CacheDataLV

lvconvert --type cache --cachepool cache/CacheDataLV cache/hls

pvcreate /dev/md126p3 #板载Raid0 3x2000G SATA 垃圾硬盘

pvcreate /dev/sdd1 #120G SSD硬盘

vgcreate cache /dev/md126p3

lvcreate -l 100%FREE -n hls cache

vgextend cache /dev/sdd1

lvcreate -n CacheMetaLV -L 1G cache /dev/sdd1

lvcreate -n CacheDataLV -L 109G cache /dev/sdd1 #这里注意硬盘需要预留一定空闲,否则不能转换

# 大约 512M Meta = 160G Data

lvconvert --type cache-pool --cachemode writethrough --poolmetadata \

cache/CacheMetaLV cache/CacheDataLV

lvconvert --type cache --cachepool cache/CacheDataLV cache/hls

测试结果

[root@cache02 ~]# dd if=/dev/zero of=/cache/hls/test1.img bs=1G count=1 oflag=dsync 
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 4.76144 s, 226 MB/s
开启了SSD缓存 写入速度226MB/秒
[root@cache02 ~]# dd if=/dev/zero of=/cache/web/test1.img bs=1G count=1 oflag=dsync
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB) copied, 6.24878 s, 172 MB/s
没缓存 172MB/秒

[root@cache02 ~]# dd if=/dev/zero of=/cache/hls/test1.img bs=1G count=1 oflag=dsync

1+0 records in

1+0 records out

1073741824 bytes (1.1 GB) copied, 4.76144 s, 226 MB/s

开启了SSD缓存写入速度226MB/秒

[root@cache02 ~]# dd if=/dev/zero of=/cache/web/test1.img bs=1G count=1 oflag=dsync

1+0 records in

1+0 records out

1073741824 bytes (1.1 GB) copied, 6.24878 s, 172 MB/s

没缓存 172MB/秒

提升了56M的写入速度,读取速度一般不会是不会成为瓶颈的
这个是未进行LVM差数优化的结果, 根据应用场景,应该有提升空间
例如图片存储,优化meta size的大写, 更换文件系统, 使用XFS,ZFS等等

总结
有效提升空间不是特别大

服务器异常关机最想不到的原因

说出来可能不信

客户上架一个机柜40台机器
39台正常只有一台老是自动关机

分析发现
操作系统日志提示温度过高断电保护

最后检查发现
5个风扇少3个,1个低速1000多转, 1个坏了

能不自动关机吗?