QQs'Note

login

Posted on 2019-11-27 Edited on 2022-04-24 In 架构

在ng-alain脚手架项目中，默认存token到localstorage（也可以配置为其他存储类型），运行期间不再改动配置。

不应该把 Remember me 当作实际授权有效期的条件，Token 该什么时候过期就应该什么时候过期， Remember me 一般是用于支持自动无感刷新 Token。

redis value中存token，expire time，remember，当remember为false，应校验前端传来的token并核对expire time，当remember为true，应在token过期时自动刷新，并将新的token保存到前端

Excel_tips

Posted on 2019-11-12 Edited on 2022-04-24 In 工具

随机数

1 2	=rand() //生成随机数区间[0,1] =randbetween(100,999)//生成范围内随机整数

随机字符

1	=CHAR(INT(RAND()*25+65))

字符串拼接

1	=concat("id","0001")

随机日期

1	=TEXT(RAND()*("2019-11-11"-"2018-11-11")+"2018-11-11","e/m/d")

批量取消科学计数法

格式化单元格 Number—Custom—0

进制转换

16进制—>十进制： HEX2DEC

VLOOKUP

y=vlookup(x, source_table, column_index, boolean)
在source_table中找到x所在行，返回第column_index列的对应结果，boolean：TRUE 模糊匹配 FALSE 严格匹配

条件格式

如 Home—>Conditional Formatting—>Highlight Cell Rules—>Duplicate Values

高亮显示所选区域中存在重复值的cell

批量输入

Ctrl + D
Home —> Editing —> Fill

Angular Library

Posted on 2019-11-11 Edited on 2022-04-24 In 前端技术

添加库

add library

1
2
3

ng new my-project --style less
cd my-project
ng add ng-alain

add library 和 npm install

ng add \ uses your package manager and installs the dependency. That dependency can have an installation script which can be used to do more job except the dependency installation. It can update your configurations, download another dependencies based on that one or create scaffold templates (with initial markup and logic).

安装ng-alain库修改了angular.json文件，加入了上文提到的installation script。

项目中可以调用ng-alain库命令创建页面模板

1 2	ng g ng-alain:module user ng g ng-alain:list list -m=user

根据ng-alain规则生成user模块，并为其添加一个list功能(自动生成组件，配置路由等)

Caution! “download another dependencies” 并不会加入到 package.json(存疑))

创建库

LinuxResetPassword

Posted on 2019-11-07 Edited on 2022-04-24 In Linux

c.f. How do I reset a lost administrative password?

Docker_Container

Posted on 2019-11-05 Edited on 2023-04-03 In 容器

启动一个Jenkins docker

docker pull jenkins
sudo mkdir /var/jenkins_home
docker run 
-d 
-u root 
--rm 
--name myjenkins 
-p 8080:8080 -p 50000:50000 
-v /var/jenkins_home:/var/jenkins_home 
--restart always 
jenkins

说明

docker run启动一个container
-d 后台运行
-u root 以root权限执行尤其对于jenkins 权限不足会影响持久化卷的访问
—rm 容器退出后自动移除实际上写这个会报与—restart always冲突
—name myjenkins容器Name命名为myjenkins
-p 8080:8080 -p 50000:50000 容器端口映射到宿主端口，前者是主机端口，后者是容器端口
-v volume设置（详见“卷和持久化数据”）
—restart always重启策略
jenkins 镜像

参考
docker run命令

Docker提供了3种预置网络配置：桥接、主机、无网络
端口映射适应于桥接网络，是启动容器的默认网络设置，如果是主机网络，则可以直接使用主机上的剩余端口

jenkins升级
在jenkins ui中upgrade 重启后无法访问查看docker container log发现需要升级JDK版本

由于我们启用jenkins时映射了宿主volume,不用担心丢失工作数据，可以更新docker image 删除并重建容器

如何进入无限重启的容器

更新docker jenkins环境(jdk, ant)

连接到容器

docker attach [containerID]

docker exec -it [containerID] bash或sh

前者是直接进入容器启动命令的终端，不开启新的进程，退出终端意味着容器命令被终结
后者是打开一个新的终端(bash或sh)

在容器终端键入 exit 退出

使用Container ID 停止和重启等

docker ps -a
docker ps | grep jenkins
docker stop/restart id

docker rm id

Issue：如何得知特定镜像需要的持久化卷配置，即我要创建哪些路径的映射呢？

tomcat docker的卷设置

1	docker run --name tomcat -p 8080:8080 -v $PWD/test:/usr/local/tomcat/webapps/test -d tomcat

容器重连

有的封装服务的容器是可以docker run -d 保持后台运行的，很多容器如ubuntu等，断开终端连接往往会结束运行，在docker ps -a中看到状态是Exited。

启动容器并附加到当前进程

1	docker start -a -i `docker ps -q -l`

说明：
docker start启动容器（需要名称或ID）
-a附加到容器
-i交互模式
docker ps列表容器
-q列表仅容器ID
-l列表仅最后创建容器

检索自腾讯云问答

另，对于这种容器，可以保持一个“前台”的进程运行，如

1	docker run ubuntu /bin/bash -c "while true; do echo docker connected; sleep 5; done" // 每5s 输出一次

docker for mysql 5.7

docker pull mysql:5.7
docker run --name mysql_57_instance -v /home/qqs/Workspace/mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7
docker exec -it mysql_57_instance bash
mysql -u root -p
...

Containers for the linked service will be reachable at a hostname identical to the alias, or the service name if no alias was specified.

使用docker for mysql部署数据库，docker容器运行起后，不需要进入容器修改配置（事实上使用docker -it进入容器终端后，/etc/mysql/下面没有配置文件），在配置外部数据连接时，使用容器名代替localhost或127.0.0.1
参考issue: SQLSTATE[HY000] [2002] Connection refused

ssh

Posted on 2019-10-30 Edited on 2023-03-29 In 工具

ubuntu安装后无法ssh远程登录

检查是否安装ssh-server

1	dpkg -l \| grep ssh

默认只有ssh-client,如下

安装命令：

1	sudo apt-get install openssh-server

通过进程确认服务已启动

1	ps -e \| grep ssh

启动与停止

1 2	sudo /etc/init.d/ssh stop sudo /etc/init.d/ssh start

ssh key

// 查看ssh key目录
 ls -al ~/.ssh
 // 生成
 ssh-keygen -t rsa -C ""
 // 添加密钥到ssh-agent 注 见下文异常
 ssh-add ~/.ssh/id_rsa.pub

异常：Could not open a connection to your authentication agent
1
ssh-agent bash
异常：Permissions 0777 for ‘~/.ssh/id_rsa’ are too open.

It is recommended that your private key files are NOT accessible by others.

This private key will be ignored.

keys need to be only readable to you

1
2
3

// 改为只读
chmod 400 ~/.ssh/id_rsa 
ssh-add ~/.ssh/id_rsa.pub

返回“identity added blablabla…”

使用ssh key连接GitHub

复制public key
测试
1
ssh -T git@github.com/qqstone/xxx.git
异常：Could not resolve hostname github.com:qqstone/xxx.git： Name or service not known;

尝试ping github.com 发现超时，说明dns给的地址连接超时，然而由于网页上是http协议，是可以有反向代理以及负载均衡配置的(具体原因存疑)，所以网页打开Github反而很流畅。

另一种情况，主机无法连接正确的dns，解析超时，可以在连接正常的环境中(如无线网络或4g网络)用nslookup查看域名解析，找到实际的公网ip，然后在超时的环境中尝试用ip连接

懒得去服务器上授权密钥，可以将已授权的 id_rsa + xxx.pub(公钥)拷贝覆盖到其他主机

异常：The authenticity of host 192.168.xxx.xxx can’t be established.ECDSA key fingerprint is blablabla
1
ssh  -o StrictHostKeyChecking=no  192.168.xxx.xxx
异常：ssh key在终端有效，在脚本中无效

在终端执行git 命令，ssh key认证可自动通过，将命令写入shell执行，git命令会要求当前用户访问Repository的密码。

原因可能是ssh key隶属当前用户，而未配置到root用户，root用户默认是禁用的，尝试添加/home/root/.ssh/*无效，未尝试添加/root/.ssh/*。

1	git config core.sshCommand "ssh -i /home/csd/.ssh/id_rsa -o StrictHostKeyChecking=no git@hostname"

异常：kex_exchange_identification: read: Software caused connection abort. banner exchange: Connection to 20.205.243.166 port 22: Software caused connection abort
fatal: Could not read from remote repository.

use https than ssh

linux系统之间的ssh授权访问

一、概述

1、就是为了让两个linux机器之间使用ssh不需要用户名和密码。采用了数字签名RSA或者DSA来完成这个操作

2、模型分析

假设 A （192.168.20.59）为客户机器，B（192.168.20.60）为目标机；

要达到的目的：
A机器ssh登录B机器无需输入密码；
加密方式选 rsa|dsa均可以，默认dsa

二、具体操作流程

单向登陆的操作过程（能满足上边的目的）：
1、登录A机器
2、ssh-keygen -t [rsa|dsa]，将会生成密钥文件和私钥文件 id_rsa,id_rsa.pub或id_dsa,id_dsa.pub
3、将 .pub 文件复制到B机器的 .ssh 目录，并 cat id_dsa.pub >> ~/.ssh/authorized_keys
4、大功告成，从A机器登录B机器的目标账户，不再需要密码了；（直接运行 #ssh 192.168.20.60 ）

双向登陆的操作过程：

1、ssh-keygen做密码验证可以使在向对方机器上ssh ,scp不用使用密码.具体方法如下:
2、两个节点都执行操作：#ssh-keygen -t rsa
然后全部回车,采用默认值.

3、这样生成了一对密钥，存放在用户目录的~/.ssh下。
将公钥考到对方机器的用户目录下，并将其复制到~/.ssh/authorized_keys中（操作命令：#cat id_dsa.pub >> ~/.ssh/authorized_keys）。

退出

exit

MySQL

Posted on 2019-10-28 Edited on 2022-09-15 In 数据库

前提

1	select version()

返回8.0.16

root 初始密码

mysql安装时为root用户创建初始密码，可以在日志中找到

/var/log/mysqld.log

登录之后会勒令重设密码

You must reset your password using ALTER USRE statement before executing this statement.
1
alter user 'root'@'localhost' identified by 'A_Za_z0_9'
修改密码级别
1
2
mysql> set global validate_password.policy=0;
mysql> set global validate_password.length=3;
现在可以设密码123了

新建管理员

1
2
3

mysql> create user 'admin'@'%' identified by 'admin';
mysql> grant all privileges on *.* to 'admin'@'%';
mysql> flush privileges;

native password

异常：

Client does not support authentication protocol requested by server; consider upgrading MySQL client

由于MySQL8 默认用编码口令代替了之前版本的native password，在使用第三方（如应用后台服务）连接数据库时，不符合协议

1 2	ALTER USER 'admin'@'%' IDENTIFIED WITH mysql_native_password BY 'admin'; FLUSH PRIVILEGES;

配置远程连接

Ubuntu :

/etc/mysql/mysqld.cnf

1	bind-address = 0.0.0.0

可以注释掉（未验证）
CentOS

见/etc/my.conf指定了配置目录

曾修改主机ip时mysql启动失败（查看状态:service mysqld status），现象是在本地登录mysql -u xxx -p验证密码后报异常:

ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock’

数据库时间

select now();// yyyy-MM-dd hh24:mi:ss
select sysdate();// yyyy-MM-dd hh24:mi:ss

select current_date;// yyyy-MM-dd 带()结果相同

使用自增int作为主键

mysql为什么建议使用自增主键

关于删除表数据后重置auto increment:

1 2	delete from table1; alter table1 AUTO_INCREMENT=1;

1	trancate table1;

使用时间戳

1	ALTER TABLE mytable CHANGE COLUMN ptime ptime TIMESTAMP ON UPDATE CURRENT_TIMESTAMP

联合唯一

1	alter table all_user add unique key(employeeid, isvalid)

CAUTION ! 上述语句是为了能在记录标记删除后，原纪录的唯一字段可以重新使用，但是如果isvalid是boolean(0-1)类型的，再次删除会造成违反联合唯一约束，解决方法是将isvalid以自增值标记，或以时间戳标记

数据导入

MySQL Workbench工具，支持csv，json格式的import wizard，其实可以直接用命令方式导入

工具提供了直观图形界面和字段映射。

然而csv的支持是个大坑。

Excel在读取csv的时候是通过读取文件头上的bom来识别编码的，如果文件头无bom信息，则默认按照unicode编码读取。

MySQL读取csv数据不能识别bom头，遇到utf8bom报“Can’t analyze file. Please try to change encoding type. If that doesn’t help, maybe the file is not: csv, or the file is empty.

应如下操作：

在Excel中整理待导入数据的格式，特别提示MySQL datetime类型字段数据源应调整为yyyy-mm-dd hh:mm:ss格式
第一行列头会作为导入field的标识，这一行不能为中文（此坑已踩）
保存为CSV UTF-8(Comma delimited) 在Excel365的SAVE AS选项中是这样。
用Notepad++打开保存的文件，可见此时默认为Encoding in UTF8-BOM，需Convert to UTF8 （此时再使用Excel打开，会发现出现中文乱码，原因如上所述，找不到BOM将以Unicode解码,应该打开Excel，使用数据导入向导，from text/csv）
使用Workbench Import Wizard导入

关于utf8 和 utf8mb4

记住，永远不要在MySQL中使用“utf8”

大致是说，，别人utf-8都是四个字节编码，就MySQL所谓的utf-8是3字节，为与标准对应，又出了utf8mb4，请在MySQL中使用utf8mb4

数据库备份

1	mysqldump -u${username} -p${password} schemaName tableName1 tableName2 tableName3 > backup.sql

关于使用git实现快捷数据备份的实践
1
2
3
4
5
6
cd ~/Workspace
git clone git@projectX.git
mkdir ~/Workspace/projectX/db 
mysqldump -u admin -padmin schemaName tableName > backup.sql
git commit
git push
///
思考：我要是不在本地跑源码(node server.js),是否可以省略拉本地仓库的步骤？是否可以直接将备份文件“push”到远程仓库？

编辑文件在上图的workspace范畴中，我想，问题答案应该是否定的。

常用查询
1
2
3
4
show databases;
create database csc;
use csc;
show tables;
联合更新
1
2
update asset a inner join department d on a.depart_id=d.depart_id set a.department=d.depart_name 
where a.department <> d.depart_name 
key, primary key, unique key

分组取第一条

MySQl 8 之前的版本不支持partition by

select * from
(
select *,row_number() over(partition by Grade order by Score desc) as Sequence from Student
)T where T.Sequence<=1

workaround

SELECT 
        t1.*
    FROM
        action_history t1
    INNER JOIN (SELECT 
        MAX(timestramp) AS newest, process_id
    FROM
        action_history
    GROUP BY process_id) t2 ON t2.process_id = t1.process_id
        AND t2.newest = t1.timestramp

加/减后缀

UPDATE all_user 
SET 
    email = CONCAT(email, '_disabled')
WHERE
    email NOT LIKE '%yopmail.com'
        AND user_id < 108

去后缀，即取该字段的左起（总长度-后缀长度）个字符

UPDATE all_user 
SET 
    email = LEFT(email, LENGTH(email) - 9)
WHERE
    email NOT LIKE '%yopmail.com'
        AND user_id < 108

查询各表数据条数

1 2	USE information_schema; SELECT table_name,table_rows FROM TABLES WHERE TABLE_SCHEMA = 'ams'

MySQL Utilities

数据库更新工具

1	$ mysqldbcompare --server1=admin:admin@10.196.98.83:3306 --server2=admin:admin@10.196.98.107:3306 ams:ams --run-all-tests --changes-for=server1 --difftype=sql >> d:\temp\diff.sql

该工具依赖表mysql.proc, mysql.event已在mysql8以上版本移除，如有需要宜寻5.7等版本数据库导出

Jenkins对Node.js项目的持续集成

Posted on 2019-10-24 Edited on 2022-04-24 In 工具

安装NodeJS

Manage Jenkins菜单 —> Manage Plugins
添加Node.js 并重启Jenkins
进入 Manage Jenkins —> Global Tool Configuration
找到NodeJS installations 此处可以配置安装多个版本的NodeJS
如有需要填写Global npm packages to install项
如

1	@angular/cli@8.2.2 electron@6.0.2 electron-builder@21.2.0 node-gyp@6.1.0

添加和使用credentials 有用户名密码模式 ssh模式等

ssh模式粘贴private key即可

建立Job 选择Freestyle project

配置git并选择credentials

Build Environment中勾选 “Provide Node & npm bin/ folder to PATH” 并选择已安装的版本

否则jenkins所在系统无法识别nodejs命令

最后 Build 步骤可以直接用 “Windows batch command” 或者 “execuate shell”调用

1	npm install && npm run build

注意 npm 命令是安装了node包管理工具之后的命令行指令，并非是nodejs命令,否则报 syntaxerror unexpected identifier

比较复杂的概念：

解读WSDL文档

安全认证（存目）

SOAP用例

随机数