目录：
1.面试提问
2.完善采集端代码
3.唯一标识的问题
4.API的验证
1.面试会问到的问题：
# 1. 为啥要做CMDB？
# - 实现运维自动化， 而CMDB是实现运维自动化的基石
# - 之前公司统计资产的时候，使用Excel来统计， 为了年底资产审计方便，因此需要做CMDB
#
# 2. CMDB的架构以及你们公司采用的架构是啥？
# Agent
# ssh类
# saltstck
#
#
# 3. 你做这个项目的时候， 主要负责哪一块？
#
# - 数据的采集和发送
#
# a.数据的采集：
# - 高级的配置文件 （整合了自定制的配置文件和全局的配置文件）
# - 高内聚低耦合的思想， 实现了插件采集的可插拔式
#
# 参考了django的配置和django的中间件
#
# - 数据的二次清洗和加密
#
#
# - 数据的展示（图表部分）
#
# 4. 遇到了那些问题？ 怎么解决的？
#
# - linux的命令不熟 -----> 找运维 或者 百度
# - 沟通问题， 和产品经理的沟通
# - 唯一标识的问题
# 几个人做的？做了多长时间？
#
# 刚开始：
#
# 1-2人做的客户端采集， 1人做API验证和数据清洗 ，1人做的数据的展示 （layui的 xadmin）
#
# 1-2个月的时间， 快速上线
#
#
# 后面：
#
# 1-2人做的客户端采集（代码的迭代）， 1人做API验证和数据清洗，也负责用drf写接口 1个前端使用vue展示数据 （前后端分离的）
#
# 完善 1个月左右， 后面的时间就是不断的迭代， 维护， 完善整个项目的功能
5. 此项目花了多长时间？ 几个人完成的？ 3-4个人左右， 花的时间大概是 4个月： 1个月 ： 调研， 排期， 开会选择方案
1-2个月 ：项目快速上线 （不需要代码写的多么的好， 快快快） （2-3人 前后端不分离的项目）
1-2个月 ：项目的完善 （代码的迭代，扩展性要高， 中间加一些产品经理提出的需求） （前后端分离的项目）
2.完善采集端代码
已经完成了采集数据，现在是要发送数据，一开始想到的是在启动文件中直接写代码
from lib.config.config import settings
import json
import requestsfrom src.plugins import PluginsMangerif __name__ == '__main__':
if settings.MODE == 'agent':
res = PluginsManger().execute()
requests.post('http://127.0.0.1:8000', data=json.dumps(res))
else:
res = PluginsManger().execute()
而逻辑代码是不能写在启动文件中的，所以在src创一个文件client.py
from lib.config.config import settings
import json
import requestsfrom src.plugins import PluginsManger if settings.MODE == 'agent':
res = PluginsManger().execute()
requests.post('http://127.0.0.1:8000', data=json.dumps(res))
else:
res = PluginsManger().execute()
但是以上又是面向过程的思想，所以要面向对象的思想
服务端的IP地址写在custom_settings。py里
import osBASEDIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))MODE = 'agent'SSH_USERNAME = 'root'SSH_PASSWORD = ''SHH_PORT = 22### APIurl地址
API_URL = 'http://127.0.0.1:8000/getInfo/'DEBUG = TruePLUGINS_DICT = {
'basic':'src.plugins.basic.Basic',
'board': 'src.plugins.board.Board',
'disk': 'src.plugins.disk.Disk',
'memory': 'src.plugins.memory.Memory',
'cpu':'src.plugins.cpu.Cpu',
'nic':'src.plugins.nic.Nic'
}
client.py（先对agent采集模式进行测试）
from src.plugins import PluginsMangerimport jsonimport requestsfrom lib.config.config import settingsclass Agent(object): #收集数据并发送
def collectAndPost(self):
res = PluginsManger().execute()
for k,v in res.items():
print(k,v)
requests.post(settings.API_URL, data=json.dumps(res))
start.py
from src.client import Agentif __name__ == '__main__':
Agent().collectAndPost()
起一个django (我的是2.0版本) 服务端，应用项目是api
from django.contrib import admin
from django.urls import path,re_pathfrom api import viewsurlpatterns = [
path('admin/', admin.site.urls),
re_path('getInfo/', views.getInfo),
]
将settings中drf注掉
# a. request.body中永远都是有数据的
#
#
# 当 Content-Type: application/x-www-form-urlencoded， request.POST中才会有值
# 当 Content-Type':"application/json" 这是采集端发送数据的头形式
views.py
from django.shortcuts import render,HttpResponse# Create your views here.def getInfo(request): print(request.body) return HttpResponse('ok')
shh, salt是通过服务端向db获取hostname主机名数据的，然后再朝客户端shh,salt返回数据库获取到的主机名列表
autoserver服务端
views.py
from django.shortcuts import render,HttpResponse# Create your views here.def getInfo(request):
if request.method == 'POST': 发送采集数据的话就是post请求
print(request.body)
return HttpResponse('ok')
else:
### 连接数据库获取主机名列表
return ['c1.com', 'c2.com'] ssh\salt发送get请求来获取主机名，返回主机名列表
# python2:
#
# 进程池 有
# 线程池 无
#
# python3:
#
# 进程池 有
# 线程池 有使用线程池的方式采集数据，因为可以提高效率，比如一次采集10台服务器的数据先进行测试
s6.py
#### 线程池import time
from concurrent.futures import ThreadPoolExecutordef run(i):
time.sleep(2)
print(i)p = ThreadPoolExecutor(10)for i in range(100):
p.submit(run, i)
client.py
from src.plugins import PluginsMangerimport jsonimport requestsfrom lib.config.config import settingsclass Base(): 专门用来进行发送数据采集到的数据
def post_data(self, server_info):
requests.post(settings.API_URL, json=server_info)class Agent(Base): 继承base #收集数据并发送
def collectAndPost(self):
server_info = PluginsManger().execute()
for k,v in server_info.items():
print(k,v)
self.post_data(server_info) 调用函数class SHHSalt(Base): 继承base
def get_hostname(self): 发送get请求获取主机名列表
hostname = requests.get(settings.API_URL)
return ['c1.com', 'c2.com'] 先自定义进行测试一下 def run(self, hostname):
server_info = PluginsManger(hostname).execute()
self.post_data(server_info) def collectAndPost(self): hostnames = self.get_hostname() #单线程执行，循环速度比较慢
# for hostname in hostnames:
#
# server_info = PluginsManger().execute()
# self.post_data(server_info) from concurrent.futures import ThreadPoolExecutor p = ThreadPoolExecutor(10)
for hostname in hostnames:
p.submit(self.run, hostname)
在src新建script.py用于判断mode,再调用不同采集方式的发送数据的方式
script.py
from src.client import Agentfrom src.client import SHHSaltfrom lib.config.config import settingsdef run():
if settings.MODE == 'agent':
obj = Agent()
else:
obj = SHHSalt() obj.collectAndPost()
start.py
from src.script import run
if __name__ == '__main__':
run()
3.唯一标识码的问题
# 目标：将变更的信息通过程序的比对， 记录下来
#
# 第一天的时候：
#
# 采集数据：
# {'status': 10000, 'data': {'os_platform': 'linux', 'os_version': 'CentOS release 6.6 (Final)\nKernel \r on an \\m', 'hostname': 'c2.com'}}
#
# API清洗的时候:
# 因为是第一次， 数据库中并没有采集的数据
#
# 数据入库：
#
# server：1000条
# id sn os_platform os_version disk_size
# 1 dsadsa linux CentOS 250G
# ........
#
# 第二天的时候：
#
# 采集数据：
#
# {'status': 10000, 'data': {'os_platform': 'linux', 'os_version': 'CentOS release 6.6 (Final)\nKernel \r on an \\m', 'hostname': 'c2.com'}}
#
# {'status': 10000, 'data': {'0': {'slot': '0', 'pd_type': 'SAS', 'capacity': '300G', 'model': 'SEAGATE ST300MM0006 LS08S0K2B5NV'}, '1': {'slot': '1', 'pd_type': 'SAS', 'capacity': '279.396', 'model': 'SEAGATE ST300MM0006 LS08S0K2B5AH'}, '2': {'slot': '2', 'pd_type': 'SATA', 'capacity': '476.939', 'model': 'S1SZNSAFA01085L Samsung SSD 850 PRO 512GB EXM01B6Q'}, '3': {'slot': '3', 'pd_type': 'SATA', 'capacity': '476.939', 'model': 'S1AXNSAF912433K Samsung SSD 840 PRO Series DXM06B0Q'}, '4': {'slot': '4', 'pd_type': 'SATA', 'capacity': '476.939', 'model': 'S1AXNSAF303909M Samsung SSD 840 PRO Series DXM05B0Q'}, '5': {'slot': '5', 'pd_type': 'SATA', 'capacity': '476.939', 'model': 'S1AXNSAFB00549A Samsung SSD 840 PRO Series DXM06B0Q'}}}
#
# API清洗的时候:
#
# 应该在新的POST数据中选取一个 唯一 的字段， 然后到数据库中作为where条件， 获取到对应的数据
#
# 问题是 应该选取谁？
# 选取的是 sn 序列号（mac地址） 作为唯一的字段
#
# 用sn遇到的问题：
# 虚拟机和实体机共用一个sn， 导致数据不准确
#
# 解决的方案：
#
# a. 如果公司不需要采集虚拟机的信息， 使用sn没有问题
# b. 采用 hostname 作为唯一标识
#
# - 是允许开发可以临时修改主机名的
#
# 引入规则/原则， 流程：
#
# 第一天：
# 1. 给这些服务器分配唯一的主机名
#
# 2. 将分配好的主机名录入到后台管理的DBserver表中
#
# 3. 将采集的client客户端代码， 运行一次，
# 然后将得到的主机名地址保存到一个文件中
#
# 第二天：
#
#
# hostname = server_info['basic']['data']['hostname'] ### c10000.com
# res = open(os.path.join(settings.BASEDIR, 'config/cert'), 'r', encoding='utf-8').read()
#
# if not res.strip():
# #### 第一次采集, 将采集的hostname写入到一个文件中
# with open(os.path.join(settings.BASEDIR, 'config/cert'), 'w', encoding='utf-8') as fp:
# fp.write(hostname)
# else:
# #### 第二次采集的时候， 永远以第一次文件中保存的主机名为标准
# server_info['basic']['data']['hostname'] = res
#
#
client.py 只有agent才用上
from src.plugins import PluginsMangerimport jsonimport osimport requestsfrom lib.config.config import settingsclass Base():
def post_data(self, server_info):
requests.post(settings.API_URL, json=server_info)class Agent(Base): #收集数据并发送
def collectAndPost(self):
server_info = PluginsManger().execute() hostname = server_info['basic']['data']['hostname'] res = open(os.path.join(settings.BASEDIR,'conf/cert'), 'r', encoding='utf-8').read() if not res.strip():
# 第一次擦剂，将采集的hostname写入到一个文件中
with open(os.path.join(settings.BASEDIR,'conf\cert'), 'w', encoding='utf-8')as fp:
fp.write(hostname)
else:
# 第二次采集的时候， 永远以第一次文件中保存的主机名为标准
server_info['basic']['data']['hostname'] = res # for k,v in server_info.items():
# print(k,v)
self.post_data(server_info)class SHHSalt(Base):
def get_hostname(self):
hostname = requests.get(settings.API_URL)
return ['c1.com', 'c2.com'] def run(self, hostname):
server_info = PluginsManger(hostname).execute()
self.post_data(server_info) def collectAndPost(self): hostnames = self.get_hostname() #单线程执行，循环速度比较慢
# for hostname in hostnames:
#
# server_info = PluginsManger().execute()
# self.post_data(server_info) from concurrent.futures import ThreadPoolExecutor p = ThreadPoolExecutor(10)
for hostname in hostnames:
p.submit(self.run, hostname)
3.API验证
客户端test文件夹中新建测试文件先进行测试
test.py
#原始的方式请求数据
import requestsres = requests.get('http://127.0.0.1:8000/getInfo/')print(res.text)
服务端autoserver进行接受，返回数据
views.py
from django.shortcuts import render,HttpResponse# Create your views here.def getInfo(request):
if request.method == 'POST':
print(request.body)
return HttpResponse('ok')
else:
### 连接数据库获取主机名列表
# return ['c1.com', 'c2.com'] #如果要返回列表或者字典必须要用jsonresponse发送不然会报错return HttpResponse('非常重要的数据')
客户端发送token
test.py
# 第一种方式
import requests
token = "dangerfad"# 切记，进行token验证的时候一定是将token写在http的请求头中
requests.get('http://127.0.0.1:8000/getInfo/', headers={"token":token})
服务端views.py
from django.shortcuts import render,HttpResponse# Create your views here.def getInfo(request):
if request.method == 'POST':
print(request.body)
return HttpResponse('ok')
else:
### 连接数据库获取主机名列表
# return ['c1.com', 'c2.com'] print(request.META) #可以获取到HTTP_TOKEN也就是我发过来的token
return HttpResponse('非常重要的数据')
第一种方式完整版
client.py
# 第一种方式
import requests
token = "dangerfad"# 切记，进行token验证的时候一定是将token写在http的请求头中
res = requests.get('http://127.0.0.1:8000/getInfo/', headers={"token":token})
print(res.text)
服务端views.py
from django.shortcuts import render,HttpResponse# Create your views here.def getInfo(request):
if request.method == 'POST':
print(request.body)
return HttpResponse('ok')
else:
### 连接数据库获取主机名列表
# return ['c1.com', 'c2.com'] token = request.META
server_token = "dangerfad"
if token != server_token:
return HttpResponse("token值是错误的")
return HttpResponse('非常重要的数据')
设置超时时间，失效token不能再访问
服务端views.py
from django.shortcuts import render,HttpResponse# Create your views here.def getInfo(request):
if request.method == 'POST':
print(request.body)
return HttpResponse('ok')
else:
### 连接数据库获取主机名列表
# return ['c1.com', 'c2.com'] token = request.META.get('HTTP_TOKEN')
print(token)
client_md5_token,client_time = token.split('|') client_time = float(client_time)
import time
server_time = time.time() if server_time -client_time > 5:
return HttpResponse('第一关【超时了】') server_token = "dangerfad" tmp = "%s|%s" % (server_token, client_time) import hashlib
m = hashlib.md5()
m.update(bytes(tmp, encoding='utf8'))
server_md5_token = m.hexdigest() if server_md5_token !=client_md5_token:
return HttpResponse("第二关数据被修改了") return HttpResponse('非常重要的数据')
客户端test.py
#第二种方式
import requeststoken = "dangerfad"
import time
client_time = time.time()
tmp = "%s|%s"%(token, client_time)import hashlib
m = hashlib.md5()
m.update(bytes(tmp, encoding='utf8'))
res = m.hexdigest()
print(res)client_md5_token = '%s|%s' %(res, client_time)data = requests.get('http://127.0.0.1:8000/getInfo/', headers = {"token":client_md5_token})print(data)
以上还存在一些问题：
client向server在五秒之内发送请求过了一关，紧接着将token发送给服务端，服务端拿到token之后进行解析认证，这是正常用户。
如果说一个黑客，在2s访问完了服务端，然后生成token
,迅速在第3s的时候截取你刚刚访问的token,然后拿到token之后不做任何处理，然后再向服务端发送请求，可以通过验证。
解决：客户端的token只能用一次就好了，在服务端只能让你访问一次token,将客户端的token存起来，如果存在数据库或者文件里面，每天如果频繁去发送的话，这个文件或数据库记录越来越多，然后之前的client_md5_token过期了就没用，所以要存在一个定期清理一些我们不需要的数据的介质里面，存在redis里面（听下回详解）
# 第一次来的时候，先去redis判断client_md5_token是否在redis中，如果在就代表已经访问过了，直接return回去
#如果不在redis第一次访问就添加到redis中并且设置过期时间：5s
总结：
1. 完善了采集端的代码： - 完善了发送 （agent 和 sshsalt的发送） class BASE():
def post_data():
requests.post(API_URL) class Agent(Base): def collectAndPost():
1. 收集服务器的信息
2. self.post_data() class SSHSalt(Base):
def collectAndPost():
1. 获取服务器主机名列表,收集服务器的信息
2. self.post_data() - 改进了sshsalt的登录并发执行： python2:
线程池 无
进程池 有 python3:
线程池 有
进程池 有2. 唯一标识的问题： 之前的方法：
sn
改进的方法：
hostname
遵守一些规则：
1. 给这些服务器分配唯一的主机名 2. 将分配好的主机名录入到后台管理的DBserver表中 3. 将采集的client客户端代码， 运行一次，
然后将得到的主机名保存到一个文件中3. API验证： 第一关：
验证时间是否超时 server_time - client_time > 3 第二关： 对数据由原来的的明文 加密成现在的密文 md5() : 不可逆的算法 sha256 sha128 第三关：
只允许 client_md5_token 只能用一次 redis：
- 速度快
- 设置超时时间 10S JWT
