张大东的个人网站 张大东的个人网站
Tags Archives Links
  • 开始使用
  • Tags
  • Archives
  • Links
  • Search
  • RSS
Kubernetes(K8s)是一个容器集群管理系统,类似 CDH 之于 hadoop 集群。容器是一种轻量的应用运行引擎,可以将程序及其需求的依赖环境打包并非常方便地运行在任何一个主流的 Linux 系统中。 概念介绍 Pod:是 k8s 创建或部署用于管理的最小基本单位。一个 Pod 可以封装一个或多个容器,包含存储资源、一个独立的网络 IP 以及管理控制容器运行方式的策略选项。

Kubernetes学习笔记(未完待续)

容器
教你直接通过 nginx 反代和 https 协议快速搭建自己的博客平台 所需组件 docker、MySQL、nginx 博客框架 solo:一款开源免费的 Java 实现的博客平台框架,采用半社区化的设计,保持个人空间的同时增加内容的流通性,可以和 GitHub 以及自家社区产生联动,和 GitHub 仓库互相备份以及通过 GitHub 账号登陆评论 lute:他家的前端 Markdown 通用接口,可以让你更好的在博客后台直接编辑自己的文章 前置步骤 申请服务器:推荐腾讯云 1 核 1G1M 即可,一个月 66 申请域名:也可以使用腾讯云申请,尽量选择常见的域名后缀,这类域名一般首年不便宜,但是后面续费差的也不大。如果选乱七八糟的域名,首年虽然便宜但是续费贵到离谱 域名备案:腾讯云小程序即可,介绍的时候不要提这是博客就行了,我写的是个人学习记录 证书申请:免费的,针对域名申请后拿到两个证书就 OK 了 Docker 先拉取镜像 docker pull b3log/solo,docker pull b3log/lute-http 博客的启动脚本可以写成脚本,方便配置好参数后手动重启和....
有更新!

快速博客搭建指南

杂项
随着硬(you)件(xi)更新换代越来越快,在这记录安装 tensorflowgpu 支持的过程概要 安装过程 确定你电脑的 GPU 型号,只支持绿卡。 安装 anaconda(可选) pip 安装 tensoflow-gpu,这一步关系到下一步的版本号 确定 GPU 型号所适配的 CUDA 版本,与 cuDNN 版本 这里讲解一下,CUDA 相当于显卡的并行计算专用驱动,cuDNN 相当于程序需要的 API 根据 tensorflow 包版本确定需要的 CUDA 版本和 cuDNN 版本 下载指定版本的 CUDA 版本包 先注册登录,然后下载指定版本的 cuDNN 开始安装 CUDA 和 cuDNN 安装 CUDA 时建议选自定义,驱动必选,因为它所需的驱动版本比你一般玩游戏需要的都要新。然后将 VS 和它的一个依赖去掉,不然会又大又慢 如果安装好了,可以在 cmd 尝试输入 1nvcc -V cuDNN 可以不叫安装,解压后可以直接覆盖到 CUDA 的安装目录下(bin,include,lib/x64),下一步的环境变量就比较好配置 配置系统环境变量 Pa....

Tensorflow安装过程

神经网络
Metis 开源项目 Metis 采用 Tsfresh 和 XGBoost 组件进行时序异常检测,采用了三个时间窗口去进行预测 特征数据格式 时间窗默认 180 分钟,数据粒度 1 分钟 数据 上一时间窗 当前时间 下一时间窗 当前时刻 A √ √ 昨日同期时刻 √ √ √ 上周同期时刻 √ √ √ 算法思路 先使用三种非监督方法进行检测,当某一方法输出异常时使用全监督的 XGBOOST 进行检测 非监督算法 Statistic 方法 3sigma 法,检测当前时刻点数值与历史数值均值相差是否大于三倍标准差 EWMA 方法 指数加权移动平均法,相比于 3sigma 法给予历史数据一个指数级递减的权重,距离当前数据点越近则权重越大 阈值为以下公式所示,其中\alpha为学习率 s_t \lt s_{avg} \pm 3 \times \sqrt {X_{avg}} \times \sqrt{\frac{\alpha}{2 - \alpha}} Polynomial Interpolation 方法 多项式回归 IForest 方法(未使用) 孤立森林方法 全....
有更新!

单指标时序异常检测学习笔记

时序异常检测
论文原文 大体框架 无监督的日志异常检测算法。 其中模板抽取是基于源码和机器码实现的,这么做工程量很大,但好处显而易见,准确率几乎 100%,并且可以识别未输出过的日志,当然这也造成了后期的一些方案仅适合其他系统。向量化阶段本论文忽略了日志消息的自然语言信息,认为其难以抽取并且信息模糊,使用了时间窗口内模板 type、状态标识符 identifier 和变量 variable 之间的比例作为向量化特征,所以本论文其实是基于统计学的频繁模式发掘的方法。通过 PCA 产生正常异常维度进行异常检测,最后使用决策树将结果可视化展示。 内容摘要 4.离线检测和可视化 4.1.特征构建 Feature Rows Columns Status ratio matrix Ys time window Status value Message count matrix Ym Identifier Message type 4.1.1.状态变量和状态比向量 作者将变量分类为标示状态的和指标变量两类,状态是指类似于 open 和 close 一类,指标则是 ID 数值类变量,这两类变....

System Problem Detection by Mining Console Logs

论文阅读
介绍式的告诉你 Kafka 分布式消息队列的主要知识框架与运行原理

简单理解Kafka的原理框架

Kafka
Solo 博客系统已经初始化完毕,可在管理后台 - 工具 - 偏好设定中调整更多细节设置。如果需要导入已有博客文章,请参考文档 Solo 支持 Hexo/Jekyll 数据导入。 对了,出于安全考虑请尽快完成如下操作: 登录链滴社区后,在个人设置 - B3 中更新 B3 Key 在 Solo 管理后台 - 工具 - 用户管理中也进行同样的 B3 Key 更新 另外,如果你需要开启评论系统,请参考 Solo 集成 Gitalk 评论系统。 最后,如果你觉得 Solo 很赞的话,请到项目主页 Watch、Star、Fork 三连 😍

世界,你好!

Solo
1
RSS 开始使用
Dadong-Zhang - 的一生

Open Source, Open Mind,
Open Sight, Open Future!
7 文章
0 浏览     1 当前访客
© 2023 张大东的个人网站
陕ICP备19018881号-2