早告诉你了吧
A place to tell the truth, the whole truth and nothing but the truth.
推荐文章
hadoop与大数据

如何使用docker搭建hadoop的cdh版本单节点伪集群开发测试环境

前言 docker 是一个容器化技术的程序。不仅适用于微服务集群部署,而且作为开发者个人使用,也是十分方便的,比如我们可以快速安装数据库,缓存等中间件,丝毫不影响物理机的系统环境,不会因为卸载,更新等,带来不可预知的问题,也减少了重装系统的可能性。 在容器化技术,docker 一直走在前列,docker 是用 go 语言编写的一个容器平台,他的基本单位是容器,每个容器就像一个独立的操作系统一样

阅读更多
python

利用python写一个爬虫爬取京东商品评论分析情感倾向并绘制词云

问题陈述 近年来,网上购物已经越来越流行,人们对于评论一个商品的行为习惯也多多少少受到商家的影响。 类似于这样的好评请求,好心的消费者由于见惯了,渐渐的就形成了好评的习惯。一味好评,会拉高商品的好评率,但是这对于新客户来说是非常具有误导性的,可能会让他们买了不好的产品。 京东

阅读更多
机器学习

机器学习tensorflow-keras之如何优雅的从上次断掉的地方继续训练

前言 在机器学习的场景中,训练数据经常会特别大,训练可能要持续好几天甚至上周。如果中途机器断电或是发生意外不得不中断训练过程,那就得不偿失。 使用keras 高阶API,可以很简单的保存训练现场,可以让我们很容易的恢复到上次落下的地方继续训练。 思路 存在两个巨大的问题:

阅读更多
架构设计

一文读懂什么是serverless和它的重要性

前一阵子,我在公司实习的时候,给小组内做了这样一个分享,今天终于有时间,整理出来。变成一片文章,与您分享。内容是我初次探索 Serverless 架构学习到的一些知识,如有错误的地方,希望您能指出。谢谢。 1. 前言 语言的进化、浏览器的进化、服务器的进化,都是从复杂到简单,底层到封装的过程,而 Serverless 是后端 + 运维作为一个整体的进一步封装的过程,是把运维“外包”出去的服务

阅读更多
spark与大数据

中英双语论文解析:Mining Frequent Patterns without Candidate Generation(挖掘没有候选者生成的频繁模式)

Abstract 摘要 Mining frequent patterns in transaction databases, time-series databases, and many other kinds of databases has been studied po

阅读更多
go1.18泛型探索与总结 go1.18泛型探索与总结
本文内容参考自 https://go.googlesource.com/proposal/+/refs/heads/master/design/43651-type-parameters.md 俯瞰 长这样 func F[T any](p T) { var a T} 类型参数(type parameters)可以在参数和函数体中使用 type 也可以有类型参
2022-05-03
JVM垃圾回收机制知识点 JVM垃圾回收机制知识点
堆为什么要分成年轻代和老年代? 因为年轻代和老年代不同的特点,需要采用不同的垃圾回收算法。 年轻代的对象,它的特点是创建之后很快就会被回收,所以需要用一种垃圾回收算法; 老年代的对象,它的特点是需要长期存活,所以需要另外一种垃圾回收算法; 所以需要分成两个区域来放不同的对象。 绝大多数对象都是朝生夕灭的; 如果一个区域中大多数对象都是朝生夕灭,那么把它们集中放在一起,每次回收时只关注如何保
2021-11-13
JVM内存管理知识点 JVM内存管理知识点
Java代码到底是如何运行起来的? Mall.java -->javac --> Mall.class --> java Mall (jvm进程,也就是一个jvm虚拟机) Mall.java -->javac–>Mall.class -->Mall.jar --> java -jar Mall.jar Mall.java --> javac --
2021-11-13
JVM类加载机制知识点 JVM类加载机制知识点
Java运行时一个类是什么时候被加载的? 一个类在什么时候开始被加载,《Java虚拟机规范》中并没有进行强制约束,交给了虚拟机自己去自由实现,HotSpot虚拟机是按需加载,在需要用到该类的时候加载这个类。 使用 -XX:+TraceClassLoading 开启追踪类加载的细节。 JVM一个类的加载过程? 一个类从加载到jvm内存,到从jvm内存卸载,它的整个生命周期会经历7个阶段: 加
2021-11-13
Synchronized关键字分析 Synchronized关键字分析
是关键字 是同步锁 不能被继承,子类中必须显式地加上 synchronized 关键字 修饰 锁类型 称为 作用范围 作用对象 代码块 对象锁 同步语句块 大括号{} 括起来的代码 调用这个代码块的对象 方法 对象锁 同步方法 整个方法 调用这个方法的对象 静态方法 全局锁 同步静态方法 整个静态方法 这个类的所有对象 类 全局锁 同步语句块 大括号{} 括起来的代码
2021-11-08
用户线程和守护线程 用户线程和守护线程
进程与线程 进程(Process)是系统进行资源分配和调度的基本单位,是线程的容器。 线程(thread) 是操作系统能够进行运算调度的最小单位,被包含在进程之中。一条线程指的是进程中一个单一顺序的控制流, 一个进程中可以并发多个线程,每条线程并行执行不同的任务。 线程状态枚举 NEW RUNNABLE BLOCKED WAITING TIMED_WATING TERMINATED wait
2021-11-08
Zookeeper知识点 Zookeeper知识点
介绍 Zookeeper Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目。 Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper 就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。 Zookeepe
2021-11-07
CAP一致性理论 CAP一致性理论
CAP一致性理论 CAP理论告诉我们,一个分布式系统不可能同时满足以下三种 一致性(C: Consistency) 可用性(A: Availability) 分区容错性(P: Partition Tolerance) 这三个基本需求,最多只能同时满足其中的两项,因为P是必须的,因此往往选择就在CP或者AP中。 一致性(C: Consistency) 在分布式环境中,一致性是指数
2021-11-07
基于 Rancher Kubernetes 1.17.17 搭建 Kubeflow 1.3 机器学习平台 基于 Rancher Kubernetes 1.17.17 搭建 Kubeflow 1.3 机器学习平台
基于 Rancher Kubernetes 1.17.17 搭建 Kubeflow 1.3 机器学习平台 假设机器上有 NVIDIA GPU,且已经安装高版本驱动。 安装 docker 安装过程参考[1] yum -y install yum-utils && \yum-config-manager --add-repo=https://download.docker.com/
2021-05-25
(十)BERT 是 Transformer 的 Encoder 而已 (十)BERT 是 Transformer 的 Encoder 而已
BERT (Bidirectional Encoder Representations from Transformers) Bert 是 Transformer 的 Encoder 预训练模型,训练技巧是:预测文本中被遮挡的单词,预测两个句子是否是原文中相邻的句子。 预测文本中被遮挡的单词 eee:被遮挡单词 cat 的 one-hot 向量 ppp:被遮挡的地方输出的概率分布 Loss
2021-01-17
(九)Transformer 模型,最牛皮的模型 (九)Transformer 模型,最牛皮的模型
Transformer 模型 Transformer 是一种 Seq2Seq 模型 Transformer 不是 RNN Transformer 只有 Attention 和 Dense 层 Transformer 在 NLP 完爆其他模型 剥离 RNN,保留 Attention Attention Encoder 端的输入 x1,x2,…,xm\bold x_1,\bold x_2,\d
2021-01-17
1 / 8