厌女（增订本） 在微信读书中阅读 绝叫（同名日剧原著） 在微信读书中阅读 图解HTTP 在微信读书中阅读 宇宙无事发生 在微信读书中阅读 白帽子讲Web安全（纪念版） 在微信读书中阅读 乡村教师（电影《疯狂的外星人》原著） 在微信读书中阅读 GPT图解 大模型是怎样构建的 在微信读书中阅读 三体前传：球状闪电 在微信读书中阅读 林家铺子（轻经典） …
我的微信读书书架
利用Spark Streaming、Kafka进行实时数据分析——以淘宝双11数据为例
环境部署 相关环境部署的笔记如下： zookeeper和spark安装：在zookeeper上搭建Spark集群的小笔记 kafka安装和使用：kafka学习笔记 sbt下载和安装：Linux无坑安装sbt 项目主要架构 数据总体上可以分为静态数据和流数据。对静态数据和流数据的处理，对应着两种截然不同的计算模式：批量计算和实时计算。批量计算以“静态…
简单讲讲Mapreduce的Shuffle过程
引言 虽然我们编写Mapreduce程序只需着眼于编写Map端的map函数和Reduce端的reduce函数，但Shuffle过程是Mapreduce工作流程的核心环节，理解Shuffle过程是我们理解Mapreduce工作流程的核心关键。 Mapreduce的简要工作流程可看下图 从图中我们可以看出Mapreduce的工作流程分为Map、Shuf…
关于区块链的创新技术
区块链技术源于2008年一位署名为“中本聪”的学者发表的论文《比特币：一种点对点电子现金系统》。时至今日，“中本聪”的真实身份仍然无人知晓，但区块链的江湖一直有他的传说，由其奠基的区块链技术火爆全球。 何为区块链，人们提到区块链会想到近年火爆的比特币，心里会不自觉地把区块链和比特币挂钩，但区块链并不等于比特币，比特币只是区块链技术应用的一个子集。区…
JVM G1垃圾回收器详细解析
G1内存布局 Garbage First(简称G1)收集器摒弃了传统垃圾收集器的严格的内存划分，而是采用了基于Region的内存布局形式和局部回收的设计思路。 G1垃圾收集器把Java堆划分为2048个大小相等的独立的Region，每个Region大小取值范围为1-32MB，且必须为2的N次幂参数，可以通过-XX:G1HeapRegionSize设…
西西弗斯的画布：生命空白处的自我赋形
人们看到“空白”会联想到空白的纸张，空空如也的桌面，人们认知中的“空白”的形容词似乎是用来修饰二维平面的，当“空白”用来修饰抽象且带有哲学气息的“生命”这个词时又该怎么理解呢？ 生命作为人从降生和死亡这一段时光的概括，生命的空白可以理解为：生不带来，死不带去，换言之即是：人从虚无中来，也必然要回到虚无中去。 人来到这个世界上，并非自己的意愿，并非本…
SQL注入笔记
SQL注入：一种常见的Web安全漏洞，形成的主要原因是web应用程序在接收相关数据参数时未做好过滤，将其直接带入到数据库中查询，导致攻击者可以拼接执行构造的SQL语句。 SQL注入的几个步骤： 1.寻找可能的注入点：页面存在传值或者查询的地方，比如URL中的GET型传参，也比如页面中的以POST方法发送数据的搜索框。 2.判断是字符型还是数字型注入…
Java版——设计模式笔记
设计模式的分类 创建型模式（Creational）：关注对象的实例化过程，包括了如何实例化对象、隐藏对象的创建细节等。常见的创建型模式有单例模式、工厂模式、抽象工厂模式等。 结构型模式（Structural）：关注对象之间的组合方式，以达到构建更大结构的目标。这些模式帮助你定义对象之间的关系，从而实现更大的结构。常见的结构型模式有适配器模式、装饰器…
物体识别基本原理及其Python实现
概述 物体识别（Object recognition）是一个通用术语，描述一组相关的计算机视觉任务，涉及识别图像中的物体。 图像分类涉及预测图像中一个对象的类别，对象定位是指识别图像一个或多个对象的位置，并在其周围绘制边框。物体识别将这两种任务结合起来，对图像中的一个或多个对象进行定位和分类，所以当人们提到物体检测或者目标检测时，其实指的是物体识别…
基于ALS的音乐分析及离线推荐系统的设计与实现
摘要 在互联网时代，各类的音乐网站提供了成千上万的需求，满足了人们对于音乐的需求，让我们在通勤出行或者闲暇之余可以听到各种不同类型的音乐。而通过分析挖掘海量的历史音乐欣赏记录和用户数据，我们得以窥见消费者选择音乐背后的动机，并可以揭示特定人群的“音乐DNA”。这能够启发强大的营销战略，能够给音乐运营商带来极富价值的数据。而数字音乐的迅速发展造成了音…