机器学习第5讲——K近邻
概述——一种基本分类和回归方法 K近邻算法,即给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例,这K个实例的多数属于某个类,就把该输入实例分类到这个类中。 k = 3, 选择绿圆最近的3个点,其被分为红三角; k = 5, 同理,则被分为蓝方。 基本思想 基于某种近邻索引方法找出训练样本集中与其最靠近的K个样本...
概述——一种基本分类和回归方法 K近邻算法,即给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例,这K个实例的多数属于某个类,就把该输入实例分类到这个类中。 k = 3, 选择绿圆最近的3个点,其被分为红三角; k = 5, 同理,则被分为蓝方。 基本思想 基于某种近邻索引方法找出训练样本集中与其最靠近的K个样本...
决策树的表示 基本组成:决策节点,分支,叶子 根节点:决策树中最上面的节点 每个分支是一个新的决策结点,或者是树的叶子节点 分裂策略 基于离散特征的分裂方法 基于连续特征的分裂方法 决策树CLS算法 早期的决策树学习算法,是许多决策树学习算法的基础。 基本思想 从一棵空决策树开始,选择某一属性(分类属...
递进关系(from youtube) 从边缘两个样本的中点划分,则margin最大(左移会使离左边变小,右移同理),这种分类为:**Maximal Margin Classifier ** 但是,这种分类对训练中的异常数据非常敏感: 这种情况,如果允许右边一个错误分类,会在测试集上效果更好,此时margin称为Soft Margin: ...
线性模型 最小二乘法(least square method): 参数/模型估计 MSE(Mean Squared Error, 均方误差):有全局最优解和封闭解 使MSE最小: 先求出b, 求w时,将和展开,将b用求出的结果代替即可 最小二乘法的概率解释 ...
分类 有无标记信息: 监督学习(Supervised Learning):分类、回归; 无监督学习(Unsupervised Learning):聚类(Clustering)、关联(Association)、降维(Dimensionality Reduction); 半监督学习(Semi-supervised Learning):两者结合,只标记数据集中的一部分,而不是标记...
先对y拉伸(上下),再对x拉伸(左右) 标量对向量求导: 向量对向量求导: 向量对矩阵求导: BP实例:
在深度学习中,优化器被用来调整模型的参数。优化器的目的是调整模型权重以最小化损失函数。 优化函数位于torch.optim包下 1.1 随机梯度下降算法——SGD torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False) params (iterable) – ...
代码链接:https://github.com/hhhi21g/XinAnBei/blob/main/heart/PCA/demo2.py 目前代码相当冗余,暂时仅考虑功能性 所需import: import librosa import numpy as np 1. 从wav心音文件中提取MFCC(梅尔频率倒谱系数)特征 def extract_features_with_mf...
CardioCam: Leveraging Camera on Mobile Devices to Verify Users While Their Heart is Pumping 论文链接:https://dl.acm.org/doi/10.1145/3307334.3326093 PCA(主成分分析): 机器学习中无监督学习的一种降维算法 将高维数据映射到低维空间,通过数据投影的...
第十一届蓝桥杯大赛软件赛省赛Java大学A组 1. 门牌制作 624 2. 既约分数 package lanQ11; public class l2 { public static void main(String[] args) { int res = 0; for (int i = 1; i <= 2020; i...