/tags/machine-learnging/ Recent content in Machine Learnging on The Personal Website of Myosotics Hugo -- gohugo.io en-US Sat, 21 Oct 2023 00:00:00 +0000 /blog/2023-10-21-the-pac-learning-framework/ Sat, 21 Oct 2023 00:00:00 +0000 /blog/2023-10-21-the-pac-learning-framework/ 注意：此处主要参考书籍Foundations of Machine Learning PAC, 即 Probably Approximately Correct 的缩写。PAC框架根据实现近似解所需的样本点 数量、样本复杂度以及学习算法的时间和空间复杂度来帮助定义可学习概念的类别，这取决 于 concept 的计算表示的成本。 The PAC learning model 基本符号： $\mathcal{X}$：所有可能的 examples 或者 instances 的集合，也被称作 input space。 $\mathcal{y}$: 所有可能的 labels 或者 target values 的集合。此处方便计，讨论二 分类问题，即 $$\mathcal{y}=\{0,1\}.$$ concept $c: \mathcal{X} \rightarrow \mathcal{y}$，是从$\mathcal{X}$到$\mathcal{y}$的映射。考虑到所有映射结果为1的相应 的定义域，即$\mathcal{X}$的子集，可以唯一确定一个 concept, 故我们有时也可以用$\mathcal{X}$ 的子集来表示 concept。 concept class: 我们希望学习的 concept 的集合，记作$\mathcal{C}$。可以理解为所有 concept 的集合。 训练任务的抽象描述： 假设样本独立同分布来自于固定但未知的分布$\mathcal{D}$。机器学习问题陈述如下，考虑一些 concepts 的集合$\mathcal{H}$, 即 hypothesis set, 这些集合可能与$\mathcal{C}$ 不一致。给定一组来自分布$\mathcal{D}$的独立同分布样本$S=(x_1,\cdots, x_m)$， 其标签相应为$(c(x_1), \cdots, c(x_m))$，其中$c\in\mathcal{C}$为一个我们要去 学习的 concept。任务便是使用带有标签的样本$S$，从$\mathcal{H}$选取 generalization error 最小的 concept。 /blog/2023-10-17-np-p-npc-np-hard/ Tue, 17 Oct 2023 00:00:00 +0000 /blog/2023-10-17-np-p-npc-np-hard/ 注意NP、P、NPC、NP-hard 概念大部分参考知乎：https://zhuanlan.zhihu.com/p/235301347. 图灵机1 图灵机是一个模拟算法运行的抽象机器，定义如下： 有一个无限长度的磁带，这个磁带被分成了一个接一个的单元格，磁带被用于写入字母和符号。 一个读写磁带的磁头，这个磁头负责控制堆磁带的写入和左右移动。 一个状态寄存器，用来存储图灵机的状态。 一个指令表，可以根据机器当前所处的状态和磁带上当前的符号，指示机器进行特定的操作。比如：擦除或者写入一个符号、向左或者向右移动磁头。 确定图灵机和非确定图灵机 在确定性图灵机（DTM）中，其控制规则规定了在任何给定情况下最多只能执行一个动作。在理论计算机科学中，非确定性图灵机（NTM）是一种理论计算模型，其控制规则在某些给定情况下指定了多个可能的动作。 也就是说，NTM的下一个状态不是完全由其动作和它所看到的当前符号决定的（不同于确定性图灵机）。 Note：任何NDTM可以转换为DTM(反之亦然)，即二者虽然运行时不同，但最终结果等价。 NP问题 定义 非确定型图灵机在多项式时间内可以找到解的问题，简单说就是可以在多项式时间里验证一个解的问题。 延伸 P问题属于NP问题，但P问题是否等于NP问题，目前仍然是一个世界难题。 P问题 定义 确定型图灵机在多项式时间内可以解决的问题，简单说就是可以在多项式时间里解决的问题。 延伸 一般来说，P问题在生活中更有意义。因为可以在多项式时间里解决就意味着问题复杂度不会随着数据规模的扩大而指数爆炸，在生活中更容易被解决。 约化(Reducibility) 定义 A问题可以约化成B问题，代表可以用B问题的解法解决A问题。如“求解一元一次方程” 问题可以约化成 “求解一元二次方程” 问题，只需要令 “求解一元二次方程” 问题中二次项系数为 即可解决 “求解一元一次方程” 问题。 延伸 约化的过程是难度升级的过程，且约化具有传递性。 NP-complete 问题(NPC) 定义 NPC问题即为所有NP问题可以约化到的一个问题，是所有NP问题中最复杂的问题。NPC问题满足条件： 该问题是一个NP问题； 该问题可以由一个已知的NPC问题约化到它。 第一个NPC问题是逻辑电路问题。 NP-hard 问题 定义 NP-hard 问题即满足NPC问题的第二个条件，但不一定满足第一个条件，因此NP-hard要比NPC问题范围更广，NP-hard问题不一定是NP问题。 此处大部分参考知乎：https://zhuanlan.zhihu.com/p/364080272. ↩︎ /blog/2023-10-10-a-review-of/ Tue, 10 Oct 2023 00:00:00 +0000 /blog/2023-10-10-a-review-of/ 摘要 英文原文 Computer applications have considerably shifted from single data processing to machine learning in recent years due to the accessibility and availability of massive volumes of data obtained through the internet and various sources. Machine learning is automating human assistance by training an algorithm on relevant data. Supervised, Unsupervised, and Reinforcement Learning are the three fundamental categories of machine learning techniques. In this paper, we have discussed the different learning styles used in the field of Computer vision, Deep Learning, Neural networks, and machine learning.