/categories/note/ Recent content in Note on The Personal Website of Myosotics Hugo -- gohugo.io en-US Fri, 16 Aug 2024 00:00:00 +0000 /blog/2024-08-16-the-moreau-decomposition-property-of-proximal-operators/ Fri, 16 Aug 2024 00:00:00 +0000 /blog/2024-08-16-the-moreau-decomposition-property-of-proximal-operators/ 对于 The Moreau Decomposition Property of Proximal Operators，首先给出其描述如下： 给定 proximal operator $$ \mathrm{prox}_{h}(x)=\mathop{\mathrm{argmin}}_\limits{u}\ h(u)+\frac12\lVert u-x \rVert^2_2, $$ 相应 Moreau decomposition property 为 $$ x=\mathrm{prox}_{h}+\mathrm{prox}_{ h^{ \ast }}(x), $$ 其中 $h^\ast$ 为 $h$ 的共轭函数，即 $$ h^\ast(x) = \sup_{u\in \mathrm{dom}(h)}{<u,x>-h(u)} $$ 相应给出其证明如下： 定义 $u=\mathrm{prox}_h(x)$ 和 $v = x-u$。 由邻近算子的定义，可知： $$ x-u\in\partial h(u), $$ 故 $v\in\partial h(u)$。下面只需说明 $u=x-v\in\partial h^\ast(v)$，结论$v=\mathrm{prox}_{h^\ast}(x)$ 即成立。 下面说明 $u=x-v\in\partial h^\ast(v)$，证明过程参考：https://math.stackexchange.com/questions/693687/proof-of-the-moreau-decomposition-property-of-proximal-operators 假设 $v\in\partial h(u)$，则有 $$ h(x)\geqslant h(u)+<v,x-u>\quad \text{for all }x,\tag{1}\label{1} $$ 从而在 $u$ 处存在给定斜率 $v$ 的函数 $h$ 的 affine minorant。 /blog/2023-10-22-latex-beamer/ Sun, 22 Oct 2023 00:00:00 +0000 /blog/2023-10-22-latex-beamer/ 导言区 \documentclass{beamer}用以规定文档的类型 beamer 。 参考文献格式设置 \usepackage[citestyle=authoryear,bibstyle=numeric,sorting=ynt]{biblatex}: 即为 引用biblatex包。对于citestyle=authoyear 这里主要解释如下代码： \documentclass{beamer} % 中文文档，字体，数学，画图包 \usepackage{ctex, hyperref} \usepackage[T1]{fontenc} \usepackage{latexsym,amsmath,xcolor,multicol,booktabs,calligra} \usepackage{graphicx,pstricks,listings,stackengine} \usepackage{SUFE} % SUFE.sty % 参考文献格式和源 \usepackage[citestyle=authoryear,bibstyle=numeric,sorting=ynt]{biblatex} \addbibresource{ref.bib} % 标题页内容 \author[Peijie Fang, Stefan]{方培杰\inst{1} \and 杰培方\inst{2}} % 中括号内为简略名，于底栏显示 \title[SUFE Template]{上海财经大学Beamer模板} \subtitle{上海财经大学Beamer模板} \institute[SUFE] % (optional) { \inst{1}上海财经大学金融学院 \and \inst{2}西安交通大学金禾经济研究中心 } \date[Pre Date]{\today} \begin{document} \kaishu \begin{frame} \titlepage % 显示 \begin{figure}[htpb] % logo \begin{center} \includegraphics[width=0.2\linewidth]{pic/SUFE_Logo.eps} \end{center} \end{figure} \end{frame} \begin{frame} % 设置目录格式，后面每有一个section，本页就会自动显示出来 \tableofcontents[sectionstyle=show,subsectionstyle=show/shaded/hide,subsubsectionstyle=show/shaded/hide] \end{frame} \section{课题背景} \begin{frame}{Beamer简易入门} \begin{itemize}[<+-| alert@+>] % 当然，除了alert，手动在里面插 \pause 也行 \item 很多学校都有自己的Beamer主题 \item 但是上海财经大学没有 \item 中文支持请选择 Xe\LaTeX{} 编译选项 \item \href{http://tug. /blog/2023-10-21-the-pac-learning-framework/ Sat, 21 Oct 2023 00:00:00 +0000 /blog/2023-10-21-the-pac-learning-framework/ 注意：此处主要参考书籍Foundations of Machine Learning PAC, 即 Probably Approximately Correct 的缩写。PAC框架根据实现近似解所需的样本点 数量、样本复杂度以及学习算法的时间和空间复杂度来帮助定义可学习概念的类别，这取决 于 concept 的计算表示的成本。 The PAC learning model 基本符号： $\mathcal{X}$：所有可能的 examples 或者 instances 的集合，也被称作 input space。 $\mathcal{y}$: 所有可能的 labels 或者 target values 的集合。此处方便计，讨论二 分类问题，即 $$\mathcal{y}=\{0,1\}.$$ concept $c: \mathcal{X} \rightarrow \mathcal{y}$，是从$\mathcal{X}$到$\mathcal{y}$的映射。考虑到所有映射结果为1的相应 的定义域，即$\mathcal{X}$的子集，可以唯一确定一个 concept, 故我们有时也可以用$\mathcal{X}$ 的子集来表示 concept。 concept class: 我们希望学习的 concept 的集合，记作$\mathcal{C}$。可以理解为所有 concept 的集合。 训练任务的抽象描述： 假设样本独立同分布来自于固定但未知的分布$\mathcal{D}$。机器学习问题陈述如下，考虑一些 concepts 的集合$\mathcal{H}$, 即 hypothesis set, 这些集合可能与$\mathcal{C}$ 不一致。给定一组来自分布$\mathcal{D}$的独立同分布样本$S=(x_1,\cdots, x_m)$， 其标签相应为$(c(x_1), \cdots, c(x_m))$，其中$c\in\mathcal{C}$为一个我们要去 学习的 concept。任务便是使用带有标签的样本$S$，从$\mathcal{H}$选取 generalization error 最小的 concept。 /blog/2023-10-17-np-p-npc-np-hard/ Tue, 17 Oct 2023 00:00:00 +0000 /blog/2023-10-17-np-p-npc-np-hard/ 注意NP、P、NPC、NP-hard 概念大部分参考知乎：https://zhuanlan.zhihu.com/p/235301347. 图灵机1 图灵机是一个模拟算法运行的抽象机器，定义如下： 有一个无限长度的磁带，这个磁带被分成了一个接一个的单元格，磁带被用于写入字母和符号。 一个读写磁带的磁头，这个磁头负责控制堆磁带的写入和左右移动。 一个状态寄存器，用来存储图灵机的状态。 一个指令表，可以根据机器当前所处的状态和磁带上当前的符号，指示机器进行特定的操作。比如：擦除或者写入一个符号、向左或者向右移动磁头。 确定图灵机和非确定图灵机 在确定性图灵机（DTM）中，其控制规则规定了在任何给定情况下最多只能执行一个动作。在理论计算机科学中，非确定性图灵机（NTM）是一种理论计算模型，其控制规则在某些给定情况下指定了多个可能的动作。 也就是说，NTM的下一个状态不是完全由其动作和它所看到的当前符号决定的（不同于确定性图灵机）。 Note：任何NDTM可以转换为DTM(反之亦然)，即二者虽然运行时不同，但最终结果等价。 NP问题 定义 非确定型图灵机在多项式时间内可以找到解的问题，简单说就是可以在多项式时间里验证一个解的问题。 延伸 P问题属于NP问题，但P问题是否等于NP问题，目前仍然是一个世界难题。 P问题 定义 确定型图灵机在多项式时间内可以解决的问题，简单说就是可以在多项式时间里解决的问题。 延伸 一般来说，P问题在生活中更有意义。因为可以在多项式时间里解决就意味着问题复杂度不会随着数据规模的扩大而指数爆炸，在生活中更容易被解决。 约化(Reducibility) 定义 A问题可以约化成B问题，代表可以用B问题的解法解决A问题。如“求解一元一次方程” 问题可以约化成 “求解一元二次方程” 问题，只需要令 “求解一元二次方程” 问题中二次项系数为 即可解决 “求解一元一次方程” 问题。 延伸 约化的过程是难度升级的过程，且约化具有传递性。 NP-complete 问题(NPC) 定义 NPC问题即为所有NP问题可以约化到的一个问题，是所有NP问题中最复杂的问题。NPC问题满足条件： 该问题是一个NP问题； 该问题可以由一个已知的NPC问题约化到它。 第一个NPC问题是逻辑电路问题。 NP-hard 问题 定义 NP-hard 问题即满足NPC问题的第二个条件，但不一定满足第一个条件，因此NP-hard要比NPC问题范围更广，NP-hard问题不一定是NP问题。 此处大部分参考知乎：https://zhuanlan.zhihu.com/p/364080272. ↩︎