/blog/ Recent content in Blog on The Personal Website of Myosotics Hugo -- gohugo.io en-US Fri, 16 Aug 2024 00:00:00 +0000 /blog/2024-08-16-the-moreau-decomposition-property-of-proximal-operators/ Fri, 16 Aug 2024 00:00:00 +0000 /blog/2024-08-16-the-moreau-decomposition-property-of-proximal-operators/ 对于 The Moreau Decomposition Property of Proximal Operators，首先给出其描述如下： 给定 proximal operator $$ \mathrm{prox}_{h}(x)=\mathop{\mathrm{argmin}}_\limits{u}\ h(u)+\frac12\lVert u-x \rVert^2_2, $$ 相应 Moreau decomposition property 为 $$ x=\mathrm{prox}_{h}+\mathrm{prox}_{ h^{ \ast }}(x), $$ 其中 $h^\ast$ 为 $h$ 的共轭函数，即 $$ h^\ast(x) = \sup_{u\in \mathrm{dom}(h)}{<u,x>-h(u)} $$ 相应给出其证明如下： 定义 $u=\mathrm{prox}_h(x)$ 和 $v = x-u$。 由邻近算子的定义，可知： $$ x-u\in\partial h(u), $$ 故 $v\in\partial h(u)$。下面只需说明 $u=x-v\in\partial h^\ast(v)$，结论$v=\mathrm{prox}_{h^\ast}(x)$ 即成立。 下面说明 $u=x-v\in\partial h^\ast(v)$，证明过程参考：https://math.stackexchange.com/questions/693687/proof-of-the-moreau-decomposition-property-of-proximal-operators 假设 $v\in\partial h(u)$，则有 $$ h(x)\geqslant h(u)+<v,x-u>\quad \text{for all }x,\tag{1}\label{1} $$ 从而在 $u$ 处存在给定斜率 $v$ 的函数 $h$ 的 affine minorant。 /blog/2023-12-14-a-variational-approach-to-sparsity-optimization-based-on-lagrange-multiplier-theorey/ Thu, 14 Dec 2023 00:00:00 +0000 /blog/2023-12-14-a-variational-approach-to-sparsity-optimization-based-on-lagrange-multiplier-theorey/ 论文索引：Kong, X., Wang, X., & Zheng, W. (2023). Asymptotic distributions of a new type of design-based incomplete U-statistics. Stat, 12(1), e543.https://doi.org/10.1002/sta4.54 Orthogonal Array 定义：正交阵列 (Orthogonal Array) 是一类组合设计，设$A$是$L$元集$X$上的$m\times d$矩阵，若对任意$t(2≤t≤k)$列所构成的子矩阵，$X$上的每一个$t$元排列作为子矩阵的行各出现$λ$次，则称$A$为大小$m$，约束数$d$，水平数$L$，强度$t$和指数$λ$的正交阵列，在试验设计中称正交表，记为$OA(m,d,L,t)$，由定义有$m=λL^t$。 /blog/2023-11-10-portfolio-selection-with-feature-screening/ Fri, 10 Nov 2023 00:00:00 +0000 /blog/2023-11-10-portfolio-selection-with-feature-screening/ 算法和代码均来自文章：Jin-Hong Du, Yifeng Guo & Xueqin Wang (2023) High-Dimensional Portfolio Selection with Cardinality Constraints, Journal of the American Statistical Association, 118:542, 779-791, DOI: 10.1080/01621459.2022.2133718. 首先加載reticulate包，方便在Rmarkdown中使用Python。 library(reticulate) ## Warning: 程辑包'reticulate'是用R版本4.1.3 来建造的 use_python('E:/software/Program Files/python3.11.0') 一个小测试 构建一个数据集用来测试 import numpy as np n = 20 d = 100 np.random.seed(0) X = np.random.rand(n,d) + 0.5 X.shape ## (20, 100) from spo import spo_l1_path ws, lambdas, gaps, n_iters, n_active_features = spo_l1_path(X, func=0, n_lambdas=50, screen=True, max_iter=int(1e4), f=200, tol=1e-3) ## 0%| | 0/50 [00:00<? /blog/2023-10-27-2023-10-21-multi-instance-learning-a-survey-1/ Fri, 27 Oct 2023 00:00:00 +0000 /blog/2023-10-27-2023-10-21-multi-instance-learning-a-survey-1/ 摘要 英文原文 In multi-instance learning, the training set comprises labeled bags that are composed of unlabeled instances, and the task is to predict the labels of unseen bags. This paper provides a survey on this topic. At first, it introduces the origin of multi-instance learning. Then, developments on the study of learnability, learningal gorithms, applications and extensions of multi-instance learning are reviewed. In particular, this paper employs a unified view to look into multi-instance learning algorithms. /blog/2023-10-27-2023-10-21-multi-instance-learning-a-survey-2/ Fri, 27 Oct 2023 00:00:00 +0000 /blog/2023-10-27-2023-10-21-multi-instance-learning-a-survey-2/ 上接：Multi-Instance Learning: A Survey Learning Algorithm supervised learning 和 multi-instance learning 的主要区别是能否(较好地)识别instances。 目前大部分现存的 multi-instance learning 算法均是从 supervised learning algorithm 改进而得到的：将 supervised learning algorithms 的 focuses 从识别 instances 转移到 识别 bags。此处主要介绍检验了五种算法。 Diverse Density Diverse Density 算法将每个 bag 当作一个包含许多特征向量(instance)的 manifold，并 且假定一个新的 positive bag 与所有 positive 的 feature-manifolds 相关，而与 negative feature-manifolds 不相关。目标是计算一个点在 feature space 中的 maximum diverse density。 给定一个数据集$D$和一组类别标签$C=\{c_1,c_2,\cdots,c_t\}$去预测，在假定 $P_r(D)$为常数和$c_k$服从均匀分布的基础上，利用 Bayes rule，标签的后验概率计算 为 \begin{equation} \begin{aligned} Obj &=Pr(C|D)]\\ &\propto \mathop{\arg \max}\limits_{1\leqslant k\leqslant t}P_r(D|c_k) \end{aligned}\tag{1} \end{equation} 公式 (1) 在目标是区分 instances 时已经足够，但是对于区分 bag 时，需要考虑 $D = \{B_1^+,\cdots,B_m^+,B^-_1,\cdots,B_n^-\}$，其中$B_i^+$和$B_j^-$分别表示 第$i$个 positive bag 和第$j$个 negative bag。在假定 bag 间是条件独立的基础上， 再次利用 Bayes rule，公式(1)进一步得到如下： \begin{equation} Obj = \mathop{\arg\max}\limits_{1\leqslant k\leqslant t} \prod_{1\leqslant i\leqslant m}Pr(c_k|B^+_i) \prod_{1\leqslant j\leqslant n} Pr(c_k|B_j^{-})\notag \end{equation} /blog/2023-10-22-latex-beamer/ Sun, 22 Oct 2023 00:00:00 +0000 /blog/2023-10-22-latex-beamer/ 导言区 \documentclass{beamer}用以规定文档的类型 beamer 。 参考文献格式设置 \usepackage[citestyle=authoryear,bibstyle=numeric,sorting=ynt]{biblatex}: 即为 引用biblatex包。对于citestyle=authoyear 这里主要解释如下代码： \documentclass{beamer} % 中文文档，字体，数学，画图包 \usepackage{ctex, hyperref} \usepackage[T1]{fontenc} \usepackage{latexsym,amsmath,xcolor,multicol,booktabs,calligra} \usepackage{graphicx,pstricks,listings,stackengine} \usepackage{SUFE} % SUFE.sty % 参考文献格式和源 \usepackage[citestyle=authoryear,bibstyle=numeric,sorting=ynt]{biblatex} \addbibresource{ref.bib} % 标题页内容 \author[Peijie Fang, Stefan]{方培杰\inst{1} \and 杰培方\inst{2}} % 中括号内为简略名，于底栏显示 \title[SUFE Template]{上海财经大学Beamer模板} \subtitle{上海财经大学Beamer模板} \institute[SUFE] % (optional) { \inst{1}上海财经大学金融学院 \and \inst{2}西安交通大学金禾经济研究中心 } \date[Pre Date]{\today} \begin{document} \kaishu \begin{frame} \titlepage % 显示 \begin{figure}[htpb] % logo \begin{center} \includegraphics[width=0.2\linewidth]{pic/SUFE_Logo.eps} \end{center} \end{figure} \end{frame} \begin{frame} % 设置目录格式，后面每有一个section，本页就会自动显示出来 \tableofcontents[sectionstyle=show,subsectionstyle=show/shaded/hide,subsubsectionstyle=show/shaded/hide] \end{frame} \section{课题背景} \begin{frame}{Beamer简易入门} \begin{itemize}[<+-| alert@+>] % 当然，除了alert，手动在里面插 \pause 也行 \item 很多学校都有自己的Beamer主题 \item 但是上海财经大学没有 \item 中文支持请选择 Xe\LaTeX{} 编译选项 \item \href{http://tug. /blog/2023-10-21-latex/ Sat, 21 Oct 2023 00:00:00 +0000 /blog/2023-10-21-latex/ 导言区 \documentclass{beamer}用以规定文档的类型 beamer 。 class 指定想要的文档类型， 通过 options 参数可以定制文档类的属性，不同的选项之间必须用逗号隔开。 # 源格式 \documentclass[option]{class} # 模板格式 \documentclass[hyperref,UTF8,11pt]{beamer} 11pt是设置文档中所使用字体大小，默认为10pt；UTF-8是设置编码；引入hyperref 后再编译文档时，会根据章节结构，自动生成目录结构的文档标签，同时，正文中的目录和 所有交叉引用，都会自动生为超链接，可以用鼠标点击跳转到引用位置，这是hyperref宏 包在此类文档中的一个缩用。 \usepackage{}是加载宏包 \setbeamersize{}，调整左右两侧的页边距。注意 beamer 幻灯片的尺寸是$128mm \times 96mm$ ， 这个尺寸固定无法修改，但左右两侧的页边距可以修改。此处0.042\paperwidth是指整个 页面纸张paperwith的宽度的$4.2\%$。 \setbeamersize{text margin left=0.042\paperwidth,text margin right=0.042\paperwidth} hyperref宏包用以实现超链接功能，涉及的链接遍布LATEX的每一个角落——目录、 引用、脚注、索引、参考文献等等都被封装成超链接。但这也使得它与其他宏包发生冲突的 可能性大大则更加，故而习惯上将hyperref宏包放在其他宏包之后调用。 hyperref宏包提供了命令\hypersetup配置各种参数。参数也可以作为宏包选项，在调 用宏包时指定： \hypersetup{⟨option1⟩,⟨option2⟩={value},…} \usepackage[⟨option1⟩,⟨option2⟩={value},…]{hyperref} CJKbookmarks=true用以指明是否生成书签。 这里主要解释如下代码： \documentclass{beamer}%[hyperref,UTF8,11pt] \usepackage{ctex} \usepackage[utf8]{inputenc} \setbeamersize{text margin left=0.042\paperwidth,text margin right=0.042\paperwidth}% 调整左右边距 \usepackage{fontspec} \usepackage{comment} \usepackage{xeCJK} \usepackage{hyperref} \usepackage{graphicx} \usepackage{epstopdf} \usepackage{bm} \usepackage{array} \usepackage{cases} \usepackage{multirow} \usepackage{enumerate} \usepackage{algorithm} \usepackage{algorithmic} \usepackage{xcolor} % 提供对颜色的支持 \usepackage{amsmath, amsfonts, amssymb} % math equations, symbols \usepackage[english]{babel} \usepackage{color} % color content \usepackage{graphicx} % import figures \usepackage{url} % hyperlinks \usepackage{bm} % bold type for equations \usepackage{multirow} \usepackage{booktabs} \usepackage{epstopdf} \usepackage{epsfig} \usepackage{algorithm} \usepackage{algorithmic} \hypersetup{CJKbookmarks=true} \usepackage{url} \usepackage{amsmath} \usepackage{amsthm} \newtheorem{assumption}{假设} \newtheorem{proposition}{性质} \usepackage{booktabs} \usepackage[backend=biber,style=numeric,sorting=none]{biblatex} \beamertemplatetextbibitems \setcounter{tocdepth}{1} \usepackage{subcaption} \usepackage{amsmath} \usepackage{ustcbeamersx} \graphicspath{{image/}} \setsansfont{Microsoft YaHei} % 一般建议是微软雅黑，可以修改成其他字体。 \setCJKmainfont{Microsoft YaHei} %\setCJKmainfont{SimHei} \usefonttheme{professionalfonts} % 第一页的设置 \title[毕业论文答辩]{\zihao{3} 上海财经大学Beamer模板}% 方括号内容显示在页脚，花括号内容是全称 \author{\noindent XXX} \institute[SUFE] { \noindent 上海财经大学2024级\\ \medskip \noindent \textit{ liangyu1096@163. /blog/2023-10-21-the-pac-learning-framework/ Sat, 21 Oct 2023 00:00:00 +0000 /blog/2023-10-21-the-pac-learning-framework/ 注意：此处主要参考书籍Foundations of Machine Learning PAC, 即 Probably Approximately Correct 的缩写。PAC框架根据实现近似解所需的样本点 数量、样本复杂度以及学习算法的时间和空间复杂度来帮助定义可学习概念的类别，这取决 于 concept 的计算表示的成本。 The PAC learning model 基本符号： $\mathcal{X}$：所有可能的 examples 或者 instances 的集合，也被称作 input space。 $\mathcal{y}$: 所有可能的 labels 或者 target values 的集合。此处方便计，讨论二 分类问题，即 $$\mathcal{y}=\{0,1\}.$$ concept $c: \mathcal{X} \rightarrow \mathcal{y}$，是从$\mathcal{X}$到$\mathcal{y}$的映射。考虑到所有映射结果为1的相应 的定义域，即$\mathcal{X}$的子集，可以唯一确定一个 concept, 故我们有时也可以用$\mathcal{X}$ 的子集来表示 concept。 concept class: 我们希望学习的 concept 的集合，记作$\mathcal{C}$。可以理解为所有 concept 的集合。 训练任务的抽象描述： 假设样本独立同分布来自于固定但未知的分布$\mathcal{D}$。机器学习问题陈述如下，考虑一些 concepts 的集合$\mathcal{H}$, 即 hypothesis set, 这些集合可能与$\mathcal{C}$ 不一致。给定一组来自分布$\mathcal{D}$的独立同分布样本$S=(x_1,\cdots, x_m)$， 其标签相应为$(c(x_1), \cdots, c(x_m))$，其中$c\in\mathcal{C}$为一个我们要去 学习的 concept。任务便是使用带有标签的样本$S$，从$\mathcal{H}$选取 generalization error 最小的 concept。 /blog/2023-10-19-python/ Thu, 19 Oct 2023 00:00:00 +0000 /blog/2023-10-19-python/ 版本查看 查看python版本 使用cmd命令查看(只能查看默认环境变量的python)。 输入win + r进入命令窗口。输入python即可查看默认的 python 版本。 或者输入python --version命令进行查看 查看python的路径 在命令窗口中输入where python，它会显示python对应的路径，多个版本会显示多个路径 默认的python版本就是cmd进入的python 首先查看高级系统设置并进入环境变量页面 查看环境变量的python。一般查看PATH变量。 第三方库操作 查看第三方库 使用cmd命令查看(只能查看默认环境变量的python) 输入win + r进入命令窗口。输入pip list即可查看安装的第三方库。 通过安装的路径来看python的包 在命令窗口中输入where python，它会显示python对应的路径，多个版本会显示多个路径。 复制进入对应python.exe的的上一级文件，此处我进入的是：E:\software\Program Files\Python 之后一般第三方库的路径实在.\Lib\site-packages中。 手动配置pip镜像源 手动配置，windows下，直接在user目录中创建一个pip目录，再新建文件pip.ini。 接着打开pip.ini文件，复制粘贴以下内容并保存。 [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple 注意此处是设置了清华源为例，国内镜像源有如下 清华 https://pypi.tuna.tsinghua.edu.cn/simple 豆瓣 http://pypi.douban.com/simple/ 阿里 http://mirrors.aliyun.com/pypi/simple/ 中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/ 第三方库安装 pip安装大法 在命令行窗口使用pip install packages即可，例如，以安装numba库为例。 /blog/2023-10-19-rmarkdown-python/ Thu, 19 Oct 2023 00:00:00 +0000 /blog/2023-10-19-rmarkdown-python/ 在Rmarkdown中调用Python代码块需要用到reticulate包 install.packages("reticulate") 在我们运行python代码块之前首先需要设置好Python环境。下面我们需要指定Python路径， 在命令窗口输入where python看python的路径 接下来在R中指定Pyrhon路径 library(reticulate) use_python('E:/software/Program Files/python3.11.0') 最后即可在Rmarkdown中运行python代码块了 import numpy as np import matplotlib.pyplot as plt # 计算正弦曲线上的 x 和 y 坐标 x = np.arange(0, 3*np.pi, 0.1) y = np.sin(x) plt.title('sine wave form') # 使用 matplotlib 来绘制点 plt.plot(x, y) plt.show() /blog/2023-10-17-np-p-npc-np-hard/ Tue, 17 Oct 2023 00:00:00 +0000 /blog/2023-10-17-np-p-npc-np-hard/ 注意NP、P、NPC、NP-hard 概念大部分参考知乎：https://zhuanlan.zhihu.com/p/235301347. 图灵机1 图灵机是一个模拟算法运行的抽象机器，定义如下： 有一个无限长度的磁带，这个磁带被分成了一个接一个的单元格，磁带被用于写入字母和符号。 一个读写磁带的磁头，这个磁头负责控制堆磁带的写入和左右移动。 一个状态寄存器，用来存储图灵机的状态。 一个指令表，可以根据机器当前所处的状态和磁带上当前的符号，指示机器进行特定的操作。比如：擦除或者写入一个符号、向左或者向右移动磁头。 确定图灵机和非确定图灵机 在确定性图灵机（DTM）中，其控制规则规定了在任何给定情况下最多只能执行一个动作。在理论计算机科学中，非确定性图灵机（NTM）是一种理论计算模型，其控制规则在某些给定情况下指定了多个可能的动作。 也就是说，NTM的下一个状态不是完全由其动作和它所看到的当前符号决定的（不同于确定性图灵机）。 Note：任何NDTM可以转换为DTM(反之亦然)，即二者虽然运行时不同，但最终结果等价。 NP问题 定义 非确定型图灵机在多项式时间内可以找到解的问题，简单说就是可以在多项式时间里验证一个解的问题。 延伸 P问题属于NP问题，但P问题是否等于NP问题，目前仍然是一个世界难题。 P问题 定义 确定型图灵机在多项式时间内可以解决的问题，简单说就是可以在多项式时间里解决的问题。 延伸 一般来说，P问题在生活中更有意义。因为可以在多项式时间里解决就意味着问题复杂度不会随着数据规模的扩大而指数爆炸，在生活中更容易被解决。 约化(Reducibility) 定义 A问题可以约化成B问题，代表可以用B问题的解法解决A问题。如“求解一元一次方程” 问题可以约化成 “求解一元二次方程” 问题，只需要令 “求解一元二次方程” 问题中二次项系数为 即可解决 “求解一元一次方程” 问题。 延伸 约化的过程是难度升级的过程，且约化具有传递性。 NP-complete 问题(NPC) 定义 NPC问题即为所有NP问题可以约化到的一个问题，是所有NP问题中最复杂的问题。NPC问题满足条件： 该问题是一个NP问题； 该问题可以由一个已知的NPC问题约化到它。 第一个NPC问题是逻辑电路问题。 NP-hard 问题 定义 NP-hard 问题即满足NPC问题的第二个条件，但不一定满足第一个条件，因此NP-hard要比NPC问题范围更广，NP-hard问题不一定是NP问题。 此处大部分参考知乎：https://zhuanlan.zhihu.com/p/364080272. ↩︎ /blog/2023-10-10-a-review-of/ Tue, 10 Oct 2023 00:00:00 +0000 /blog/2023-10-10-a-review-of/ 摘要 英文原文 Computer applications have considerably shifted from single data processing to machine learning in recent years due to the accessibility and availability of massive volumes of data obtained through the internet and various sources. Machine learning is automating human assistance by training an algorithm on relevant data. Supervised, Unsupervised, and Reinforcement Learning are the three fundamental categories of machine learning techniques. In this paper, we have discussed the different learning styles used in the field of Computer vision, Deep Learning, Neural networks, and machine learning. /blog/2020-12-01-r-rmarkdown/ Tue, 01 Dec 2020 21:13:14 -0500 /blog/2020-12-01-r-rmarkdown/ R Markdown This is an R Markdown document. Markdown is a simple formatting syntax for authoring HTML, PDF, and MS Word documents. For more details on using R Markdown see http://rmarkdown.rstudio.com. You can embed an R code chunk like this: summary(cars) ## speed dist ## Min. : 4.0 Min. : 2.00 ## 1st Qu.:12.0 1st Qu.: 26.00 ## Median :15.0 Median : 36.00 ## Mean :15.4 Mean : 42.98 ## 3rd Qu. /blog/2016-02-14-hello-markdown/ Sun, 14 Feb 2016 00:00:00 +0000 /blog/2016-02-14-hello-markdown/ Sample Text Third-level header Fourth-level header A paragraph (with a footnote): Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum. /blog/2015-07-23-lorem-ipsum/ Thu, 23 Jul 2015 00:00:00 +0000 /blog/2015-07-23-lorem-ipsum/ Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum. Quisque mattis volutpat lorem vitae feugiat.