Appendix A — 环境配置

source(here::here('_common.R'))
status('complete')

:::: status
::: callout-note 
你正在阅读的是正在进行中的关于 《根据测试集中的论文摘要自动提取关键词》 的研究报告本章节已经完成: 这章基本完成，只需最后校对阅读。
:::
::::

A.1 Conda

A.1.1 安装

Miniforge 是以 conda 为基础的 Python 发行版 (Miniforge 2023)，可以在不同平台上安装，包括 Linux、macOS 和 Windows。

特别的, 它对 Apple Silicon 系列芯片的支持很好. 其具体安装方式见其 Github 仓库。

在 Unix-Like 系统上安装

在 Linux 或者 macOS 上, 可以直接运行下面的命令 安装 Miniforge:

cd ~/Downloads
curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
bash Miniforge3-$(uname)-$(uname -m).sh

根据提示安装即可。

A.1.2 更新

# update conda
conda update -n base conda

A.2 配置虚拟环境

A.2.1 手动配置环境

创建环境

conda create -n datawhale-nlp python jupyter

安装 python 模块

# natural language tool-kit
conda install nltk 
# machine learning took-kit
conda install scikit-learn 
# deep learning
conda install transformers
conda install pytorch::pytorch torchvision torchaudio -c pytorch

检查 Apple silicon GPU 的支持情况

You can verify mps support using a simple Python script:

import torch
if torch.backends.mps.is_available():
    mps_device = torch.device("mps")
    x = torch.ones(1, device=mps_device)
    print (x)
else:
    print ("MPS device not found.")

The output should show:

tensor([1.], device='mps:0')

A.2.2 通过 environment.yml 文件配置环境

创建虚拟环境

进入到项目目录，创建虚拟环境

1. 查看 environment.yml 文件 (附在本节最后)

   • 根据这个文件, 我们会创建一个名为 datawhale-nlp 的虚拟环境, 你可以更改这个名字

2. 创建虚拟环境

   conda env create --file environment.yml

3. 激活虚拟环境

   conda activate datawhale-nlp

更新虚拟环境

1. 更改 environment.yml 文件

2. 运行

   conda env update --file environment.yml --prune

A.2.2.1 environment.yml 文件

name: datawhale-nlp
channels:
  - conda-forge
dependencies:
  - python=3.11
  - nltk
  - scikit-learn
  - pandas
  - nbformat
  - jupyter
  - jupyter-cache
  - transformers
  # - quarto
  # - jupyterlab
  # - pip
  # - pip:
  #   - jupyterlab-quarto

Miniforge. 2023. conda-forge. https://github.com/conda-forge/miniforge.