Notion, Slack, Zoom 을 통해 회의를 진행했으며, Github을 통해 코드 공유를 및 Issues 기능을 이용한 관리를 진행. Wandb를 이용해 실시간으로 실험 관리.

구희찬	김민석	손유림	오태연	이상수	최예진

전반적인 프로젝트 과정을 모두 경험할 수 있도록 분업을 하여 협업을 진행했으며, 초기 개발 환경 구축 단계부터 Github을 연동하여 세부 task 마다 issue와 branch를 생성하여 각자의 task를 수행했다. 이를 통해 코드 버전 관리와 코드 공유가 원활하게 이루어질 수 있었다.

 json 형식의 데이터셋이 제공되었고, train 데이터셋은 질문의 고유 id, 질문, 답변 텍스트 및 답변의 시작 위치, 답변이 포함된 문서, 문서의 제목, 문서의 고유 id를 포함하고 있다. 이때 train_dataset 경로 내 파일은 3952개의 샘플을 포함하는 train 데이터와 240개의 샘플을 포함하는 validation 데이터셋으로 구성되어 있다.

좌측은 train dataset, 우측은 validation dateset 시각화의 결과이고, 각각 context length, question length, answer length를 의미.

• 데이터셋에 대한 정보

  • train.csv : 총 3952개
  • vaildation.csv: 240개
  • test_data.csv : 총 600개 (이중 240개의 데이터셋을 대상으로 리더보드 점수 채점)

• column 1: 고유 id

• column 2: 질문

• column 3: 답변 text

• column 4: 답변이 포함된 문서

• column 5: 문서의 제목

• column 6: 문서 고유 id

📦level2-nlp-mrc-nlp-04
├── README.md
├── code
│   ├── README.md
│   ├── arguments.py
│   ├── custom_model.py
│   ├── inference.py
│   ├── inference_bm25.py
│   ├── inference_es.py
│   ├── korquad_finetuning.ipynb
│   ├── requirements.txt
│   ├── retrieval.py
│   ├── retrieval_bm25.py
│   ├── retrieval_es.py
│   ├── train.py
│   ├── train_cnn.py
│   ├── trainer_qa.py
│   ├── utils
│   │   ├── datetime_helper.py
│   │   ├── file_name_utils.py
│   │   ├── hyper_parameters.py
│   │   ├── logging_utils.py
│   │   └── question 전처리.ipynb
│   └── utils_qa.py
├── data
├── eval.sh
├── inference.sh
├── run.sh
└── train.sh

1. aistages의 링크를 통해 데이터 폴더를 다운받는다.
2. tar -zxvf data.tar.gz 로 압축을 해제한다.
3. data 폴더를 복사 + 붙여넣기 한다.
4. sh run.sh or chmod +x *.sh로 실행권한 설정 이후에 ./run.sh

MRC대회발표_PPT.pdf

MRC_NLP_팀 리포트(04조).docx