서울대학교 빅데이터 지식정보플랫폼
전체 메뉴
AI 검색
최근 확인한 콘텐츠
19건 더보기
loading...
반출리포트 생성
논문 목록
Protected Health Information Recognition by Fine-Tuning a Pre-training Transformer Model
저자
오서현, 강민, 이영호
학술지명
Healthcare Informatics Research
출판/발행연도
2022
주제
요약
본 연구는 의료 문서 내 보호 건강 정보(PHI) 식별을 위해 사전 훈련된 트랜스포머 모델인 BERT, RoBERTa, XLNet의 성능을 비교했습니다. i2b2 2014 데이터셋을 사용하여 실험한 결과, XLNet이 F1 점수 96.29%로 가장 우수한 성능을 보였으며, RoBERTa와 XLNet은 BERT에 비해 30% 향상된 성능을 나타냈습니다. 이는 XLNet이 두 개의 스트림 self-attention 방식을 통해 단어 임베딩을 효과적으로 구성하고, RoBERTa와 XLNet이 BERT보다 문맥 파악에 더 효과적임을 시사합니다.
연관 콘텐츠
LikeSNU에서 의미기반으로 분석하여 연관된 자료를 추천해드립니다.
-
구글 BERT의 정석 : 인공지능, 자연어 처리를 위한 BERT의 모든 것
-
Artificial Intelligence Applications and Innovations : 17th IFIP WG 12.5 International Conference, AIAI 2021, Hersonissos, Crete, Greece, June 25–27, 2021, Proceedings
-
Introduction to deep learning
-
Transformers for machine learning : a deep dive
-
트랜스포머로 시작하는 자연어 처리 : 자연어 처리 기초부터 BERT, RoBERTa, 코파일럿, CPT-4 모델까지
-
Pretrained Transformers for Text Ranking : BERT and Beyond
-
안녕, 트랜스포머 : BERT에서 시작하는 자연어 처리 레시피
-
한국어 임베딩 : 자연어 처리 모델의 성능을 높이는 핵심 비결 Word2Vec에서 ELMo, BERT까지
-
Neural Information Processing : 26th International Conference, ICONIP 2019, Sydney, NSW, Australia, December 12–15, 2019, Proceedings, Part V
-
Document Analysis and Recognition – ICDAR 2021 : 16th International Conference, Lausanne, Switzerland, September 5–10, 2021, Proceedings, Part I
-
퀀트 투자를 위한 머신러닝·딥러닝 알고리듬 트레이딩 : 파이썬, Pandas, 텐서플로 2.0, Scikit-learn을 활용한 효과적인 트레이딩
-
AWS 기반 AI 애플리케이션 개발 : AI 유니콘 기업으로 도약하기
-
Knowledge discovery in bioinformatics : techniques, methods, and applications
-
(AutoML 창시자가 알려주는) 자동머신러닝
-
Maximum entropy and Bayesian methods : proceedings of the fifteenth International Workshop on Maximum Entropy and Bayesian Methods, Santa Fe, New Mexico, USA, 1995
-
Database Systems for Advanced Applications : 24th International Conference, DASFAA 2019, Chiang Mai, Thailand, April 22–25, 2019, Proceedings, Part II
-
파이썬 텍스트 마이닝 완벽 가이드 : 자연어 처리 기초부터 딥러닝 기반 BERT와 트랜스포머까지
-
Computer and information science
-
Intelligent and Cloud Computing : Proceedings of ICICC 2019, Volume 1
-
이론부터 실전까지 AI 에이전트 완벽 마스터 : LLM·RAG 기본부터 지식 그래프·강화학습·멀티 에이전트 심화까지
이전
다음
이전
다음