트레이딩을 위한 ONNX 학습 - 페이지 8

[MetaQuotes]

거의 모든 PyTorch 모델을 ONNX로 변환하고 플라스크를 사용하여 제공하는 방법

거의 모든 PyTorch 모델을 ONNX로 변환하고 플라스크를 사용하여 제공하는 방법

비디오 자습서는 PyTorch 모델을 ONNX 형식으로 변환하고 Flask를 사용하여 제공하는 방법을 보여줍니다. 발표자는 데이터 세트를 가져오고 데이터 병렬을 사용하여 모델을 정의한 다음 모델 가중치를 로드하고 ONNX로 내보냅니다. 이 비디오는 ONNX 모델을 제공하기 위해 Flask 엔드포인트를 생성한 다음 텐서를 numpy 배열로 변환하고 모델에서 출력을 얻는 방법을 보여줍니다. 화자는 또한 모델 출력에 시그모이드 함수를 적용하여 0과 1 사이의 확률로 변환합니다. 마지막으로 공정한 비교를 위해 장치를 CPU로 전환하고 API의 더 빠른 응답 시간을 시연합니다. 비디오는 향상된 성능을 위해 ONNX 모델을 최적화하는 여러 가지 방법이 있음을 언급하고 시청자가 의견 섹션에서 피드백을 공유하도록 초대하는 것으로 끝납니다.

• 00:00:00 이 섹션에서는 비디오에서 PyTorch 모델을 ONNX 형식으로 변환하는 방법과 이를 제공할 Flask 끝점을 만드는 방법에 대해 설명합니다. 비디오는 새 감정 모델을 기본 모델로 사용하며 최대 길이 및 배치 크기 매개변수를 약간 수정합니다. 그런 다음 비디오는 입력 형태 지정을 포함하여 필요한 종속성을 가져오고 변환을 위한 기본 함수를 작성하는 과정을 안내합니다. 동영상에서는 변환된 모델을 저장하는 방법과 모델을 제공할 Flask 끝점을 만드는 방법도 다룹니다.
  
  
• 00:05:00 비디오의 이 섹션에서 발표자는 PyTorch 모델을 ONNX로 변환하고 Flask를 사용하여 제공하는 방법에 대해 설명합니다. 먼저 데이터 세트를 가져온 다음 데이터 병렬을 사용하여 모델을 정의합니다. 다음으로 모델 가중치를 로드하고 모델을 평가 모드로 전환합니다. 모델을 보고 입력이 ID, 마스크 및 토큰 유형 ID인지 확인하여 입력을 얻는 방법을 보여줍니다. 발표자는 세 개의 입력 이름과 출력 이름을 지정하여 모델을 ONNX 형식으로 내보내는 방법을 보여줍니다. 또한 동적 형태를 갖는 입력 또는 출력을 지정하는 사전인 동적 축을 정의합니다.
  
  
• 00:10:00 이 섹션에서는 비디오에서 "ONNX로 변환" 코드를 사용하여 PyTorch 모델을 ONNX 형식으로 변환하여 Flask를 사용하여 모델을 실행하는 방법을 보여줍니다. PyTorch 모델은 먼저 ONNX로 변환된 다음 ONNX 모델에서 예측을 수행하기 위해 새 파일이 생성됩니다. 이 비디오는 ONNX 모델에 대한 세션을 지정하는 방법을 보여주며 ONNX 런타임을 가져온 다음 모델을 유추 세션에 로드할 수 있음을 보여줍니다. 비디오는 장치에 모델을 출력하고 보내는 것이 필요하지 않으며 반환되는 것이 있을 것이라고 설명합니다.
  
  
• 00:15:00 비디오 자습서의 이 섹션에서 발표자는 PyTorch에서 ONNX 입력을 위한 간단한 사전을 만드는 방법을 시연합니다. 이는 ONNX가 모든 텐서를 허용하지 않기 때문에 매우 중요합니다. 사전은 이름인 키와 PyTorch 텐서인 값으로 구성됩니다. 텐서를 numpy 오류로 변환하기 위해 'detach' 및 'requires grad' 명령을 사용하여 a to numpy 함수를 만듭니다. 그런 다음 스피커는 적절한 인수와 함께 model.run 함수를 호출하여 모델에서 출력을 얻는 방법을 보여줍니다. 마지막으로 출력을 직접 인쇄하거나 Flask에서 사용하기 위해 반환할 수 있습니다.
  
  
• 00:20:00 이 섹션에서 발표자는 출력을 0과 1 사이의 확률로 변환하기 위해 PyTorch 모델의 출력에 시그모이드 함수를 적용합니다. 그들은 간단한 시그모이드 함수를 작성하고 이를 다음으로 통합하는 방법을 보여줍니다. ONNX 모델용 Flask API. 또한 로컬 호스트 및 포트에서 API를 시작하는 방법과 curl 요청을 사용하여 API를 테스트하는 방법을 보여줍니다. 마지막으로 발표자는 GPU에서 실행되던 이전 API와 비교하여 공정성을 위해 장치를 CPU로 전환하고 API를 다시 실행하여 더 빠른 응답 시간을 시연합니다.
  
  
• 00:25:00 비디오의 이 섹션에서 발표자는 PyTorch 모델을 ONNX로 변환하고 Flask를 사용하여 제공하는 방법에 대한 자습서를 마무리합니다. 비슷한 것으로 보이는 이전 요청과 새 요청의 타이밍을 비교하고 사용자가 성능을 더욱 향상시키기 위해 ONNX 모델에 적용할 수 있는 더 많은 최적화가 있음에 주목합니다. 발표자는 시청자에게 ONNX가 다양한 환경에 모델을 배포하기 위해 제공해야 하는 가능성을 실험해 보도록 권장하고 시청자가 시청해 준 것에 대해 감사하고 댓글 섹션에서 제안을 공유하도록 초대함으로써 결론을 내립니다.

[MetaQuotes]

PyTorch 모델을 Tensorflow로 변환하는 방법 | onnx.ai | 기계 학습 | 데이터 매직

PyTorch 모델을 Tensorflow로 변환하는 방법 | onnx.ai | 기계 학습 | 데이터 매직

이 비디오에서 발표자는 ONNX(Open Neural Network Exchange) 라이브러리를 사용하여 PyTorch 모델을 TensorFlow 모델로 변환하는 방법을 시연합니다. 손으로 쓴 숫자를 식별하기 위해 만든 PyTorch 모델을 예로 들어 ONNX 라이브러리의 이점과 사용법에 대해 자세히 설명합니다. 샘플 이미지에 대한 예측을 위해 모델을 TensorFlow에 로드하기 전에 모델을 교육하고 ONNX 형식으로 변환하는 프로세스가 표시됩니다. 결과 TensorFlow 모델은 .pb 파일로 저장되어 ONNX 라이브러리를 사용하여 PyTorch 모델을 TensorFlow로 변환하는 방법을 보여줍니다.

• 00:00:00 이 섹션에서 발표자는 ONNX(Open Neural Network Exchange) 라이브러리를 사용하여 PyTorch 모델을 TensorFlow 모델로 변환하는 방법에 대해 설명합니다. ONNX 라이브러리는 업계의 다양한 기계 학습 라이브러리에서 호환성을 높이는 것을 목표로 하는 오픈 소스 라이브러리입니다. 발표자는 라이브러리의 이점과 사용법을 설명하고 라이브러리와 종속 라이브러리를 설치하는 방법을 시연합니다. 필기 숫자를 식별하기 위해 PyTorch 모델이 생성되고 발표자는 ONNX 라이브러리로 모델을 훈련하고 테스트하는 방법을 보여줍니다. PyTorch 모델의 코드는 비디오의 초점이 아니므로 자세히 설명하지 않습니다.
  
  
• 00:05:00 이 섹션에서는 훈련된 PyTorch 모델을 ONNX(Neural Network Exchange) 라이브러리를 사용하여 TensorFlow 모델로 변환하는 프로세스에 대해 설명합니다. 먼저 PyTorch 모델을 훈련하고 mnist.pth 파일로 저장합니다. 그런 다음 모델은 ONNX 형식으로 변환되고 TensorFlow에 로드되어 샘플 이미지에 대한 예측을 수행합니다. 마지막으로 TensorFlow 모델은 .pb 파일로 저장됩니다. 이 프로세스는 ONNX 라이브러리를 사용하여 PyTorch 모델을 TensorFlow로 변환하는 방법을 보여줍니다.
  
  
• 00:10:00 이 발췌문은 감사 메시지와 시청자의 좋아요와 구독을 위한 클릭 유도문안을 포함하여 연사의 마무리 발언으로만 구성되어 있어 요약과 관련된 내용을 제공하지 않습니다. 연사는 또한 시청자에게 질문을 요청하고 비디오에 사용된 코드 및 리소스에 대한 링크를 제공합니다.

[MetaQuotes]

Tensorflow 모델/tflite 모델을 ONNX로 변환하는 방법

Unity로 가져오기 위해 Tensorflow 모델/tflite 모델을 ONNX로 변환하는 방법

tf2onnx는 명령줄 또는 Python API를 통해 TensorFlow(tf-1.x 또는 tf-2.x), tf.keras 및 tflite 모델을 ONNX로 변환합니다.

https://github.com/onnx/tensorflow-onnx

[MetaQuotes]

가변 배치 크기를 사용하여 Pytorch(pytorch 번개) 모델을 onnx 모델로 변환

가변 배치 크기를 사용하여 Pytorch(pytorch 번개) 모델을 ONNX 모델로 변환

이 자습서에서는 가변/동적 배치 크기를 사용하여 Pytorch(pytorch 번개) 모델을 ONNX 모델로 변환하는 방법을 배웁니다.

[MetaQuotes]

PyTorch ONNX 내보내기 지원 - Lara Haidar, Microsoft

PyTorch ONNX 내보내기 지원 - Lara Haidar, Microsoft

Microsoft의 Lara Haidar가 PyTorch ONNX 모델 내보내기 기능의 장점을 설명하여 모델을 연구에서 프로덕션으로 이동하고 다양한 하드웨어에서 실행할 수 있도록 합니다. 그녀는 ONNX 런타임이 매우 대중화되어 현재 수백만 대의 장치에서 이를 사용하고 눈에 띄는 성능 향상을 달성했다고 말합니다. 또한 ONNX 내보내기 지원에는 이제 모델 범위, 성능 최적화 및 백엔드 지원이 개선되어 모델이 서로 다른 백엔드가 있는 다양한 버전에서 실행될 수 있도록 합니다. 마지막으로 Lara는 사용자가 내보낸 모델을 테스트하고 피드백을 공유하여 기능을 더욱 향상시키도록 권장합니다.

[MetaQuotes]

296 - keras 학습 모델을 ONNX 형식으로 변환 - 이미지 분류 예제

296 - keras 학습 모델을 ONNX 형식으로 변환 - 이미지 분류 예제

비디오 자습서는 배포를 위해 Keras에서 학습한 이미지 분류 모델을 ONNX 형식으로 변환하는 프로세스를 다룹니다. 연사는 Keras를 사용하여 모델을 생성하고 컴파일하고 H5 파일로 저장한 후 ONNX 형식으로 변환하는 방법을 보여줍니다. ONNX 변환에 필요한 라이브러리를 가져오는 방법, 저장된 H5 모델을 로드하는 방법, 한 줄의 코드를 사용하여 ONNX 형식으로 변환하는 방법에 대한 단계별 가이드를 제공합니다. 그런 다음 발표자는 ONNX 런타임 세션에서 결과 ONNX 모델을 사용하는 방법을 시연하고, ONNX를 사용하여 이미지 분류 예제에서 클래스를 예측하는 방법을 보여주고, ONNX 및 Keras를 사용하여 예측 확률을 비교합니다. 발표자는 배포에 ONNX를 사용하는 효과와 이점을 강조하고 기존 HDF 파일을 ONNX로 변환하는 단순성을 언급합니다.

• 00:00:00 이 섹션에서 발표자는 특히 이미지 분류를 위해 Keras 학습 모델을 ONNX 형식으로 변환하는 프로세스에 대해 설명합니다. 그들은 ONNX가 H5와 같은 다양한 파일 형식으로 저장된 모델을 ONNX 런타임과 같은 다른 런타임에서 작동하도록 변환할 수 있는 중간 형식이라고 설명합니다. 연사는 Keras로 간단한 이미지 분류 모델을 만들고 H5 파일로 저장한 다음 ONNX 형식으로 변환하는 과정을 청중에게 안내합니다. 그런 다음 두 형식의 정확도를 비교하고 ONNX 모델에 추가할 수 있는 다양한 최적화에 대해 논의합니다. 연사는 또한 추론을 수행하기 위해 ONNX 런타임 및 H5 Pi 외에도 Keras에 필요한 라이브러리를 설치하는 것을 강조합니다.
  
  
• 00:05:00 이 섹션에서 발표자는 훈련용으로 할당된 50,000개의 작은 이미지와 테스트용으로 10,000개의 작은 이미지가 포함된 모델 훈련 및 테스트에 사용되는 데이터 세트에 대해 설명합니다. 이미지는 32 x 32 x 3이며 0에서 1 사이의 값을 스케일링하여 정규화합니다. 다음으로 발표자는 정수로 인코딩된 값을 범주 값으로 변환하고 컨볼루션 레이어, 배치 정규화, 드롭아웃 및 소프트맥스로 모델을 정의합니다. 활성화하여 각 클래스의 확률을 나타내는 10개의 값을 반환합니다. 마지막으로 그는 확률적 경사하강법 최적화 프로그램을 사용하여 모델을 컴파일하고 범주형 교차 엔트로피의 손실 함수를 최소화하면서 정확도 메트릭을 추적합니다. 발표자는 또한 초기 중지 콜백을 사용하여 10 epoch 후에 교육 프로세스를 종료하는 방법을 보여줍니다.
  
  
• 00:10:00 이 섹션에서 발표자는 모델을 ONNX 형식으로 변환하기 전에 Keras를 사용하여 모델을 교육하고 H5 형식으로 저장한 방법을 설명합니다. 저장된 모델을 로드하고, ONNX 변환에 필요한 라이브러리를 가져오고, Keras 모델을 ONNX 형식으로 변환하는 데 필요한 한 줄의 코드를 사용하는 방법을 보여줍니다. 그런 다음 ONNX 런타임 세션에서 결과 ONNX 모델을 사용하는 방법을 보여주고 속도를 비교하여 배포에 ONNX를 사용할 때의 이점을 보여줍니다.
  
  
• 00:15:00 이 섹션에서는 화자가 ONNX를 사용하여 이미지 분류 예제에서 클래스를 예측하는 방법을 설명합니다. 먼저 모델에서 입력 및 출력 이름을 가져오는 방법을 보여줍니다. 그런 다음 이미지를 추론할 준비가 되도록 치수를 확장하는 방법을 보여줍니다. Ground Truth를 정의한 후 예측을 실행하고 argmax를 사용하여 예측 클래스를 계산합니다. 마지막으로 결과를 플로팅하고 ONNX와 Keras를 사용하여 예측을 비교합니다. 확률은 거의 동일하며 이미지 분류 작업에 대한 ONNX의 효율성을 보여줍니다.
  
  
• 00:20:00 이 섹션에서 연사는 훈련된 Keras 모델을 이미지 분류를 위해 ONNX 형식으로 성공적으로 변환하는 방법을 보여줍니다. 다양한 테스트 이미지에 대한 확률 결과가 표시되며 모델은 50 epoch 동안 학습된 후 우수한 결과를 달성했습니다. 기존 HDF 파일을 ONNX로 변환하는 것은 간단한 프로세스이며 이미지 분할에 대한 향후 자습서를 암시하는 발표자 노트입니다.

[MetaQuotes]

297 - keras 학습 모델을 ONNX 형식으로 변환 - 시맨틱 분할

297 - keras 학습 모델을 ONNX 형식으로 변환 - 시맨틱 분할

이 비디오는 미토콘드리아의 전자 현미경 이미지의 시맨틱 분할을 위해 keras 훈련 모델을 ONNX 형식으로 변환하는 데 중점을 둡니다. 발표자는 이미지를 자르고 로드하는 방법, 데이터 증대 기술을 사용하는 방법, 교육 및 검증을 위한 생성기를 정의하고 모델을 교육하고 저장하는 방법에 대한 자세한 단계를 제공합니다. 이 동영상에서는 tf2onnx.convert 라이브러리를 사용하여 모델을 ONNX 형식으로 변환하고 예측을 위해 ONNX 모델을 사용하는 방법도 다룹니다. 발표자는 교육 및 변환에 대한 모범 사례를 강조하고 다중 클래스 세분화에 대한 이전 비디오에 대한 링크를 제공합니다. 이 자습서는 이것이 ONNX 시리즈의 끝이며 다음 비디오에서 다른 주제에 초점을 맞출 것이라는 발표자로 마무리됩니다.

• 00:00:00 이 섹션에서 발표자는 Keras 학습 모델의 가중치를 ONNX에 저장하고 변환된 모델을 사용하여 추론을 수행하는 방법을 시연했던 이전 비디오를 기반으로 합니다. 이번에는 시맨틱 분할 모델을 훈련하고 ONNX에 저장하는 방법에 대한 단계를 제공합니다. 그들은 미토콘드리아의 전자현미경 데이터 세트를 사용하는데, 여기에는 미가공 이미지와 레이블이 지정된 이미지가 있습니다. 발표자는 이미지를 적절한 크기로 자르고, 신경망에 로드하고, 단순 단위 모델을 사용하여 이진 분할을 수행하는 방법을 보여줍니다. 간단한 단위 모델의 작동 방식을 설명하고 다중 클래스 시맨틱 분할을 위한 보다 복잡한 신경망을 설명한 이전 비디오에 대한 링크를 제공합니다.
  
  
• 00:05:00 이 섹션에서 저자는 학습 목적으로 165개 이미지의 작은 데이터 세트를 12개 이미지로 나누는 과정에 대해 설명합니다. patchify 라이브러리를 적용하여 이미지와 마스크를 256x256 픽셀의 더 작은 패치로 나눕니다. 또한 이미지와 마스크가 정확하게 정렬되는지 확인하기 위해 몇 가지 임의 이미지를 "정상 확인"으로 논의합니다. 저자는 높이 이동 범위, 전단 범위, 줌 범위와 같은 데이터 확대 기술을 사용하여 결과를 일반화합니다. 또한 무작위 변형이 실제로 무작위가 아닌지 확인하는 방법과 동일한 임의성을 유지하기 위해 이미지와 마스크 모두에서 변형을 생성하는 데 동일한 시드가 사용된다는 점을 언급합니다. 마지막으로 작성자는 훈련 및 검증에 사용될 생성기를 정의하고 일관성을 위해 시드는 고정됩니다.
  
  
• 00:10:00 이 섹션에서 화자는 모범 사례를 사용하여 의미론적 분할을 위한 단위 모델을 훈련할 준비를 하고 이미지와 마스크 생성기를 하나로 결합합니다. 그들은 확률 출력을 이진 출력으로 변환하기 위해 0.5의 임계값을 적용하여 모델 교육으로 이동하기 전에 배치 크기와 에포크당 단계를 정의합니다. 모델이 더 많은 훈련 이미지를 사용할 수 있지만 이미지 분할 작업을 적당히 잘 수행하고 있습니다. 그런 다음 화자는 H5 파일을 저장하고 TF2 to onnx 라이브러리를 사용하여 onnx로 변환합니다.
  
  
• 00:15:00 이 섹션에서는 동영상에서 tf2onnx.convert를 사용하여 Keras 학습 모델을 ONNX 형식으로 변환하는 방법을 설명합니다. 모델을 로드한 후 .onnx 파일로 저장하기 전에 최적화를 추가할 수 있습니다. 또한 비디오는 예측을 위해 런타임 세션에서 ONNX 모델을 사용하여 Keras 모델과 동일한 결과를 보여줍니다. 비디오는 이 자습서가 ONNX 시리즈의 끝이며 발표자는 다음 비디오에서 다른 주제에 초점을 맞출 것이라고 설명하면서 끝납니다.

[MetaQuotes]

스마트폰에서 클라우드 에지 및 그 사이의 모든 것에 이르기까지 Qualcomm 지원 장치와 함께 ONNX 사용

스마트폰에서 클라우드 에지 및 그 사이의 모든 것에 이르기까지 Qualcomm 지원 장치와 함께 ONNX 사용

Qualcomm의 장치 전체에서 ONNX 교환 형식을 사용하면 모든 장치에서 모델을 지원하는 데 도움이 됩니다. Qualcomm은 서로 다른 장치와 다양한 모델을 지원할 때 까다로운 아키텍처에 직면하지만 ONNX는 수직, 강력한 장치 및 지역에 걸쳐 확장성을 달성하는 데 도움이 됩니다. Qualcomm은 Microsoft와 협력하여 Windows를 실행하는 장치를 포함하여 Qualcomm 기반 장치에서 ONNX 모델을 실행할 수 있는 ONNX 런타임 실행기 공급자를 만들었습니다. 통합 소프트웨어 스택에는 모델 최적화를 위한 프로파일러, 컴파일러 및 분석기와 같은 추가 도구와 함께 ONNX 모델을 서로 다른 가속기로 동적으로 라우팅하여 최상의 성능을 얻을 수 있는 AI 엔진이라는 라이브러리가 포함되어 있습니다.

• 00:00:00 이 섹션에서는 Qualcomm의 연사가 ONNX를 사용하여 작은 이어버드부터 노트북, 보안 카메라, 자동차 장비까지 다양한 장치를 지원하는 방법에 대해 이야기합니다. 그들은 ONNX의 교환 형식을 통해 모델을 대상으로 지정하고 지원하는 모든 장치에서 사용할 수 있다고 언급합니다. 또한 다양한 모델, 구현 및 기능 요구 사항과 함께 다양한 장치를 지원하기 위해 처리해야 하는 까다로운 아키텍처에 대해서도 논의합니다. 예를 들어, 그들은 휴대폰 인증을 위해 Apple의 심도 센서 기술을 사용하는 것과 이제 동일한 기술을 보안 카메라와 자동차에 통합한 방법에 대해 이야기합니다.
  
  
• 00:05:00 이 섹션에서 발표자는 오늘날 AI 분야에서 업계가 직면한 확장성 문제에 대해 논의합니다. 그는 Qualcomm이 확장성을 달성하기 위해 교환 형식으로 ONNX를 사용할 때의 문제와 이점을 어떻게 처리했는지 설명합니다. CPU에서 AI 가속기로 알고리즘을 이동하면 장치를 쉽게 확장할 수 있습니다. 멀티 코어 아키텍처는 시스템이 라이브 비디오 스트림 작업에 도움이 되는 더 높은 성능을 달성할 수 있도록 합니다. 또한 교환 형식은 다른 프레임워크를 다룰 필요가 없기 때문에 상당한 시간을 절약합니다. 마지막으로 발표자는 ONNX가 수직, 작고 강력한 장치 및 지역에 걸쳐 확장하는 데 도움이 된다고 설명합니다.
  
  
• 00:10:00 이 섹션에서 연사는 Qualcomm이 Microsoft와 협력하여 AI 가속기를 위한 ONNX 런타임 실행자 공급자를 만드는 방법에 대해 설명합니다. 이를 통해 ONNX 모델은 모바일 및 자동차 장치는 물론 Windows를 실행하는 장치를 포함하여 다양한 Qualcomm 기반 장치에서 실행할 수 있습니다. Qualcomm은 다양한 운영 체제를 지원하는 통합 소프트웨어 스택을 개발했으며, ONNX 모델을 서로 다른 가속기로 동적으로 라우팅하여 최상의 성능을 얻을 수 있는 AI 엔진이라는 통합 소프트웨어 라이브러리를 포함합니다. 또한 고객이 특정 장치에 대한 모델을 구축하고 최적화하기 위해 프로파일러, 컴파일러 및 분석기와 같은 다양한 추가 도구를 사용할 수 있습니다.

[MetaQuotes]

Raspberry Pi에 ONNX 런타임 IoT 배포

Raspberry Pi에 ONNX 런타임 IoT 배포

"ONNX Runtime IoT Deployment on Raspberry Pi"라는 제목의 이 비디오에서 발표자는 장치에 최적화된 Mobilenet 모델을 사용하여 Raspberry Pi에 컴퓨터 비전 모델용 ONNX Runtime을 배포하는 방법을 시연합니다. 영상은 VNC 뷰어를 이용하여 라즈베리 파이에 연결하고, 설정하고, OpenCV와 Python을 이용하여 카메라 테스트를 실행하는 과정을 다루고 있습니다. 발표자는 이미지를 캡처하고, 추론을 실행하고, 이미지에서 만년필을 올바르게 식별하는 상위 5개 예측 클래스를 인쇄합니다. 전반적으로 이 비디오는 컴퓨터 비전 애플리케이션을 위해 Raspberry Pi에 ONNX Runtime을 배포하는 데 유용한 가이드를 제공합니다.

[MetaQuotes]

Raspberry Pi에 ONNX 런타임을 설치하는 방법

Raspberry Pi에 ONNX 런타임을 설치하는 방법

이 비디오는 Raspberry Pi에 ONNX Runtime을 설치하는 방법에 대한 자세한 가이드를 제공합니다. Raspberry Pi에 Raspbian Stretch를 다운로드 및 설치한 후 사용자는 Docker 및 QMU 사용자 정적 패키지를 설치하고 빌드 디렉터리를 만들고 pip를 통해 설치할 수 있는 ONNX 런타임 휠 패키지를 가져오는 명령을 실행해야 합니다. 이 비디오는 또한 MNIST 데이터 세트에서 훈련된 심층 신경망을 사용하여 ONNX Runtime을 테스트하는 방법과 단일 이미지에서 추론 세션을 실행하는 데 걸리는 시간을 계산하는 방법을 설명합니다. 발표자는 프로세스가 길고 복잡할 수 있지만 에지 장치에서 신경망을 배포하고 테스트하는 기능에 대해 그만한 가치가 있다고 말합니다.

• 00:00:00 OS는 Raspberry Pi에서 릴리스되었으며 여기에서 Raspberry Pi OS(이전 Raspbian) Stretch를 다운로드할 수 있습니다. Raspberry Pi에 Docker를 다운로드하여 설치했으면 다음 단계는 ONNX Runtime Github 리포지토리로 이동하여 ARM32v7 플랫폼용 Dockerfile을 찾는 것입니다. 다양한 플랫폼에 사용할 수 있는 다양한 Dockerfile이 있지만 ARM32v7은 Raspberry Pi에 필요한 파일입니다. 올바른 Dockerfile을 찾으면 제공되는 지침에 따라 Raspberry Pi에 ONNX Runtime을 설치할 수 있습니다. 이는 약간의 시간이 걸리고 복잡한 프로세스일 수 있지만 에지 장치에서 신경망을 배포하고 테스트하는 기능에 대해 그만한 가치가 있습니다.
  
  
• 00:05:00 이 섹션에서는 발표자가 Raspberry Pi에 ONNX Runtime을 설치하는 방법을 설명합니다. 먼저 사용자는 Raspbian Stretch 파일과 Raspberry Pi 이미저를 다운로드하여 SD 카드를 부팅 가능하게 만들어야 합니다. Raspbian Stretch가 Raspberry Pi에 설치되면 사용자는 Docker 및 QMU 사용자 정적 패키지를 설치해야 합니다. 빌드 디렉터리를 생성한 후 사용자는 업데이트된 Dockerfile을 빌드 디렉터리에 저장하고 명령을 실행하여 ONNX 런타임 휠 패키지를 가져와야 합니다. 휠 파일이 pip로 설치되고 테스트되면 가져올 수 있으며 Python 3 버전 3.8이 있는 Raspberry Pi에서 ONNX를 사용할 수 있습니다.
  
  
• 00:10:00 이 섹션에서 발표자는 Raspberry Pi에서 ONNX Runtime을 사용하여 특정 데이터 세트에서 학습된 모델을 테스트하는 방법을 설명합니다. 화자는 이미 MNIST 데이터 세트를 사용하여 숫자 분류를 수행할 수 있는 심층 신경망을 훈련했으며 코드 및 모델에 대한 링크를 제공했습니다. 필요한 라이브러리를 가져온 후 발표자는 ONNX Runtime을 사용하여 추론 세션을 실행하는 스크립트를 만듭니다. 화자는 세그먼테이션 결함을 발견하고 조사한 후 ONNX Runtime이 수행할 수 있는 세 가지 수준의 그래프 최적화에 대해 배우고 이를 비활성화하여 스크립트를 성공적으로 실행하고 예측된 출력을 얻습니다.
  
  
• 00:15:00 이 섹션에서 발표자는 Raspberry Pi가 단일 이미지에서 추론 세션을 실행하는 데 걸리는 시간을 계산한 방법을 설명합니다. 그들은 출력을 생성하고 ONNX 런타임 내에서 모델을 실행하는 데 걸리는 시간을 계산하기 위해 시간 라이브러리를 사용하는 별도의 스크립트를 소개합니다. 약 0.06초가 소요됩니다. 발표자 노트는 간단한 모델과 작은 이미지 크기에 정말 좋습니다. 시청자가 Raspberry Pi에 ONNX 런타임을 설치하고 질문이나 우려 사항이 있으면 연락하도록 권장합니다.