Processing

Please wait...

Settings

Settings

Goto Application

1. WO2022094723 - TASK SPECIFIC PROCESSING OF REGULATORY CONTENT

Publication Number WO/2022/094723
Publication Date 12.05.2022
International Application No. PCT/CA2021/051585
International Filing Date 08.11.2021
IPC
G06N 3/08 2006.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
3Computer systems based on biological models
02using neural network models
08Learning methods
G06F 40/56 2020.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
FELECTRIC DIGITAL DATA PROCESSING
40Handling natural language data
40Processing or translation of natural language
55Rule-based translation
56Natural language generation
G06Q 50/26 2012.1
GPHYSICS
06COMPUTING; CALCULATING OR COUNTING
QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
50Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
10Services
26Government or public services
Applicants
  • MOORE & GASPERECZ GLOBAL INC. [CA]/[CA]
Inventors
  • RAMEZANI, Mahdi
  • SMITH, Kenneth
  • KRAG, Elijah Solomon
  • TAHMASBI, Amir Abbas
  • MOORE, Margery
Agents
  • SMART & BIGGAR LLP
Priority Data
17/093,41609.11.2020US
Publication Language English (en)
Filing Language English (EN)
Designated States
Title
(EN) TASK SPECIFIC PROCESSING OF REGULATORY CONTENT
(FR) TRAITEMENT SPÉCIFIQUE DE TÂCHE DE CONTENU RÉGLEMENTAIRE
Abstract
(EN) A neural network system for performing a processing task on regulatory content and a method for training the system are disclosed. The method for training involves configuring a neural network language model capable of generating a language embedding output in response to receiving content. The method further involves fine-tuning the language model using regulatory content training data to generate a regulatory content language embedding output for regulatory content processed by the language model. The method also involves configuring at least one task specific output layer to generate task specific results in response to receiving the regulatory content language embedding output from the language model, and training the neural network system using task specific training data to output the task specific results, at least a portion of the task specific training data having been labeled prior to configuring the task specific neural network.
(FR) L'invention divulgue un système de réseau neuronal pour effectuer une tâche de traitement sur un contenu réglementaire et un procédé d'entraînement du système. Le procédé d'entraînement implique la configuration d'un modèle de langage de réseau neuronal capable de générer une sortie d'incorporation de langage en réponse à la réception d'un contenu. Le procédé comprend en outre le réglage fin du modèle de langage à l'aide de données d'entraînement de contenu réglementaire pour générer une sortie d'incorporation de langage de contenu réglementaire pour un contenu réglementaire traité par le modèle de langage. Le procédé consiste également à configurer au moins une couche de sortie spécifique de tâche pour générer des résultats spécifiques de tâche en réponse à la réception de la sortie d'incorporation de langage de contenu réglementaire à partir du modèle de langage, et à entraîner le système de réseau neuronal à l'aide de données d'entraînement spécifiques de tâche pour délivrer les résultats spécifiques de tâche, au moins une partie des données d'entraînement spécifiques de tâche ayant été étiquetées avant la configuration du réseau neuronal spécifique de tâche.
Latest bibliographic data on file with the International Bureau