Qu'est-ce que le BERT? – Tableau blanc le vendredi
https://ift.tt/32z9XZn
Il y a beaucoup de publicité et de désinformation sur la nouvelle mise à jour de l'algorithme de Google. Qu'est-ce que est vraiment BERT, comment ça marche et pourquoi est-ce important pour notre travail en tant que SEO? Rejoignez Britney Muller, notre expert en apprentissage automatique et en traitement du langage naturel, tout en analysant exactement ce qu'est BERT et ce qu'il signifie pour le secteur des moteurs de recherche.
Cliquez sur l'image sur le tableau ci-dessus pour ouvrir une version en haute résolution dans un nouvel onglet!
Transcription vidéo
Bonjour, fans de Moz. Bienvenue dans une autre édition de Whiteboard Friday. Aujourd’hui, nous parlons de tout ce qui concerne le BERT et je suis très impatient d’essayer vraiment de décomposer cela pour tous. Je ne prétends pas être un expert en BERT. Je viens de faire beaucoup de recherches. J'ai pu interviewer des experts dans le domaine et mon objectif est d'essayer de jouer un rôle catalyseur afin que cette information soit un peu plus facile à comprendre.
L'industrie est actuellement très déconcertée par le fait que cela ne peut pas être optimisé pour le BERT. Bien que cela soit tout à fait vrai, cela ne peut pas, vous avez juste besoin d'écrire un très bon contenu pour vos utilisateurs, je crois toujours que beaucoup d'entre nous entrent dans cet espace parce que nous sommes curieux de la nature. Si vous souhaitez en savoir un peu plus sur BERT et pouvoir l'expliquer un peu mieux aux clients ou avoir de meilleures conversations sur le contexte du BERT, j'espère que vous apprécierez cette vidéo. Sinon, et ce n'est pas pour vous, c'est bien aussi.
Mot clé: n'exagérez pas BERT!
Je suis tellement excitée de sauter. La première chose que je veux dire, c’est que j’ai pu discuter avec Allyson Ettinger chercheur en traitement du langage naturel. Elle est professeur à l'Université de Chicago. Quand je pouvais lui parler, la conclusion principale était qu'il était très, très important de ne pas abuser trop de BERT. Il y a beaucoup d'agitation en ce moment, mais on est encore loin de comprendre le langage et le contexte de la même manière que les humains peuvent le comprendre. Je pense donc qu'il est important de garder à l'esprit que nous n'accordons pas trop d'importance à ce que ce modèle peut faire, mais c'est toujours très excitant et c'est un moment assez monumental pour la PNL et l'apprentissage automatique. Sans plus tarder, entrons immédiatement.
D'où vient le BERT?
Je voulais donner à tout le monde un contexte plus large sur la provenance et l'orientation du BERT. Je pense que souvent, ces annonces sont une sorte de bombes larguées sur l'industrie et qu'il s'agit essentiellement d'une image immobile dans une série de films et que nous n'avons pas les fragments complets avant et après le film. Nous venons tout juste de recevoir ce cadre. Nous avons donc reçu cette annonce sur le BERT, mais revenons un peu en arrière.
Traitement du langage naturel
Traditionnellement, les ordinateurs ont du mal à comprendre le langage. Ils peuvent stocker du texte, nous pouvons saisir du texte, mais la compréhension du langage a toujours été incroyablement difficile pour les ordinateurs. Vient ensuite le traitement du langage naturel (NLP), domaine dans lequel les chercheurs ont développé des modèles spécifiques pour résoudre divers types de compréhension du langage. Quelques exemples sont appelés reconnaissance d’entité, classification. Nous voyons des sentiments, des questions et des réponses. Toutes ces choses ont été vendues traditionnellement par des modèles individuels en PNL et ressemblent donc un peu à votre cuisine.
Si vous pensez à des modèles individuels, tels que les ustensiles que vous utilisez dans votre cuisine, tout le monde a une tâche très spécifique à laquelle ils s'acquittent très bien. Mais quand BERT est arrivé, c'était une sorte d'ustensile de cuisine. C’était le seul ustensile de cuisine capable de traiter plus de dix ou onze solutions de traitement du langage naturel très bien après l’ajustement. C'est une différenciation vraiment passionnante dans l'espace. C'est pourquoi les gens sont très enthousiastes à ce sujet, car ils ne possèdent plus toutes ces choses uniques. Ils peuvent utiliser BERT pour résoudre tous ces problèmes, ce qui est logique car Google les intégrerait dans leur algorithme. Super, super excitant.
Où va le BERT?
Où va cette rubrique? Où est-ce que ça va? Allyson avait dit,
"Je pense que nous allons suivre le même chemin pendant un certain temps en construisant des variantes de BERT plus grandes et meilleures, qui sont plus fortes dans la mesure où BERT est fort et qui a probablement les mêmes limitations fondamentales" [19659016] Il existe déjà des tonnes de versions différentes du BERT et nous continuerons à en voir de plus en plus. Il sera intéressant de voir où se dirige cet espace.
Comment le BERT est-il devenu si intelligent?
Et si nous examinions de manière très simplifiée la façon dont le BERT est devenu si intelligent? Je trouve cela fascinant. Il est assez surprenant que Google ait réussi à le faire. Google a pris le texte de Wikipedia et une grande somme d’argent pour la puissance de calcul du TPU dans laquelle ils se sont réunis dans un pod V3, un système informatique si grand qu’il peut faire fonctionner ces modèles. Et ils ont utilisé un réseau de neurones non supervisé . Ce qu'il a de plus intéressant de savoir comment il apprend et comment il devient plus intelligent, c'est qu'il prend n'importe quelle longueur de texte arbitraire, ce qui est bien, car la langue est assez arbitraire dans notre façon de parler, dans la longueur des textes, et dans sa transcription. Dans un vecteur.
Il faudra une longueur de texte pour le coder en un vecteur, qui est une chaîne fixe de nombres facilitant sa traduction dans la machine. Cela se produit dans un espace vraiment sauvage et dimensionnel que nous ne pouvons même pas vraiment imaginer. Mais ce que cela fait est de mettre le contexte et les différentes choses dans notre langue dans les mêmes zones ensemble. Semblable à Word2vec, utilisez cette astuce appelée masquage .
Ensuite, il prendra différentes phrases dans lesquelles il s'entraîne et masquera un mot. Utilisez ce modèle bidirectionnel pour examiner les mots avant et après afin de prédire le mot masqué. Il le fait encore et encore jusqu'à ce qu'il soit extrêmement puissant. Et ensuite, il peut être ajusté pour effectuer toutes ces tâches de traitement de langage naturel. Vraiment, vraiment excitant et amusant, d'être dans cet espace.
Bref, BERT est le premier système profondément bidirectionnel. Tout ce que cela signifie, c'est que vous ne regardez que les mots avant et après les entités et le contexte, la représentation du langage non supervisé, préalablement formé dans Wikipedia. C'est donc ce très beau modèle pré-formé qui peut être utilisé à bien des égards.
Quelles sont certaines choses que BERT ne peut pas faire?
Allyson Ettinger a écrit cet excellent document de recherche intitulé Ce que BERT ne peut pas faire . Vous pouvez utiliser un lien Bitly pour y accéder directement. La conclusion la plus surprenante de ses recherches concerne ce domaine du diagnostic de déni, ce qui signifie que BERT n’est pas très bon pour comprendre le déni .
Par exemple, lorsque vous entrez avec un robin, il s'agit d'un … oiseau prédict, ce qui est correct, c'est génial. Mais quand un Robin est entré, ce n'est pas un … Il a également prédit un oiseau. Donc, dans les cas où BERT n'a pas vu d'exemples ou de contexte de refus, il aura toujours du mal à comprendre cela. Il y a beaucoup plus de choses intéressantes à emporter. Je vous recommande de vérifier, vraiment de bonnes choses.
Comment optimisez-vous pour BERT? (Vous ne pouvez pas!)
Enfin, comment optimisez-vous pour BERT? Encore une fois, vous ne pouvez pas. La seule façon d’améliorer votre site Web avec cette mise à jour est d’écrire un contenu vraiment excellent pour vos utilisateurs et de répondre à l’intention qu’ils recherchent. Et puis vous ne pouvez pas, mais je dois juste mentionner une chose, car honnêtement, je ne peux pas me le dire, c'est qu'il y a une vidéo sur YouTube où Jeff Dean, nous allons la relier, est un discours d'ouverture de Jeff Dean où il parle de BERT et aborde des questions naturelles et comprend des questions naturelles. La grande conclusion pour moi était cet exemple, eh bien, disons que quelqu'un a posé la question, pouvez-vous faire et recevoir des appels en mode avion? Le bloc de texte dans lequel la couche de traduction en langage naturel de Google tente de comprendre tout ce texte. C'est beaucoup de mots. C'est très technique, difficile à comprendre.
Avec ces couches, profitant d'éléments comme BERT, elles ne pouvaient pas répondre à tous ces langages complexes, longs et déroutants. C'est très très puissant dans notre espace. Considérons des choses comme présentant des fragments; considèrent les choses comme des caractéristiques générales seulement SERP . Je veux dire, cela peut commencer à avoir un impact important sur notre espace. Je pense donc qu'il est important de savoir où tout se passe et ce qui se passe dans ce domaine.
J'espère que vous avez apprécié cette version de Whiteboard Friday. Faites-moi savoir si vous avez des questions ou des commentaires ci-dessous et j'espère vous voir tous la prochaine fois. Merci beaucoup.
