Metoda učení vektorů slov z okolního kontextu

Skip-gram word embedding method

Skip-gram učí vektor slova tak, aby pomáhal předpovídat další slova v jeho okolí v textu.

Model pracuje s cílovým slovem a okolními tokeny ve zvoleném okně. Často zastoupená slova vytvářejí bohatší reprezentace, zatímco vzácná mají méně příkladů. Výsledné vztahy odrážejí jazyková data včetně jejich zkreslení a nemusí přenášet význam mezi doménami.