ORES

Wikimedia'nın açık projeleriyle ilgili en kritik endişelerden biri, potansiyel olarak zarar verici katkıların incelenmeleri ("düzenlemeler"). Ayrıca iyi niyetle katkıda bulunanları (kasıtsız olarak zarara neden olabilecek) belirleme ve onlara destek verme ihtiyacı da vardır. Bu modeller Special:RecentChanges beslemesi yoluyla filtreleme işini kolaylaştırmak için tasarlanmıştır. Düzenleme kalitesi tahmin modelleri için iki düzey destek sunuyoruz: temel ve gelişmiş.

En zararlı düzenlemelerin geri alma düzenlenmesi ve zarar vermeyen düzenlemelerin geri döndürülmemesi olacağını varsayarsak, düzenlemelerin geçmişini (ve geri döndürülen düzenlemelerin) bir viki. Bu modelin kurulumu kolaydır, ancak hasar ve vandalizm dışındaki nedenlerle birçok düzenlemenin geri döndürülmesi sorunundan muzdariptir. Buna yardımcı olmak için kötü kelimelere dayalı bir model oluşturuyoruz.

• geri alındı – bir düzenlemenin sonunda geri döndürülüp döndürülmeyeceğini tahmin eder

Varsayımlardan, editörlerden ORES'i hangi düzenlemelerin aslında zarar verici olduğunu ve hangi düzenlemelerin iyi niyet içine kaydedilmiş gibi göründüğünü öğretmesini isteyebiliriz. Bu, topluluktaki gönüllülerin ek çalışmalarını gerektirir, ancak bir düzenlemenin kalitesi konusunda daha doğru ve incelikli bir tahmin sağlar. Birçok araç yalnızca hedef viki için gelişmiş destek mevcut olduğunda çalışır.

• zarar – bir düzenlemenin hasara neden olup olmadığını tahmin eder
• iyi niyet – düzenlemenin iyi niyetle kaydedilip kaydedilmediğini tahmin eder

Vikipedi maddelerin kalitesi, Vikipedistler için temel bir sorundur. Spam, vandalizm ve saldırı maddelerin vikide kalmamasını sağlamak için yeni sayfalar incelenmeli ve derlenmelidir. İlk tedaviden sağ çıkan maddeler için, Vikipedistlerin bir kısmı makalelerin kalitesini düzenli olarak değerlendirir, ancak bu oldukça emek yoğundur ve değerlendirmeler genellikle güncel değildir.

Ciddi sorunlu taslak maddeler ne kadar hızlı kaldırılırsa o kadar iyidir. Yeni sayfa kreasyonlarını iyileştirmek çok iş olabilir. Düzenlemelerde karşı-vandalizm sorunu gibi, makine tahminleri de küratörlerin önce en sorunlu yeni sayfalara odaklanmalarına yardımcı olabilir. Hizmetlilerin sayfaları sildiklerinde bıraktıkları yorumlara dayanarak (logging tablosuna bakın), hangi sayfaların hızlı bir şekilde silinmesi gerektiğini tahmin etmek için bir model eğitebiliriz. Türkçe Vikipedi'nin hızlı silme nedenlerinin bir listesi için tr:VP:HS sayfasına bakın. Türkçe modeli için G3 "vandalizm", G10 "saldırı" ve G11 "spam" kullandık.

• draftquality – maddenin hızlı bir şekilde silinmesi gerekip gerekmediğini tahmin eder (spam, vandalizm, saldırı veya iyi)

İlk tedaviden sağ çıkan maddeler için, bazı büyük Vikipedistler maddelerin kalitesini düzenli olarak İngilizce Vikipedi 1.0 değerlendirme derecelendirme ölçeğine ("madde kalitesi") karşılık gelen bir ölçek kullanarak değerlendirmektedir. Bu değerlendirmelere sahip olmak çok yararlıdır, çünkü ilerlememizi ölçmemize ve kaçırılmış fırsatları belirlememize yardımcı olur (örneğin, düşük kaliteli popüler maddeler). Bununla birlikte, bu değerlendirmeleri güncel tutmak zordur, bu nedenle kapsam tutarsızdır. articlequality makine öğrenimi modelinin kullanışlı olduğu yer burasıdır. İnsanların gerçekleştirdiği madde kalitesi değerlendirmelerini çoğaltmak için bir model eğiterek, her maddeyi ve her düzeltmeyi bir bilgisayarla otomatik olarak değerlendirebiliriz. Bu model, Vikiprojeler triyaj değerlendirme çalışmasına yardımcı olmak ve makale kalitesi iyileştirmelerine yol açan düzenleme dinamiklerini araştırmak için kullanılmıştır.

Madde kalitesi modeli, tahminlerini maddenin yapısal özelliklerine dayandırmaktadır. Ör. Kaç bölüm var? Bilgi kutusu var mı? Kaç kaynakça var? Kaynakça bir {{Cite xxx }} şablonu kullanıyor mu? Madde kalitesi modeli yazının kalitesini veya bir ton problemi olup olmadığını değerlendirmez (örneğin, itilen bir bakış açısı). Bununla birlikte, maddelerin yapısal özelliklerinin çoğu iyi yazma ve ton ile güçlü bir şekilde ilişkili gibi görünmektedir, bu nedenle modeller pratikte çok iyi çalışır.

• articlequality – * articlequality – bir maddenin veya taslağın (Vikipedi 1.0 benzeri) değerlendirme sınıfını tahmin eder

ORES'in madde konusu modeli, Vikipedi'deki herhangi bir makaleye - hatta yeni madde taslaklarına - sezgisel bir yukarıdan aşağı sınıflandırma uygular. Bu konu yönlendirme, yeni maddeleri seçmek, çalışma listeleri oluşturmak, yeni Vikiproje oluşturmak ve kapsam boşluklarını analiz etmek için kullanışlıdır.

ORES konu modelleri, gerçek içeriğin en:word embedding kullanılarak eğitilir. Her dil için, dile özgü bir gömme öğrenilir ve yerel olarak uygulanır. Bu modelleme stratejisi maddenin konusuna bağlı olduğundan, konu tahminleri maddenin metninde bulunan konulara bağlı olarak diller arasında farklılık gösterebilir.

Yeni makaleleri gözden geçirmenin en büyük zorluğu, noterlik, alaka düzeyi ve doğruluğu yargılamak için konuyu bilen birini bulmaktır. drafttopic modelimiz, yeni oluşturulan maddeleri, görünür topikal yapılarına dayanarak ilgili yorumculara yönlendirmek için tasarlanmıştır. Model, maddelerin ilk revizyonuna karşı eğitilir ve test edilir ve bu nedenle yeni makale taslaklarında kullanıma uygundur.

• drafttopic – yeni bir makale taslağının konusunu tahmin eder

Maddelerin konuyla ilgisi, Vikipedi'de iş organizasyonu için önemli bir kavramdır. Topikal çalışma grupları, içerik üretimini yönetmek ve Vikipedi'de devriye gezmek için ortak bir strateji haline geldi. Ancak, yüksek düzeyli bir hiyerarşi pek çok nedenden dolayı kullanılamıyor veya sorgulanamıyor. Sonuç olarak, bir konu etrafında organize olmak ya da bir çalışma listesi yapmak isteyen herkes, ilgili maddeleri tanımlamak için önemli manüel çalışmalar yapmak zorundadır. articletopic modelimizle bu sorgular otomatik olarak yapılabilir.

• articletopic – bir maddenin konusunu tahmin eder (daha fazla ayrıntı )

ORES destek tablosu mevcut viki ve modele göre ORES desteğinin durumunu bildirir. Vikinizi listede görmüyorsanız veya kullanmak istediğiniz model için destek görmüyorsanız destek isteğinde bulunabilirsiniz.

ORES, düzeltmelerle ilgili puanlama bilgilerini dinamik olarak almak için bir Restful API hizmeti sunmaktadır. API'nın kullanımı hakkında daha fazla bilgi için https://ores.wikimedia.org sayfasına bakın.

Hizmeti çok sayıda revizyonla ilgili olarak sorguluyorsanız, aşağıda açıklandığı gibi belirli bir istek dahilinde 50'den fazla revizyonu gruplamamanız önerilir. En fazla 4 paralel istek kullanılması kabul edilebilir. Lütfen bu sınırları aşmayın, aksi takdirde ORES kararsız hale gelebilir. Daha da fazla sayıda sorgu için, ORES'i yerel olarak çalıştırabilirsiniz

Örnek sorgu: http://ores.wikimedia.org/v3/scores/enwiki/?models=draftquality|wp10&revids=34854345|485104318

{
  "enwiki": {
    "models": {
      "draftquality": {
        "version": "0.0.1"
      },
      "wp10": {
        "version": "0.5.0"
      }
    },
    "scores": {
      "34854345": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.7013632376824356,
              "attack": 0.0033607229172158775,
              "spam": 0.2176404529599271,
              "vandalism": 0.07763558644042126
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "FA",
            "probability": {
              "B": 0.22222314275400137,
              "C": 0.028102719464462304,
              "FA": 0.7214649122864883,
              "GA": 0.008833476344463836,
              "Start": 0.017699431000825352,
              "Stub": 0.0016763181497590444
            }
          }
        }
      },
      "485104318": {
        "draftquality": {
          "score": {
            "prediction": "OK",
            "probability": {
              "OK": 0.9870402772858909,
              "attack": 0.0006854267347843173,
              "spam": 0.010405615745053554,
              "vandalism": 0.0018686802342713132
            }
          }
        },
        "wp10": {
          "score": {
            "prediction": "Stub",
            "probability": {
              "B": 0.02035853144725939,
              "C": 0.021257471714087376,
              "FA": 0.0018133076388221472,
              "GA": 0.003447287158958823,
              "Start": 0.1470443252839051,
              "Stub": 0.8060790767569672
            }
          }
        }
      }
    }
  }
}

Örnek sorgu: https://ores.wikimedia.org/v3/scores/wikidatawiki/421063984/damaging

{
  "wikidatawiki": {
    "models": {
      "damaging": {
        "version": "0.3.0"
      }
    },
    "scores": {
      "421063984": {
        "damaging": {
          "score": {
            "prediction": false,
            "probability": {
              "false": 0.9947809563336424,
              "true": 0.005219043666357669
            }
          }
        }
      }
    }
  }
}

ORES puanları ayrıca https://stream.wikimedia.org/v2/stream/revision-score adresinde EventStream olarak sağlanır.

ORES'i yerel olarak çalıştırmak için ORES Python paketini şu şekilde kurabilirsiniz:

pip install ores # needs to be python3, incompatible with python2

O zaman bunu çalıştırabilmelisiniz:

echo -e '{"rev_id": 456789}\n{"rev_id": 3242342}' | ores score_revisions https://ores.wikimedia.org (kullanıcı aracısı dizeniz buraya gelir) enwiki damaging

Çıkışını görmelisiniz

017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Reading input from <stdin>
2017-11-22 16:23:53,000 INFO:ores.utilities.score_revisions -- Writing output to from <stdout>
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9889349126544834, "true": 0.011065087345516589}}}}, "rev_id": 456789}
{"score": {"damaging": {"score": {"prediction": false, "probability": {"false": 0.9830812038318183, "true": 0.016918796168181708}}}}, "rev_id": 3242342}