Veri provenance ve dönüşüm raporu

Bu rapor, bir source byte’ının veya annotation kararının hangi süreçten geçerek hangi release authority’sine ulaştığını gösterir. Raw source içeriğini çoğaltmaz, source dahil/hariç kararlarını yeniden vermez ve final full-data release’in yayımlandığını iddia etmez.

Normatif provenance modeli ADR-006 ve MAT-003 kayıtlarındadır. Fiziksel şema yerleşimi için veritabanı kataloğunu, genel authority akışı için sistem mimarisini kullanın.

Raporun kanıt seviyesi

Katman	Bu sayfadaki iddianın kaynağı	Kanıt sınırı
Contract	ADR, MAT, JSON Schema ve config	İzin verilen model ve deterministik kurallar
Committed artifact	data/canonical, data/curated, data/reports, data/translations ve sample fixtures	Repo içindeki exact manifest/root ve kabul edilmiş küçük/dağıtılabilir çıktılar
Private full artifact	Config’te SHA-256/byte/count ile bağlanan private-artifact: girdileri	İçerik repo içinde yayımlanmaz; hash ve kabul kaydı referans olur
Database release	Domain release tablosu, provenance manifesti ve publication authorization	İçe aktarılmış/sealed state; source dosyasının kendisi değildir
API deployment	api_control deployment ve domain release binding’i	Hangi accepted release’in istemciye gerçekten sunulduğu

Bir önceki katmanın varlığı sonraki katmanın gerçekleştiği anlamına gelmez. Örneğin committed bir package manifesti DB publication, DB release’i de public deployment kanıtı değildir.

Uçtan uca zincir

flowchart LR
  accTitle: Source'tan public projection'a provenance ve dönüşüm zinciri
  accDescr: Salt okunur source release ve artifact kayıtları process contract ile çalışan deterministik veya reviewed sürece girer; process run input, output ve evidence bağları derived artifact ve domain release üretir; publication authorization sonrasında API deployment ayrı bir kararla release'i public projection'a bağlar.
  sourceSystem[source system]
  sourceRelease[source release]
  sourceArtifact[source artifact + record]
  processContract[process contract]
  processRun[process run]
  inputs[ordered inputs]
  outputs[ordered outputs]
  evidence[evidence + validation]
  artifact[derived artifact]
  coverage[coverage + closure]
  domainRelease[core/domain release]
  authorization[publication authorization]
  deployment[API deployment binding]
  projection[public allowlisted projection]

  sourceSystem --> sourceRelease --> sourceArtifact
  processContract --> processRun
  sourceArtifact --> inputs --> processRun
  processRun --> outputs --> artifact
  processRun --> evidence
  artifact --> coverage
  evidence --> coverage
  coverage --> domainRelease
  authorization --> domainRelease
  domainRelease --> deployment --> projection

MAT-003, generic table_name + row_id bağlantısı kullanmaz. Her supported domain endpoint’i typed owner bridge ile bağlanır. Böylece provenance kaydı var olmayan veya başka domain’e ait bir UUID’yi geçerli hedef gibi gösteremez.

Core metin dönüşümü

Canonical Latin core için “dönüşüm”, metni sadeleştirmek veya normalize etmek değildir. Kaynak byte sırası aşağıdaki kontrollü temsillere ayrılır:

1. Authoritative source release ve exact dosya inventory’si SHA-256 ile sabitlenir.
2. Paragraph/sentence sınırları kaynak koordinatlarıyla çıkarılır ve legacy koordinatlar deterministic stable identity path’lerine crosswalk edilir.
3. Compiler, hierarchy ve token occurrence sırasını üretir. Token body ile onu izleyen boşluk/noktalama exact_body/literal_text ve trailing_text olarak kayıpsız korunur.
4. Sealer stream root’larını ve core root’u hesaplar; packager schema-bound release envelope’u ve provenance companion’ını üretir.
5. Importer core ve provenance satırlarını tek transaction’da doğrular ve yayımlar. Bir root, sıra, coverage veya FK hatası ikisini birlikte rollback eder.

Şapka, apostrof, büyük/küçük harf, boşluk veya noktalama “iyileştirilmez”. Exact reconstruction sonucu source metne byte düzeyinde dönmelidir. Ayrıntılar corpus package ve exact reconstruction rehberlerindedir.

Domain dönüşüm kataloğu

Domain	Kabul edilmiş giriş	Dönüşüm/review	Authority çıktısı
Core	Authoritative Latin source inventory, sentence source, stable identity ve legacy crosswalk	Exact parser/compiler, deterministic sealing, package ve atomic importer	public.core_releases ile immutable hierarchy/token occurrence’ları; provenance manifesti
Segment	Legacy segment inventory + exact core crosswalk	Parent/span derivation, ambiguity partition ve package validation	structural_control.structural_releases içindeki stable segment/span kayıtları
Heading	Source extractor adayları + core anchor’ları	Hierarchy extraction, semantic audit, accepted/excluded classification	Heading publication manifesti ve structural_control.heading_releases
Haşiye/not	Formal haşiye ve yıldızlı not parser çıktıları + sentence witnesses	Marker/body/selection relation derivation ve coverage gap kontrolü	note_control.note_releases, note/marker/body projection’ı
Osmanlıca	Classified source records, curated pattern/form/rule catalog’ları + core token path’leri	Longest exact mapping, orthographic style, span rendering, coverage ve reader-unit sealing	Ottoman mapping/output, rendering occurrence ve published reader release’leri
Lexical/terkip	Dictionary closure, root kararları, terkip sınırları, form analysis ve accepted curation	Lexeme/form/root/sense selection, compound occurrence/children, hover binding ve occurrence index	lexical_control.lexical_releases ve release-bound hover/lookup projection’ları
Tekrar	Immutable core passages + heading/note projection’ları	Exact class, sentence-run, near candidate, replayable diff, review ve canonical choice	repetition_control.repetition_releases; candidate canonical olmaz
Çok dillilik	Ayrı exact language source release + Türkçe stable sentence crosswalk	Parser, unit/scope, candidate/group/order, review ve coverage partition	alignment_control.alignment_releases; source ve target metin bağımsız kalır
Reference resolution	Active referenceable entity kinds + accepted lexical/compound supersession olayları	Deterministic registry transaction, policy-bound current-resolution path ve release sealing	reference_control registry/resolution release’i; authored atıf edge’i değildir

Başlıca committed evidence kökleri:

• Yapısal veriler: data/canonical/structural-segments, data/canonical/headings, data/canonical/notes.
• Osmanlıca/lexical: data/curated/ottoman, data/reports/ottoman-publication, data/reports/lexical-publication.
• Çok dillilik: data/translations/text ve data/translations/control.
• Reference kimlik istikrarı: data/releases/id-stability-v1.json.

Bu kökler farklı authority’leri temsil eder; tek bir “master JSON” içine birleştirilmez. Her domain kendi release root’unu korur, API deployment bunları explicit bir tuple olarak bağlar.

Provenance kayıtlarının anlamı

Kayıt ailesi	Cevapladığı soru
source_system, source_release, source_artifact, source_record	Hangi dış snapshot ve exact artifact kullanıldı?
process_contract, process_run	Hangi versioned işlem hangi terminal durumla çalıştı?
process_run_input, process_run_output	Run’a hangi ordered girdiler girdi, hangi çıktılar çıktı?
derived_artifact	Üretilen artifact’in media/profile/size/root kimliği nedir?
evidence_edge, validation_attestation	Bir iddia hangi doğrulama/evidence yoluyla destekleniyor?
coverage_binding, endpoint_coverage_set	Beklenen evrenin hangi partition’ı kapsandı veya blocking kaldı?
provenance_release_manifest, publication_authorization	Hangi closure hangi yayın kararına bağlandı?
curation_*	İnsan/kurallı düzeltme hangi proposal, review, decision ve transaction’dan geçti?

Core publication sırasında bu metadata compact kalır; token, sentence veya source metin provenance tablolarında ikinci kez saklanmaz.

Public ve private görünürlük

Public corpus provenance projection’ı explicit_allowlist_default_deny uygular. Entity/release kimliği, public membership root/count, process run referansı, opaque evidence path ID’leri ve closure durumu yayımlanabilir. Şunlar public projection’a çıkmaz:

• absolute veya logical source locator’ları;
• selector payload’ları ve private-to-public mapping;
• host, kullanıcı adı ve local label;
• private audit, witness, evidence ve graph root’ları;
• raw source kayıtları veya repo dışında tutulan full artifact içerikleri.

Opaque evidence ID audit için iz bırakır, fakat public istemciye private provenance grafiğini açmaz. Public alanların exact allowlist’i config/corpus-provenance-projection.yml içindedir.

Committed sample kanıtı

Birinci Söz sample package’ındaki data/fixtures/packager/birinci-soz/release/public-provenance-manifest.json şunları birlikte bağlar:

• core release ID ve core root;
• 4.859 public member kimliği;
• 8 coverage binding satırı;
• 4.936 legacy crosswalk mapping’i ve mapping-set root’u;
• başarılı materialization run’ı;
• sıfır blocking set ile closed closure;
• disclosure policy ve public projection root’u.

Bu dosya şema, canonicalization, projection ve disclosure davranışının committed örneğidir. Full scope girdileri config’te private artifact hash/byte/count değerleriyle bağlıdır. Final dağıtılabilir core artifact, public provenance sidecar’ları ve dış checksum’ları tr-latn-1 olarak yayımlanmıştır; exact envanter ve doğrulama akışı full data release rehberindedir.

Bir kaydı geriye doğru izleme

Core entity

1. Entity’nin core_release_id ve text_version_id değerini alın.
2. Public provenance membership/binding kaydında entity ID’sini bulun.
3. Opaque process_run_id, evidence path ve closure ID’sini audit yetkisiyle private provenance graph’ına çözün.
4. Run output’tan derived package/core artifact’ine, ordered input’tan source artifact/release’e gidin.
5. Crosswalk gerekiyorsa legacy mapping attestation ve mapping-set root’unu doğrulayın.

Annotation veya lexical entity

1. Entity’nin domain release ve shared anchor/core release bağını alın.
2. Domain publication manifesti ile package/root/evidence closure’ını çözün.
3. Deterministik çıktıysa process run input’larını; curated çıktıysa proposal, review, decision ve applied transaction zincirini izleyin.
4. Superseded kaydı silmeyin; current resolution release’inin accepted event path’ini takip edin.
5. Public davranış soruluyorsa ayrıca api_control deployment binding’ini doğrulayın.

Düzeltme ve yeniden üretim

Source veya process contract değişirse eski artifact üzerine yazılmaz. Yeni source release/process run/derived artifact ve gerekiyorsa yeni domain release üretilir. Semantic düzeltme ise append-only curation transaction ve successor/supersession ilişkisiyle yayımlanır. Böylece eski atıf kimliği exact geçmişi göstermeye devam eder, current çözümleme ise yeni accepted state’e gidebilir.

Tekrar üretim aynı declared input bytes, contract/profile, deterministic sıra ve canonical serialization ile aynı ID/root’ları vermelidir. Runtime timestamp, host, absolute path ve credential canonical identity’ye dahil edilmez.

Odaklı doğrulama

Değişiklik yüzeyine göre gereken en küçük kontrolü seçin:

# Committed Birinci Söz public provenance projection'ı.
make corpus-provenance-projection-check

# MAT-003 contract/migration/SDK bağları; DB açmaz.
make shared-provenance-check

# Full private girdiler hazırsa tek seferlik full handoff doğrulaması.
MUNDERECAT_ARTIFACT_ROOT=/private/artifact/root make corpus-provenance-full-check

Full provenance, DB publication veya tüm domain pipeline’larını rutin doküman değişikliklerinde yeniden çalıştırmayın. Kaynak dahil/hariç kararlarının public raporu F10-004’e, full artifact/checksum yayını F10-006’ya aittir.