Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup
Paper • 2101.06983 • Published • 3
How to use Ehsanl/bidir1_7 with sentence-transformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("Ehsanl/bidir1_7", trust_remote_code=True)
sentences = [
"Instruct: Given a Dutch legal query, retrieve relevant articles that help answer the query.\nQuery: Is de rechtbank bevoegd om dit geschil te beslechten en zo ja, welke rechtbank?",
"Eisen Wijze van Keuren 1. De mistvoorlichten en de achteruitrijlichten mogen niet anders dan wit of geel stralen. Leden 1 tot en met 7: visuele controle, waarbij de desbetreffende lichten worden ingeschakeld. 2. De parkeerlichten mogen naar voren niet anders dan wit, en naar achteren niet anders dan rood stralen, tenzij zij zijn ingebouwd in ambergeel stralende zijrichtingaanwijzers. 3. De extra richtingaanwijzers, extra waarschuwingsknipperlichten en extra zijrichtingaanwijzers mogen naar voren niet anders dan wit of ambergeel, en naar achteren niet anders dan rood of ambergeel stralen. 4. De zijmarkeringslichten mogen niet anders dan ambergeel stralen. Het achterste zijmarkeringslicht mag rood stralen. 5. De markeringslichten en staaklichten mogen naar voren niet anders dan wit en naar achteren niet anders dan rood stralen. 6. Het derde remlicht mag niet anders dan rood stralen. 7. De dagrijlichten, bochtlichten en hoeklichten mogen niet anders dan wit stralen.",
"Het arrondissement Limburg omvat het grondgebied van de provincie Limburg.",
"Indien de uitspraak is gedaan door een andere rechtbank dan de bevoegde, kan de hogerberoepsrechter de uitspraak als bevoegdelijk gedaan aanmerken.",
"Het ressort ’s-Hertogenbosch omvat de volgende arrondissementen: a. Limburg; b. Oost-Brabant; c. Zeeland-West-Brabant.",
"1. De stukken voor aanvulling en correctie van het verzoek als bedoeld in artikel 9 van de verordening, voor wijziging van het verzoek als bedoeld in artikel 10 van de verordening en voor afwijzing van het verzoek als bedoeld in artikel 11 van de verordening alsmede het uitvoerbare Europees betalingsbevel als bedoeld in artikel 18, derde lid, van de verordening worden aan de eiser toegezonden per gewone post.\n2. Een mededeling als bedoeld in artikel 17, derde lid, van de verordening wordt aan partijen toegezonden per gewone post.",
"Het bedrag per leerling, bedoeld in artikel 132, derde lid, WPO, is € 379,34.",
"Bijlage Ibevat begripsbepalingen voor de toepassing van dit besluit.",
"1. Speelgoed en kinderwaren dienen zodanig te zijn samengesteld en zodanige eigenschappen te hebben alsmede van zodanige vermeldingen te zijn voorzien, dat zij bij gebruik overeenkomstig de bestemming of bij gebruik op een wijze die gezien het gangbare gedrag van kinderen te verwachten is, geen bijzonder gevaar opleveren voor de veiligheid of gezondheid van de gebruiker of van derden.\n2. Speelgoed en kinderwaren moeten voldoen aan de inbijlage 2vermelde voorschriften.\n3. Onze Minister kan voor wat betreft kinderwaren nadere regelen vaststellen met betrekking tot de in het eerste lid bedoelde samenstelling, eigenschappen en vermeldingen.",
"[Wijzigt de Wet op de motorrijtuigenbelasting 1994.]"
]
embeddings = model.encode(sentences)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [10, 10]This is a sentence-transformers model finetuned from BidirLM/BidirLM-1.7B-Embedding on the json dataset. It maps inputs to a 2048-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'unpad_inputs': False, 'architecture': 'BidirLMModel'})
(1): Pooling({'embedding_dimension': 2048, 'pooling_mode': 'mean', 'include_prompt': True})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("Ehsanl/bidir1_7")
# Run inference
queries = [
'Instruct: Given a Dutch legal query, retrieve relevant articles that help answer the query.\nQuery: is er een regeling voor jeugdhulporganisaties die met heel veel gemeenten zaken doen?',
]
documents = [
'De minister kan aan een organisatie een subsidie verstrekken: a. ten behoeve van de onvermijdbare kosten die een organisatie moet maken om in 2015 de continuïteit van een voorziening te verzekeren; b. ten behoeve van de onvermijdbare kosten die een organisatie moet maken voor de afbouw van langdurige verplichtingen die de organisatie vóór 1 januari 2014 is aangegaan ten behoeve van een voorziening die door gemeenten op grond van de Jeugdwet niet of in mindere mate bekostigd zal worden; c. ten behoeve van de kosten die een organisatie, die voor de bekostiging of bevoorschotting van een voorziening afhankelijk is van een groot aantal gemeenten, in 2015 moet maken om aan haar financiële verplichtingen te kunnen voldoen, indien die bekostiging of inkoop door gemeenten vanwege het grote aantal betrokken gemeenten mogelijk gedurende enige tijd op zich laat wachten. Van een groot aantal betrokkenen is sprake wanneer een organisatie zowel in ten minste 10 samenwerkingsregio’s in 2013 een omzet heeft behaald van ten minste 2% per regio als in ten hoogste twee samenwerkingsregio’s in 2013 een omzet van ten hoogste 30% per regio heeft behaald en in alle andere regio’s in 2013 een omzet van ten hoogste 20% per regio heeft behaald.',
'1. Het centraal administratiekantoor verricht de administratieve taak van landelijk kantoor voor de betaling van bedragen, welke uit hoofde van de uitvoering van de wet verschuldigd zijn aan personen en instellingen ter zake van het verlenen van zorg als bedoeld inartikel 2.\n2. De in het eerste lid bedoelde betalingen geschieden namens de uitvoeringsorganen.',
'In gevallen waarin andere, wettelijke of krachtens internationale verplichtingen voorgeschreven, procedures gehanteerd moeten worden, wijst de IGZ de melder hierop. In die gevallen is deze Leidraad niet van toepassing.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 2048] [3, 2048]
# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5785, 0.3224, 0.0050]])
legal-valmain.RankZeroIREvaluator| Metric | Value |
|---|---|
| cosine_accuracy@1 | 0.496 |
| cosine_accuracy@5 | 0.752 |
| cosine_accuracy@10 | 0.826 |
| cosine_precision@1 | 0.496 |
| cosine_precision@10 | 0.1484 |
| cosine_recall@1 | 0.2702 |
| cosine_recall@10 | 0.6139 |
| cosine_ndcg@10 | 0.5222 |
| cosine_mrr@10 | 0.6052 |
| cosine_map@100 | 0.4419 |
anchor, label, candidate_0, candidate_1, candidate_2, candidate_3, candidate_4, candidate_5, candidate_6, candidate_7, and candidate_8| anchor | label | candidate_0 | candidate_1 | candidate_2 | candidate_3 | candidate_4 | candidate_5 | candidate_6 | candidate_7 | candidate_8 | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| type | string | list | string | string | string | string | string | string | string | string | string |
| modality | text | text | text | text | text | text | text | text | text | text | |
| details |
|
|
|
|
|
|
|
|
|
|
|
| anchor | label | candidate_0 | candidate_1 | candidate_2 | candidate_3 | candidate_4 | candidate_5 | candidate_6 | candidate_7 | candidate_8 |
|---|---|---|---|---|---|---|---|---|---|---|
Instruct: Given a Dutch legal query, retrieve relevant articles that help answer the query. |
[1.0, 1.0, 1.0, 1.0, 0.0, ...] |
1. Tot den legger behoort een overzichtskaart op geen kleinere schaal dan van 1 op 25 000, waarop de wegen met hun nommers zijn aangewezen. Voor zoover de bruggen in den legger onder een afzonderlijk nommer zijn genoemd, worden ook die bruggen met hare nommers op de kaart aangegeven. Voor de overzichtskaart wordt gebruikt eene van Rijkswege uitgegeven topografische kaart, voor zoover deze op de voorgeschreven schaal bestaat. |
1. De legger houdt in: I. het nommer van den weg; II. den naam, waaronder de weg bekend staat; III. de eindpunten en de richting van den weg; IV. de beperkingen in het gebruik van den weg, als bedoeld inartikel 6, alsmede de afschuttingen, welke zich op den weg bevinden; V. de verharding met vermelding van haren aard, breedte en lengte; VI. de zich in den weg bevindende bruggen en duikers, met vermelding van hunnen aard, hoofdafmetingen en samenstelling; VII. de onderhoudsplichtigen van den weg en van de zich daarin bevindende bruggen en duikers; VIII. den omvang van den onderhoudsplicht; IX. degenen, die tot het onderhoud hebben bij te dragen, met vermelding van de hoegrootheid der bijdrage; X. het gezag, dat volgens deartikelen 16of17heeft te zorgen, dat de weg in goeden staat verkeert. |
1. Het bepaalde bij of krachtens deze wet en provinciale en plaatselijke verordeningen gelden slechts voor zover zulks bij algemene maatregel van bestuur is bepaald: a. ten aanzien van voertuigen, voor zover die worden gebezigd ten behoeve van de strijdkrachten; b. voor militairen te voet, voor zover zij zich ter uitoefening van de dienst op de weg bevinden. |
1. De handelaar die gekoppelde reisarrangementen faciliteert neemt de maatregelen die nodig zijn om te verzekeren dat, voor zover een reisdienst die deel uitmaakt van een gekoppeld reisarrangement door financieel onvermogen van die handelaar jegens de reiziger niet of niet verder kan worden nagekomen, wordt zorggedragen voor terugbetaling van de reissom die hij ontvangt van de reiziger of, indien de reisdienst reeds ten dele is genoten, een evenredig deel daarvan. Indien de handelaar die gekoppelde reisarrangementen faciliteert voor het personenvervoer verantwoordelijk is, voorzien de maatregelen in de repatriëring van de reiziger.Artikel 513a, lid 2 tot en met 6, is van overeenkomstige toepassing. |
De heffingsnota bevat ten minste: a. de naam van de onderneming; b. het adres van de onderneming c. een specificatie of toelichting omtrent de wijze waarop de heffing is berekend; d. het totaal van de heffing, en e. een dagtekening. |
De inartikel 571bedoelde aanplakkingen en aankondigingen moeten inhouden: a. naar gelang de verkoop zal plaatsvinden met toepassing vanartikel 575of576: de rechter in eerste aanleg voor wie de verkoop zal plaatsvinden of de naam van de deurwaarder die met de verkoop is belast; b. de voornamen, naam en woonplaats van de executant, alsmede de door deze met inachtneming vanartikel 565, tweede lid, gekozen woonplaats; c. de titel uit hoofde waarvan de verkoop plaatsvindt, en het bedrag dat krachtens deze titel aan de executant verschuldigd is; d. de naam en de woonplaats van de eigenaar of de boekhouder van het in beslag genomen schip, indien een en ander bekend is, alsmede van hem jegens wie de in onderdeel c bedoelde titel luidt, indien deze een ander is dan de eigenaar; e. de naam van het schip; f. de scheepsruimte; g. de plaats waar het schip zich bevindt; plaats, dag en uur van de verkoop. |
1. De minister verstrekt op aanvraag subsidie aan producenten van hernieuwbare elektriciteit geproduceerd door een productie-installatie voor de productie van hernieuwbare elektriciteit uit zonlicht met behulp van fotovoltaïsche zonnepanelen met een vermogen: a. groter dan 0,6 kWp en kleiner dan of gelijk aan 15 kWp; b. groter dan 15 kWp en kleiner dan of gelijk aan 100 kWp, welke zijn geplaatst op of tegen een gebouw als bedoeld in artikel 1, onderdeel c, Woningwet. |
1. In iedere gemeente wordt van de buiten de bebouwde kom, of kommen gelegen wegen alsmede van de toegangswegen naar stations als bedoeld in artikel 26, tweede lid, van de Spoorwegwet, ook al zijn deze binnen een bebouwde kom gelegen, een legger opgemaakt. |
Hij die door geweld of bedreiging met geweld een vergadering van de regeringsraad uiteenjaagt, tot het nemen of niet nemen van enig besluit dwingt, een lid uit die vergadering verwijdert of opzettelijk een lid verhindert die vergadering bij te wonen of daarin vrij en onbelemmerd zijn plicht te vervullen, wordt gestraft met levenslange gevangenisstraf of tijdelijke van ten hoogste dertig jaren of geldboete van de vijfde categorie. |
Instruct: Given a Dutch legal query, retrieve relevant articles that help answer the query. |
[1.0, 1.0, 1.0, 0.0, 0.0, ...] |
Bij het faillissement van een rechtspersoon zijn de bepalingen van deartikelen 87-91op de bestuurders, die vanartikel 105, eerste lid, op bestuurders en commissarissen toepasselijk. |
1. De rechtbank kan bij het vonnis van faillietverklaring of te allen tijde daarna, doch in het laatste geval niet dan op voordracht van de rechter-commissaris, of op verzoek van de curator of van een of meer der schuldeisers en na de rechter-commissaris gehoord te hebben, bevelen, dat de gefailleerde, wegens het niet nakomen van verplichtingen welke de wet hem in verband met zijn faillissement oplegt, dan wel wegens gegronde vrees voor het niet nakomen van zodanige verplichtingen, in verzekerde bewaring worde gesteld, hetzij in een huis van bewaring, hetzij in zijn eigen woning onder het opzicht van een ambtenaar van politie, aangesteld voor de uitvoering van de politietaak, of een andere ambtenaar, voorzover die ambtenaar behoort tot een categorie die daartoe door Onze Minister van Justitie is aangewezen. |
1. De ledenvergadering kan verordeningen vaststellen die zij nodig acht ter vervulling van de taken, genoemd inartikel 3. |
1. De zorgaanbieder meldt aan de ingevolgeartikel 8met het toezicht belaste ambtenaar onverwijld: a. iedere calamiteit die in de instelling heeft plaatsgevonden; b. seksueel misbruik waarbij een patiënt of cliënt dan wel hulpverlener van de instelling is betrokken, uitgezonderd seksueel misbruik van hulpverleners onderling. |
1. De minister beslist indien het openbaar ministerie anders dan de directeur adviseert tot afwijzing of het een verzoek betreft van een gedetineerde die behoort tot een bijzondere categorie als bedoeld in het tweede lid. In de overige gevallen beslist de directeur. |
De raad van commissarissen stelt de jaarrekening vast. Hij legt deze gelijktijdig ter goedkeuring aan de algemene vergadering van aandeelhouders en ter bespreking aan de inartikel 268 lid 13bedoelde ondernemingsraad over. |
1. De schadevergoeding, verschuldigd wegens vertraging in de voldoening van een geldsom, bestaat in de wettelijke rente van die som over de tijd dat de schuldenaar met de voldoening daarvan in verzuim is geweest. |
1. Fouillering geschiedt door het aftasten van de kleding of het onderzoeken van afzonderlijke kledingstukken voor zover dat noodzakelijk is voor doeltreffende controle. |
1. De minister beslist indien het openbaar ministerie anders dan de directeur adviseert tot afwijzing of het een verzoek betreft van een gedetineerde die behoort tot een bijzondere categorie als bedoeld in het tweede lid. In de overige gevallen beslist de directeur. |
Instruct: Given a Dutch legal query, retrieve relevant articles that help answer the query. |
[1.0, 1.0, 1.0, 1.0, 0.0, ...] |
1. In geval artikel 14a, 38v, 38z of 77x van het Wetboek van Strafrecht is toegepast, kan vanwege het openbaar ministerie aan de verdachte aanstonds na de uitspraak op de terechtzitting een mededeling in persoon worden uitgereikt. De mededeling houdt in de straf of maatregel waartoe de verdachte is veroordeeld en alle beslissingen die betrekking hebben op de in artikel 14c, 38v, 38z of 77z van het Wetboek van Strafrecht bedoelde algemene en bijzondere voorwaarden of vrijheidsbeperkende maatregel. De mededeling houdt daarnaast de datum van ingang van de proeftijd dan wel de maatregel in, indien de verdachte afziet van een rechtsmiddel of indien de rechter beveelt dat de maatregel dadelijk uitvoerbaar is. |
1. Hij die opzettelijk niet voldoet aan een bevel of een vordering, krachtens wettelijk voorschrift gedaan door een ambtenaar met de uitoefening van enig toezicht belast of door een ambtenaar belast met of bevoegd verklaard tot het opsporen of onderzoeken van strafbare feiten, alsmede hij die opzettelijk enige handeling, door een van die ambtenaren ondernomen ter uitvoering van enig wettelijk voorschrift, belet, belemmert of verijdelt, wordt gestraft met gevangenisstraf van ten hoogste drie maanden of geldboete van de tweede categorie. |
1. Hij die opzettelijk en wederrechtelijk enig goed dat geheel of ten dele aan een ander toebehoort, vernielt, beschadigt, onbruikbaar maakt of wegmaakt, wordt gestraft met gevangenisstraf van ten hoogste twee jaren of geldboete van de vierde categorie. |
Heeft de officier van justitie tevens een vordering ingediend tot het gelasten van gehele of gedeeltelijke tenuitvoerlegging van een met toepassing van artikel 14a van het Wetboek van Strafrecht opgelegde straf, dan beraadslaagt de rechtbank mede over haar bevoegdheid om over de vordering te oordelen, over de ontvankelijkheid van de officier van justitie en over de gegrondheid van de vordering. Het vonnis houdt alsdan, tenzij onbevoegdheid van de rechtbank om over de vordering te oordelen of niet-ontvankelijkheid van de officier van justitie wordt uitgesproken, ook de beslissing van de rechtbank over de vordering in. |
Op het rechtsgeding bij de kantonrechter zijn overigens deVijfde Titelen deZesde Titel van dit Boekvan overeenkomstige toepassing, behoudens de navolgende uitzonderingen: 1°. Indien door de rechter-commissaris overeenkomstig deZevende Titel van het Vierde Boekbevelen tot handhaving der openbare orde zijn gegeven, is de termijn van dagvaarding ten minste twee dagen. Deze termijn wordt, zo nodig, zoveel verlengd, dat daarin ten minste één dag voorkomt, die niet een zaterdag, zondag of algemeen erkende feestdag is. 2°. De verdachte kan, tenzij hij vervolgd wordt ter zake van misdrijf of de kantonrechter beveelt dat hij in persoon zal verschijnen, zich op de terechtzitting doen vertegenwoordigen door een advocaat, indien deze aldaar verklaart daartoe bepaaldelijk gevolmachtigd te zijn, of wel door een daartoe bij bijzondere volmacht schriftelijk gemachtigde. 3°. De bepalingen betrekkelijk de voordracht van de zaak door het openbaar ministerie, de voorlopige hechtenis en het bezwaarschrift ... |
1. Indien de rechter niet een bevel als bedoeld inartikel 37bgeeft, stelt hij ter bescherming van de veiligheid van anderen dan wel de algemene veiligheid van personen of goederen voorwaarden betreffende het gedrag van de ter beschikking gestelde. Als algemene voorwaarde geldt dat de ter beschikking gestelde ten behoeve van het vaststellen van zijn identiteit medewerking verleent aan het nemen van een of meer vingerafdrukken of een identiteitsbewijs als bedoeld in artikel 1 van de Wet op de identificatieplicht ter inzage aanbiedt. |
1. Tenzij Onze Minister reeds aanstonds van oordeel is dat er gronden zijn om de erkenning van de rechterlijke uitspraak te weigeren, doet hij de rechterlijke uitspraak en het certificaat toekomen aan de advocaat-generaal bij het ressortsparket. |
1. Hij die in staat van faillissement is verklaard en wettelijk verplicht is tot het geven van inlichtingen, wordt gestraft met gevangenisstraf van ten hoogste een jaar of geldboete van de derde categorie, indien hij hetzij zonder geldige reden opzettelijk wegblijft, hetzij weigert de vereiste inlichtingen te geven, hetzij opzettelijk onjuiste of onvolledige inlichtingen geeft. |
1. De invrijheidstelling geschiedt door het hoofd van het gesticht: a. op de laatste dag van de straftijd, indien de duur van de straf niet meer is dan drie dagen; b. op de laatste dag van de straftijd die geen zondag of algemeen erkende feestdag is, indien de duur van de straf meer dan drie dagen en minder dan twee maanden is; c. in andere gevallen van tenuitvoerlegging van een vrijheidsstraf, op de laatste dag van de straftijd die geen zaterdag, zondag of algemeen erkende feestdag is; d. zodra de geldigheid van het bevel tot vrijheidsbeneming ophoudt; e. zodra het bevoegd gezag de last tot invrijheidstelling aan het hoofd van het gesticht verstrekt. |
multipositive_loss.WeightedMultiPositiveCachedLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim",
"mini_batch_size": 16,
"mini_batch_num_tokens": null,
"gather_across_devices": false,
"directions": [
"query_to_doc"
],
"partition_mode": "joint",
"hardness_mode": null,
"hardness_strength": 0.0,
"n_answers": 8
}
anchor, label, candidate_0, candidate_1, candidate_2, candidate_3, candidate_4, candidate_5, candidate_6, candidate_7, and candidate_8| anchor | label | candidate_0 | candidate_1 | candidate_2 | candidate_3 | candidate_4 | candidate_5 | candidate_6 | candidate_7 | candidate_8 | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| type | string | list | string | string | string | string | string | string | string | string | string |
| modality | text | text | text | text | text | text | text | text | text | text | |
| details |
|
|
|
|
|
|
|
|
|
|
|
| anchor | label | candidate_0 | candidate_1 | candidate_2 | candidate_3 | candidate_4 | candidate_5 | candidate_6 | candidate_7 | candidate_8 |
|---|---|---|---|---|---|---|---|---|---|---|
Instruct: Given a Dutch legal query, retrieve relevant articles that help answer the query. |
[1.0, 1.0, 1.0, 1.0, 0.0, ...] |
Tot de gemeenschap behorende schulden kunnen op de goederen van de gemeenschap worden verhaald. |
1. Artikel 87 van Boek 1 van het Burgerlijk Wetboek is slechts van toepassing op vergoedingsvorderingen die ontstaan op grond van verkrijgingen, voldoeningen of aflossingen die na het tijdstip van inwerkingtreding van deze wet plaatsvinden. Op de vergoedingsvorderingen die zijn ontstaan op grond van verkrijgingen, voldoeningen of aflossingen die vóór dat tijdstip hebben plaatsgevonden, blijft het recht van toepassing zoals dat gold onmiddellijk voorafgaande aan het tijdstip van inwerkingtreding van deze wet. |
Op een geregistreerd partnerschap zijn detitels 6,7en8van overeenkomstige toepassing met uitzondering van het omtrent scheiding van tafel en bed bepaalde. |
1. Indien een bedrag aan subsidie ten onrechte is uitbetaald, wordt de onverschuldigd betaalde subsidie en de rente over dat bedrag overeenkomstig artikel 73 van verordening 796/2004 teruggevorderd. |
1. De toeslag die als gevolg van een besluit als bedoeld inartikel 11aof 14 onverschuldigd is betaald, alsmede hetgeen anderszins onverschuldigd is betaald, wordt door het Uitvoeringsinstituut werknemersverzekeringen teruggevorderd. |
1. Aanvragen tot subsidieverlening voor een investering in een techniek ter vermindering van de uitstoot fijn stof als bedoeld in bijlage 2, hoofdstuk 5, punt A, van de regeling kunnen worden ingediend door landbouwondernemingen als bedoeld in bijlage 2, hoofdstuk 5, punt B, van de regeling. |
1. Ten aanzien van bij deze wet of de daarop berustende bepalingen strafbaar gestelde feiten gelden in plaats van de artikelen 74 en 74a van het Wetboek van Strafrecht de volgende bepalingen. |
1. De vervoerder is niet aansprakelijk voor schade ontstaan door een beschadiging, voor zover deze is veroorzaakt door een omstandigheid die een zorgvuldig vervoerder niet heeft kunnen vermijden en voor zover zulk een vervoerder de gevolgen daarvan niet heeft kunnen verhinderen. |
1. De rechtbank kan de toepassing van de schuldsaneringsregeling beëindigen op voordracht van de rechter-commissaris of op verzoek van de bewindvoerder, van de schuldenaar dan wel van een of meer schuldeisers. Zij kan zulks ook ambtshalve doen. |
Instruct: Given a Dutch legal query, retrieve relevant articles that help answer the query. |
[1.0, 1.0, 1.0, 0.0, 0.0, ...] |
1. Kind is de bloedverwant of aanverwant in de neergaande lijn van de belanghebbende of zijn partner, die in belangrijke mate wordt onderhouden door de belanghebbende of zijn partner en op hetzelfde woonadres als de belanghebbende staat ingeschreven in de gemeentelijke basisadministratie persoonsgegevens. Met een bloedverwant of aanverwant in de neergaande lijn wordt gelijkgesteld een pleegkind. |
1. Een belanghebbende, een partner en een medebewoner verstrekken de Belastingdienst/Toeslagen desgevraagd alle gegevens en inlichtingen die voor de beoordeling van de aanspraak op of de bepaling van de hoogte van de tegemoetkoming van belang kunnen zijn. |
1. Een vloer, trap of hellingbaan, waarover of waaronder een vluchtroute voert, bezwijkt niet binnen 20 minuten bij brand in een brandcompartiment waarin die vluchtroute niet ligt. |
1. De uitvoering van het toekennen, uitbetalen en terugvorderen van de kinderopvangtoeslag is opgedragen aan de Belastingdienst/Toeslagen. |
1. Op deze wet is de Algemene wet inkomensafhankelijke regelingen, met uitzondering van artikel 6, eerste en tweede lid, van toepassing. |
1. De uitvoering van het toekennen, uitbetalen en terugvorderen van de kinderopvangtoeslag is opgedragen aan de Belastingdienst/Toeslagen. |
Het is verboden aan het luchtverkeer deel te nemen onder nagebootste blindvliegomstandigheden tenzij: 1. het luchtvaartuig is voorzien van een dubbele besturing en; 2. een persoon die bevoegd is dat luchtvaartuig te besturen een bestuurdersplaats inneemt teneinde de besturing onmiddellijk te kunnen overnemen; deze persoon beschikt over voldoende uitzicht naar voren en naar beide zijden van het luchtvaartuig of staat rechtstreeks in verbinding met een lid van het stuurhutpersoneel, dat een zodanige plaats inneemt, dat zijn uitzicht het uitzicht van deze persoon voldoende aanvult. |
1. De vergoedingenverordening enartikel 5.20zijn niet van toepassing op bij algemene maatregel van bestuur aan te wijzen luchtvaartnavigatiediensten die worden verleend op luchthavens met minder dan 50.000 commerciële luchtvervoersbewegingen per jaar, ongeacht de maximale startmassa en het aantal passagierszitplaatsen. Daarbij worden de bewegingen geteld als de som van de starts en de landingen en berekend als een gemiddelde van de voorafgaande drie jaar. |
1. Op deze wet is de Algemene wet inkomensafhankelijke regelingen, met uitzondering van artikel 6, eerste en tweede lid, van toepassing. |
Instruct: Given a Dutch legal query, retrieve relevant articles that help answer the query. |
[1.0, 1.0, 1.0, 1.0, 0.0, ...] |
1. Het bevoegd gezag is verplicht zo tijdig mogelijk zodanige maatregelen te treffen en voorschriften te geven als redelijkerwijs nodig is, opdat de ambtenaar die in verband met ongeschiktheid ten gevolge van ziekte verhinderd is zijn arbeid te verrichten, in staat wordt gesteld de eigen of andere passende arbeid te verrichten. |
1. Het bestuur van een gerecht stelt de Raad voor de rechtspraak in de gelegenheid om advies uit te brengen inzake een ten aanzien van een gerechtsambtenaar, niet zijnde het niet-rechterlijk lid van een gerechtsbestuur, voorgenomen toekenning van een schadeloosstelling, kostenvergoeding of verlening van een geldelijke tegemoetkoming, in het geval de schadeloosstelling, kostenvergoeding of geldelijke tegemoetkoming op jaarbasis meer dan € 5.000 bedraagt. Indien de Raad voor de rechtspraak advies heeft uitgebracht, zendt het bestuur van het gerecht een afschrift van de vervolgens gedane toekenning aan de Raad voor de rechtspraak. |
1. Ten aanzien van het niet-rechterlijk lid van het bestuur worden de bevoegdheden uit de Ambtenarenwet 2017 en titel 10 van Boek 7 van het Burgerlijk Wetboek uitgeoefend door het bestuur uitgezonderd dat lid. |
1. Een houder laat zijn hond identificeren binnen zeven weken na de geboorte. |
De minister beslist afwijzend op een aanvraag, indien: a. de aanvraag niet voldoet aan de bij deze regeling gestelde regels; b. het omzetverlies van de getroffen onderneming BES uitgedrukt in procenten minder bedraagt dan 30%; c. de uitkomst van de berekening, bedoeld inartikel 3, minder dan USD 500 bedraagt; d. de getroffen onderneming BES in staat van faillissement verkeert, dan wel bij de rechtbank een verzoek tot verlening van surseance van betaling aan de onderneming is ingediend. |
1. Een overeenkomst waarmee een arbeidsovereenkomst wordt beëindigd, is slechts geldig indien deze schriftelijk is aangegaan. |
1. De ondernemer die een onderneming in stand houdt waarin in de regel ten minste 10 personen maar minder dan 50 personen werkzaam zijn en waarvoor geen ondernemingsraad of een personeelsvertegenwoordiging is ingesteld, is verplicht de in deze onderneming werkzame personen tenminste tweemaal per kalenderjaar in de gelegenheid te stellen gezamenlijk met hem bijeen te komen. Hij is voorts verplicht met de in de onderneming werkzame personen bijeen te komen, wanneer tenminste een vierde van hen daartoe een met redenen omkleed verzoek doet. |
1. Een inkomensvoorziening die op grond van dit hoofdstuk onverschuldigd is betaald en hetgeen als gevolg van een beschikking als bedoeld inartikel 2:58door het Uitvoeringsinstituut werknemersverzekeringen onverschuldigd is betaald of verstrekt wordt door het Uitvoeringsinstituut werknemersverzekeringen teruggevorderd. |
1. De grenswaarde voor alcohol is een alcoholpromillage van 350 microgram ethanol per liter uitgeademde lucht of van 0,8 milligram ethanol per milliliter bloed. |
multipositive_loss.WeightedMultiPositiveCachedLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim",
"mini_batch_size": 16,
"mini_batch_num_tokens": null,
"gather_across_devices": false,
"directions": [
"query_to_doc"
],
"partition_mode": "joint",
"hardness_mode": null,
"hardness_strength": 0.0,
"n_answers": 8
}
per_device_train_batch_size: 512num_train_epochs: 1.0learning_rate: 5e-06lr_scheduler_type: cosinewarmup_steps: 102weight_decay: 0.01bf16: Truetf32: Trueper_device_eval_batch_size: 512push_to_hub: Truehub_private_repo: Truehub_model_id: Ehsanl/bidir1_7hub_strategy: checkpointload_best_model_at_end: Truedataloader_num_workers: 2dataloader_pin_memory: Falseddp_find_unused_parameters: Falseper_device_train_batch_size: 512num_train_epochs: 1.0max_steps: -1learning_rate: 5e-06lr_scheduler_type: cosinelr_scheduler_kwargs: Nonewarmup_steps: 102optim: adamw_torch_fusedoptim_args: Noneweight_decay: 0.01adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08optim_target_modules: Nonegradient_accumulation_steps: 1average_tokens_across_devices: Truemax_grad_norm: 1.0label_smoothing_factor: 0.0bf16: Truefp16: Falsebf16_full_eval: Falsefp16_full_eval: Falsetf32: Truegradient_checkpointing: Falsegradient_checkpointing_kwargs: Nonetorch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneuse_liger_kernel: Falseliger_kernel_config: Noneuse_cache: Falseneftune_noise_alpha: Nonetorch_empty_cache_steps: Noneauto_find_batch_size: Falselog_on_each_node: Truelogging_nan_inf_filter: Trueinclude_num_input_tokens_seen: nolog_level: passivelog_level_replica: warningdisable_tqdm: Falseproject: huggingfacetrackio_space_id: Nonetrackio_bucket_id: Nonetrackio_static_space_id: Noneper_device_eval_batch_size: 512prediction_loss_only: Trueeval_on_start: Falseeval_do_concat_batches: Trueeval_use_gather_object: Falseeval_accumulation_steps: Noneinclude_for_metrics: []batch_eval_metrics: Falsesave_only_model: Falsesave_on_each_node: Falseenable_jit_checkpoint: Falsepush_to_hub: Truehub_private_repo: Truehub_model_id: Ehsanl/bidir1_7hub_strategy: checkpointhub_always_push: Falsehub_revision: Noneload_best_model_at_end: Trueignore_data_skip: Falserestore_callback_states_from_checkpoint: Falsefull_determinism: Falseseed: 42data_seed: Noneuse_cpu: Falseaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedataloader_drop_last: Truedataloader_num_workers: 2dataloader_pin_memory: Falsedataloader_persistent_workers: Falsedataloader_prefetch_factor: Nonedataloader_multiprocessing_context: Nonedataloader_in_order: Trueremove_unused_columns: Truelabel_names: Nonetrain_sampling_strategy: randomlength_column_name: lengthddp_find_unused_parameters: Falseddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falseddp_static_graph: Noneddp_backend: Noneddp_timeout: 1800fsdp: Nonefsdp_config: Nonedeepspeed: Nonedebug: []skip_memory_metrics: Truedo_predict: Falseresume_from_checkpoint: Nonelocal_rank: -1prompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}warmup_ratio: None| Epoch | Step | Training Loss | Validation Loss | legal-val_cosine_ndcg@10 |
|---|---|---|---|---|
| 0.0010 | 1 | 5.9063 | - | - |
| 0.0098 | 10 | 5.8853 | - | - |
| 0.0196 | 20 | 5.8072 | - | - |
| 0.0294 | 30 | 5.5096 | - | - |
| 0.0392 | 40 | 5.2094 | - | - |
| 0.0490 | 50 | 5.0760 | - | - |
| 0.0588 | 60 | 4.8557 | - | - |
| 0.0686 | 70 | 4.7069 | - | - |
| 0.0784 | 80 | 4.5927 | - | - |
| 0.0881 | 90 | 4.4650 | - | - |
| 0.0979 | 100 | 4.3334 | - | - |
| 0.1077 | 110 | 4.2259 | - | - |
| 0.1175 | 120 | 4.1451 | - | - |
| 0.1273 | 130 | 4.0719 | - | - |
| 0.1371 | 140 | 4.0492 | - | - |
| 0.1469 | 150 | 4.0118 | - | - |
| 0.1567 | 160 | 3.9170 | - | - |
| 0.1665 | 170 | 3.9248 | - | - |
| 0.1763 | 180 | 3.9063 | - | - |
| 0.1861 | 190 | 3.8142 | - | - |
| 0.1959 | 200 | 3.7706 | 3.8215 | 0.4666 |
| 0.2057 | 210 | 3.7886 | - | - |
| 0.2155 | 220 | 3.7550 | - | - |
| 0.2253 | 230 | 3.6855 | - | - |
| 0.2351 | 240 | 3.6606 | - | - |
| 0.2449 | 250 | 3.6728 | - | - |
| 0.2547 | 260 | 3.6288 | - | - |
| 0.2644 | 270 | 3.6204 | - | - |
| 0.2742 | 280 | 3.6124 | - | - |
| 0.2840 | 290 | 3.5716 | - | - |
| 0.2938 | 300 | 3.5839 | - | - |
| 0.3036 | 310 | 3.5396 | - | - |
| 0.3134 | 320 | 3.5435 | - | - |
| 0.3232 | 330 | 3.4970 | - | - |
| 0.3330 | 340 | 3.5371 | - | - |
| 0.3428 | 350 | 3.5103 | - | - |
| 0.3526 | 360 | 3.4554 | - | - |
| 0.3624 | 370 | 3.4455 | - | - |
| 0.3722 | 380 | 3.4430 | - | - |
| 0.3820 | 390 | 3.4204 | - | - |
| 0.3918 | 400 | 3.4238 | 3.4868 | 0.5028 |
| 0.4016 | 410 | 3.3979 | - | - |
| 0.4114 | 420 | 3.4001 | - | - |
| 0.4212 | 430 | 3.4010 | - | - |
| 0.4310 | 440 | 3.3647 | - | - |
| 0.4407 | 450 | 3.3943 | - | - |
| 0.4505 | 460 | 3.3853 | - | - |
| 0.4603 | 470 | 3.3212 | - | - |
| 0.4701 | 480 | 3.2961 | - | - |
| 0.4799 | 490 | 3.3305 | - | - |
| 0.4897 | 500 | 3.3327 | - | - |
| 0.4995 | 510 | 3.3011 | - | - |
| 0.5093 | 520 | 3.2627 | - | - |
| 0.5191 | 530 | 3.3178 | - | - |
| 0.5289 | 540 | 3.2763 | - | - |
| 0.5387 | 550 | 3.3026 | - | - |
| 0.5485 | 560 | 3.2357 | - | - |
| 0.5583 | 570 | 3.2510 | - | - |
| 0.5681 | 580 | 3.2216 | - | - |
| 0.5779 | 590 | 3.2096 | - | - |
| 0.5877 | 600 | 3.2406 | 3.3413 | 0.5070 |
| 0.5975 | 610 | 3.1988 | - | - |
| 0.6072 | 620 | 3.2589 | - | - |
| 0.6170 | 630 | 3.2019 | - | - |
| 0.6268 | 640 | 3.2406 | - | - |
| 0.6366 | 650 | 3.2121 | - | - |
| 0.6464 | 660 | 3.2094 | - | - |
| 0.6562 | 670 | 3.1829 | - | - |
| 0.6660 | 680 | 3.2034 | - | - |
| 0.6758 | 690 | 3.1839 | - | - |
| 0.6856 | 700 | 3.1409 | - | - |
| 0.6954 | 710 | 3.1326 | - | - |
| 0.7052 | 720 | 3.2099 | - | - |
| 0.7150 | 730 | 3.1792 | - | - |
| 0.7248 | 740 | 3.1536 | - | - |
| 0.7346 | 750 | 3.1474 | - | - |
| 0.7444 | 760 | 3.1774 | - | - |
| 0.7542 | 770 | 3.1633 | - | - |
| 0.7640 | 780 | 3.1324 | - | - |
| 0.7738 | 790 | 3.1940 | - | - |
| 0.7835 | 800 | 3.1512 | 3.2747 | 0.5222 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{gao2021scaling,
title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
year={2021},
eprint={2101.06983},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
@misc{oord2019representationlearningcontrastivepredictive,
title={Representation Learning with Contrastive Predictive Coding},
author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
year={2019},
eprint={1807.03748},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/1807.03748},
}
Base model
Qwen/Qwen3-1.7B-Base