comet24082002/ft_bge_newLaw_ContrastiveLoss_V2_5epochs

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("comet24082002/ft_bge_newLaw_ContrastiveLoss_V2_5epochs")
# Run inference
sentences = [
    'Cách ghi thông tin phiếu điều chỉnh thông tin căn cước công dân được hướng dẫn thế nào?',
    'Tờ khai Căn cước công dân (CC01)\n...\n2. Cách ghi thông tin\na) Mục “Họ, chữ đệm và tên”, “Họ và tên gọi khác”: ghi đầy đủ họ, chữ đệm và tên theo giấy khai sinh; chữ in hoa đủ dấu. Chỉ ghi họ, tên gọi khác nếu trong giấy khai sinh có họ và tên gọi khác;\nb) Mục “Ngày, tháng, năm sinh”: ghi ngày, tháng, năm sinh của công dân được cấp, đổi, cấp lại thẻ Căn cước công dân. Ngày sinh ghi 02 chữ số; năm sinh ghi đủ bốn chữ số. Đối với tháng sinh từ tháng 3 đến tháng 9 ghi 01 chữ số, các tháng sinh còn lại ghi 02 chữ số;\nc) Mục “Giới tính”: nếu giới tính nam ghi là “Nam”, nếu giới tính nữ ghi là “Nữ”;\n...',
    '“Điều 76. Trách nhiệm của Thẩm phán\n1. Trung thành với Tổ quốc, gương mẫu chấp hành Hiến pháp và pháp luật.\n2. Tôn trọng nhân dân, tận tụy phục vụ nhân dân, liên hệ chặt chẽ với nhân dân, lắng nghe ý kiến và chịu sự giám sát của nhân dân.\n3. Độc lập, vô tư, khách quan, bảo vệ công lý trong xét xử; chấp hành quy tắc ứng xử, đạo đức nghề nghiệp Thẩm phán, giữ gìn uy tín của Tòa án.\n4. Giữ bí mật nhà nước và bí mật công tác theo quy định của pháp luật.\n5. Học tập, nghiên cứu để nâng cao kiến thức, trình độ chính trị và chuyên môn nghiệp vụ Tòa án.\n6. Chịu trách nhiệm trước pháp luật về việc thực hiện nhiệm vụ, quyền hạn và các quyết định của mình; nếu có hành vi vi phạm pháp luật thì tùy theo tính chất, mức độ vi phạm mà bị xử lý kỷ luật hoặc truy cứu trách nhiệm hình sự theo quy định của luật. Thẩm phán trong khi thực hiện nhiệm vụ, quyền hạn của mình mà gây thiệt hại thì Tòa án nơi Thẩm phán thực hiện nhiệm vụ xét xử có trách nhiệm bồi thường và Thẩm phán đã gây thiệt hại có trách nhiệm bồi hoàn cho Tòa án theo quy định của luật.”',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 21,048 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	int
  details	min: 10 tokens mean: 24.21 tokens max: 43 tokens	min: 27 tokens mean: 279.33 tokens max: 512 tokens	0: ~50.00% 1: ~50.00%

• Samples:

  sentence1	sentence2	label
  Về đảm bảo vệ sinh thực phẩm thì các hành vi cần tránh của người tham gia vào các hoạt động, thao tác chế biến thực phẩm là gì?	Vệ sinh cá nhân Những người tiếp xúc với thực phẩm cần giữ vệ sinh cá nhân thật tốt và cần mặc quần áo bảo vệ, đội mũ, đi giầy, khi thích hợp. Các vết cắt hay vết thương, nếu người đó đã được người quản lý cho phép tiếp tục làm việc thì các vết thương đó phải được bao bọc bằng băng không thấm nước. Các nhân viên luôn phải rửa tay sạch để không ảnh hưởng tới tính an toàn của thực phẩm, ví dụ: - lúc bắt đầu các hoạt động xử lý hay tiếp xúc với thực phẩm; - ngay sau khi đi vệ sinh; và - sau khi xử lý thực phẩm tươi sống hay bất kỳ một nguyên liệu bị nhiễm bẩn nào mà có thể gây nhiễm cho thực phẩm khác, họ nên tránh xử lý các thực phẩm ăn sẵn.	1
  Về đảm bảo vệ sinh thực phẩm thì các hành vi cần tránh của người tham gia vào các hoạt động, thao tác chế biến thực phẩm là gì?	Kiểm dịch viên thực vật 1. Chức trách Là công chức chuyên môn, nghiệp vụ giúp lãnh đạo tổ chức thực hiện công tác kiểm dịch thực vật xuất khẩu, nhập khẩu, quá cảnh và nội địa tại các cơ quan, tổ chức nhà nước cấp tỉnh, vùng và Trung ương có nhiệm vụ kiểm dịch thực vật. 2. Nhiệm vụ a) Xây dựng kế hoạch, đề xuất phương án, thực hiện và tổ chức thực hiện công tác kiểm dịch thực vật xuất khẩu, nhập khẩu, quá cảnh, nội địa của cơ quan thuộc lĩnh vực được giao. b) Phát hiện dịch hại thuộc diện điều chỉnh và xác minh các trường hợp nghi ngờ nhiễm dịch hại thuộc đối tượng kiểm dịch thực vật thường gặp. c) Thực hiện nhiều khâu hoặc toàn bộ quy trình kiểm tra vật thể thuộc diện kiểm dịch thực vật xuất khẩu, nhập khẩu và quá cảnh thực vật. d) Quyết định, giám sát và xác nhận việc thực hiện các biện pháp xử lý đối với vật thể nhiễm dịch theo quy định và chịu trách nhiệm cá nhân về quyết định của mình. đ) Tuyên truyền, phổ biến, hướng dẫn các quy định pháp luật về kiểm dịch thực vật; phát hiện, ngăn ngừa và xử lý theo thẩm quyền hoặc đề xuất xử lý những hành vi vi phạm pháp luật. e) Chủ trì đề tài, khảo sát thực nghiệm của cơ quan; tham gia xây dựng văn bản quy phạm pháp luật, đề tài, đề án, dự án, chương trình nghiên cứu khoa học từ cấp cơ sở trở lên về kiểm dịch thực vật. Đề xuất các nội dung sửa đổi, bổ sung quy định trong lĩnh vực chuyên môn, nghiệp vụ, kỹ thuật kiểm dịch thực vật được giao. g) Tham gia kiểm tra việc thực hiện các quy định của nhà nước về quản lý hoạt động khử trùng xông hơi và các biện pháp xử lý khác trong lĩnh vực bảo vệ và kiểm dịch thực vật. h) Hướng dẫn, bồi dưỡng chuyên môn, nghiệp vụ kỹ thuật cho ngạch công chức thấp hơn. i) Thực hiện nhiệm vụ khác theo quy định pháp luật hoặc lãnh đạo cơ quan giao. 3. Tiêu chuẩn về năng lực chuyên môn, nghiệp vụ a) Nắm vững chủ trương, đường lối của Đảng, pháp luật của Nhà nước và định hướng phát triển, chiến lược, chính sách của ngành có liên quan đến nhiệm vụ được giao về bảo vệ và kiểm dịch thực vật. b) Nắm vững những quy định của pháp luật về bảo vệ, kiểm dịch thực vật và quy định pháp luật khác có liên quan. Nắm được thông lệ và tiêu chuẩn quốc tế về kiểm dịch thực vật trong lĩnh vực được phân công. c) Nắm được các quy trình, tiêu chuẩn, quy chuẩn kỹ thuật, quy phạm kiểm dịch thực vật và các thông tin khoa học kỹ thuật có liên quan. d) Nắm được các thủ tục, nguyên tắc hành chính nhà nước có liên quan đến hoạt động kiểm dịch thực vật được giao. đ) Nắm được tình hình kinh tế, xã hội, chính trị có liên quan đến hoạt động kiểm dịch thực vật được giao. e) Có kỹ năng sử dụng công nghệ thông tin cơ bản và sử dụng được ngoại ngữ hoặc sử dụng được tiếng dân tộc thiểu số đối với công chức công tác ở vùng dân tộc thiểu số theo yêu cầu của vị trí việc làm. 4. Tiêu chuẩn về trình độ đào tạo, bồi dưỡng a) Có bằng tốt nghiệp đại học trở lên ngành, chuyên ngành phù hợp yêu cầu của vị trí việc làm. b) Có chứng chỉ bồi dưỡng kiến thức, kỹ năng quản lý nhà nước đối với công chức ngạch chuyên viên hoặc tương đương. 5. Yêu cầu đối với công chức dự thi nâng ngạch lên ngạch kiểm dịch viên thực vật Có thời gian giữ ngạch kỹ thuật viên kiểm dịch thực vật và tương đương từ đủ 03 năm trở lên (không kể thời gian tập sự). Trường hợp có thời gian tương đương với kỹ thuật viên kiểm dịch thực vật thì thời gian giữ ngạch kỹ thuật viên kiểm dịch thực vật tối thiểu 01 năm (đủ 12 tháng) tính đến ngày hết thời hạn nộp hồ sơ đăng ký dự thi nâng ngạch.	0
  Điều kiện chuyển mục đích sử dụng đất trồng lúa để thực hiện dự án không do Quốc hội chấp thuận chủ trương đầu tư là gì?	"Điều 58. Điều kiện giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất để thực hiện dự án đầu tư 1. Đối với dự án có sử dụng đất trồng lúa, đất rừng phòng hộ, đất rừng đặc dụng vào các mục đích khác mà không thuộc trường hợp được Quốc hội quyết định, Thủ tướng Chính phủ chấp thuận chủ trương đầu tư thì cơ quan nhà nước có thẩm quyền chỉ được quyết định giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất khi có một trong các văn bản sau đây: a) Văn bản chấp thuận của Thủ tướng Chính phủ đối với trường hợp chuyển mục đích sử dụng từ 10 héc ta đất trồng lúa trở lên; từ 20 héc ta đất rừng phòng hộ, đất rừng đặc dụng trở lên; b) Nghị quyết của Hội đồng nhân dân cấp tỉnh đối với trường hợp chuyển mục đích sử dụng dưới 10 héc ta đất trồng lúa; dưới 20 héc ta đất rừng phòng hộ, đất rừng đặc dụng. 2. Đối với dự án sử dụng đất tại đảo và xã, phường, thị trấn biên giới, ven biển thì cơ quan nhà nước có thẩm quyền chỉ được quyết định giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất khi được sự chấp thuận bằng văn bản của các bộ, ngành có liên quan. 3. Người được Nhà nước giao đất, cho thuê đất, cho phép chuyển mục đích sử dụng đất để thực hiện dự án đầu tư phải có các điều kiện sau đây: a) Có năng lực tài chính để bảo đảm việc sử dụng đất theo tiến độ của dự án đầu tư; b) Ký quỹ theo quy định của pháp luật về đầu tư; c) Không vi phạm quy định của pháp luật về đất đai đối với trường hợp đang sử dụng đất do Nhà nước giao đất, cho thuê đất để thực hiện dự án đầu tư khác. 4. Chính phủ quy định chi tiết Điều này."	1

• Loss: ContrastiveLoss with these parameters:

  {
      "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
      "margin": 0.5,
      "size_average": true
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• learning_rate: 2e-05
• num_train_epochs: 5
• warmup_ratio: 0.1

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0095	50	0.0322
0.0190	100	0.0323
0.0285	150	0.0222
0.0380	200	0.0201
0.0475	250	0.0185
0.0570	300	0.0169
0.0665	350	0.0148
0.0760	400	0.0146
0.0855	450	0.0173
0.0950	500	0.0145
0.1045	550	0.0121
0.1140	600	0.0131
0.1235	650	0.0131
0.1330	700	0.0147
0.1425	750	0.0147
0.1520	800	0.0123
0.1615	850	0.0132
0.1710	900	0.0133
0.1805	950	0.0149
0.1900	1000	0.0127
0.1995	1050	0.0136
0.2090	1100	0.0141
0.2185	1150	0.0121
0.2281	1200	0.0144
0.2376	1250	0.0141
0.2471	1300	0.0134
0.2566	1350	0.0121
0.2661	1400	0.0143
0.2756	1450	0.012
0.2851	1500	0.0109
0.2946	1550	0.0112
0.3041	1600	0.014
0.3136	1650	0.0134
0.3231	1700	0.0109
0.3326	1750	0.0117
0.3421	1800	0.0096
0.3516	1850	0.0115
0.3611	1900	0.0137
0.3706	1950	0.0151
0.3801	2000	0.0125
0.3896	2050	0.0141
0.3991	2100	0.0158
0.4086	2150	0.0142
0.4181	2200	0.0114
0.4276	2250	0.0133
0.4371	2300	0.0139
0.4466	2350	0.0137
0.4561	2400	0.0121
0.4656	2450	0.0148
0.4751	2500	0.015
0.4846	2550	0.0144
0.4941	2600	0.0121
0.5036	2650	0.0115
0.5131	2700	0.0164
0.5226	2750	0.0115
0.5321	2800	0.0127
0.5416	2850	0.0121
0.5511	2900	0.0116
0.5606	2950	0.0119
0.5701	3000	0.0133
0.5796	3050	0.0118
0.5891	3100	0.0114
0.5986	3150	0.0137
0.6081	3200	0.0139
0.6176	3250	0.0132
0.6271	3300	0.0144
0.6366	3350	0.0116
0.6461	3400	0.0123
0.6556	3450	0.0124
0.6651	3500	0.0116
0.6746	3550	0.0122
0.6842	3600	0.0149
0.6937	3650	0.0138
0.7032	3700	0.0125
0.7127	3750	0.0116
0.7222	3800	0.011
0.7317	3850	0.0108
0.7412	3900	0.0138
0.7507	3950	0.0123
0.7602	4000	0.0109
0.7697	4050	0.0122
0.7792	4100	0.0115
0.7887	4150	0.0121
0.7982	4200	0.012
0.8077	4250	0.0129
0.8172	4300	0.0129
0.8267	4350	0.0126
0.8362	4400	0.0126
0.8457	4450	0.0114
0.8552	4500	0.011
0.8647	4550	0.0127
0.8742	4600	0.0106
0.8837	4650	0.0113
0.8932	4700	0.0127
0.9027	4750	0.0133
0.9122	4800	0.013
0.9217	4850	0.0133
0.9312	4900	0.012
0.9407	4950	0.0121
0.9502	5000	0.0112
0.9597	5050	0.0115
0.9692	5100	0.0122
0.9787	5150	0.0126
0.9882	5200	0.0109
0.9977	5250	0.0121
1.0072	5300	0.0114
1.0167	5350	0.0076
1.0262	5400	0.0081
1.0357	5450	0.0083
1.0452	5500	0.0091
1.0547	5550	0.0087
1.0642	5600	0.0091
1.0737	5650	0.0095
1.0832	5700	0.0079
1.0927	5750	0.0116
1.1022	5800	0.0077
1.1117	5850	0.0071
1.1212	5900	0.0094
1.1307	5950	0.0091
1.1403	6000	0.0088
1.1498	6050	0.0094
1.1593	6100	0.0075
1.1688	6150	0.0103
1.1783	6200	0.0084
1.1878	6250	0.0074
1.1973	6300	0.0101
1.2068	6350	0.0088
1.2163	6400	0.0091
1.2258	6450	0.0072
1.2353	6500	0.0086
1.2448	6550	0.0075
1.2543	6600	0.0082
1.2638	6650	0.0063
1.2733	6700	0.0085
1.2828	6750	0.0088
1.2923	6800	0.0088
1.3018	6850	0.0091
1.3113	6900	0.0092
1.3208	6950	0.0088
1.3303	7000	0.0091
1.3398	7050	0.008
1.3493	7100	0.0088
1.3588	7150	0.0089
1.3683	7200	0.009
1.3778	7250	0.0086
1.3873	7300	0.0101
1.3968	7350	0.0086
1.4063	7400	0.0092
1.4158	7450	0.0088
1.4253	7500	0.0074
1.4348	7550	0.0083
1.4443	7600	0.0093
1.4538	7650	0.0073
1.4633	7700	0.0075
1.4728	7750	0.0082
1.4823	7800	0.0093
1.4918	7850	0.0078
1.5013	7900	0.0088
1.5108	7950	0.0068
1.5203	8000	0.0064
1.5298	8050	0.006
1.5393	8100	0.0073
1.5488	8150	0.0092
1.5583	8200	0.0099
1.5678	8250	0.0085
1.5773	8300	0.008
1.5868	8350	0.0104
1.5964	8400	0.0082
1.6059	8450	0.0094
1.6154	8500	0.0096
1.6249	8550	0.0095
1.6344	8600	0.0105
1.6439	8650	0.0092
1.6534	8700	0.0076
1.6629	8750	0.0108
1.6724	8800	0.008
1.6819	8850	0.0082
1.6914	8900	0.0091
1.7009	8950	0.0092
1.7104	9000	0.009
1.7199	9050	0.0098
1.7294	9100	0.0101
1.7389	9150	0.0072
1.7484	9200	0.0075
1.7579	9250	0.0085
1.7674	9300	0.0094
1.7769	9350	0.0092
1.7864	9400	0.0066
1.7959	9450	0.0061
1.8054	9500	0.0088
1.8149	9550	0.0056
1.8244	9600	0.0075
1.8339	9650	0.0089
1.8434	9700	0.0083
1.8529	9750	0.0082
1.8624	9800	0.0094
1.8719	9850	0.0086
1.8814	9900	0.0079
1.8909	9950	0.0087
1.9004	10000	0.0106
1.9099	10050	0.0073
1.9194	10100	0.0074
1.9289	10150	0.009
1.9384	10200	0.0112
1.9479	10250	0.0092
1.9574	10300	0.0081
1.9669	10350	0.0084
1.9764	10400	0.008
1.9859	10450	0.008
1.9954	10500	0.0071
2.0049	10550	0.0071
2.0144	10600	0.0046
2.0239	10650	0.0052
2.0334	10700	0.0047
2.0429	10750	0.005
2.0525	10800	0.0053
2.0620	10850	0.0032
2.0715	10900	0.0051
2.0810	10950	0.0045
2.0905	11000	0.0063
2.1000	11050	0.0042
2.1095	11100	0.004
2.1190	11150	0.0054
2.1285	11200	0.0052
2.1380	11250	0.0053
2.1475	11300	0.0054
2.1570	11350	0.0042
2.1665	11400	0.0038
2.1760	11450	0.0045
2.1855	11500	0.0041
2.1950	11550	0.0044
2.2045	11600	0.0045
2.2140	11650	0.005
2.2235	11700	0.0061
2.2330	11750	0.0044
2.2425	11800	0.0061
2.2520	11850	0.0046
2.2615	11900	0.0044
2.2710	11950	0.0041
2.2805	12000	0.0058
2.2900	12050	0.0057
2.2995	12100	0.0066
2.3090	12150	0.0046
2.3185	12200	0.0037
2.3280	12250	0.0061
2.3375	12300	0.0059
2.3470	12350	0.0058
2.3565	12400	0.0055
2.3660	12450	0.0045
2.3755	12500	0.0067
2.3850	12550	0.0048
2.3945	12600	0.0047
2.4040	12650	0.0041
2.4135	12700	0.0055
2.4230	12750	0.0044
2.4325	12800	0.0051
2.4420	12850	0.005
2.4515	12900	0.0053
2.4610	12950	0.005
2.4705	13000	0.0042
2.4800	13050	0.0047
2.4895	13100	0.0049
2.4990	13150	0.006
2.5086	13200	0.0047
2.5181	13250	0.0052
2.5276	13300	0.0052
2.5371	13350	0.0053
2.5466	13400	0.0059
2.5561	13450	0.0049
2.5656	13500	0.0047
2.5751	13550	0.0054
2.5846	13600	0.0048
2.5941	13650	0.007
2.6036	13700	0.0053
2.6131	13750	0.0062
2.6226	13800	0.0054
2.6321	13850	0.005
2.6416	13900	0.0047
2.6511	13950	0.007
2.6606	14000	0.0067
2.6701	14050	0.006
2.6796	14100	0.0065
2.6891	14150	0.0056
2.6986	14200	0.0057
2.7081	14250	0.0048
2.7176	14300	0.0053
2.7271	14350	0.0053
2.7366	14400	0.0047
2.7461	14450	0.0044
2.7556	14500	0.0054
2.7651	14550	0.0068
2.7746	14600	0.0064
2.7841	14650	0.0047
2.7936	14700	0.0044
2.8031	14750	0.0043
2.8126	14800	0.0048
2.8221	14850	0.0046
2.8316	14900	0.0062
2.8411	14950	0.0051
2.8506	15000	0.0051
2.8601	15050	0.0059
2.8696	15100	0.005
2.8791	15150	0.0046
2.8886	15200	0.0051
2.8981	15250	0.0046
2.9076	15300	0.0045
2.9171	15350	0.0065
2.9266	15400	0.0047
2.9361	15450	0.0052
2.9456	15500	0.0053
2.9552	15550	0.005
2.9647	15600	0.0049
2.9742	15650	0.0055
2.9837	15700	0.0047
2.9932	15750	0.0061
3.0027	15800	0.0055
3.0122	15850	0.0034
3.0217	15900	0.0029
3.0312	15950	0.0027
3.0407	16000	0.003
3.0502	16050	0.0023
3.0597	16100	0.0047
3.0692	16150	0.0026
3.0787	16200	0.0036
3.0882	16250	0.003
3.0977	16300	0.0028
3.1072	16350	0.0033
3.1167	16400	0.0025
3.1262	16450	0.0023
3.1357	16500	0.002
3.1452	16550	0.0025
3.1547	16600	0.0026
3.1642	16650	0.0023
3.1737	16700	0.0029
3.1832	16750	0.0038
3.1927	16800	0.0034
3.2022	16850	0.0028
3.2117	16900	0.0024
3.2212	16950	0.0023
3.2307	17000	0.0023
3.2402	17050	0.0027
3.2497	17100	0.0024
3.2592	17150	0.0027
3.2687	17200	0.0022
3.2782	17250	0.0033
3.2877	17300	0.0036
3.2972	17350	0.0029
3.3067	17400	0.0034
3.3162	17450	0.0026
3.3257	17500	0.0024
3.3352	17550	0.0033
3.3447	17600	0.0023
3.3542	17650	0.0027
3.3637	17700	0.0021
3.3732	17750	0.0021
3.3827	17800	0.003
3.3922	17850	0.0029
3.4017	17900	0.0031
3.4113	17950	0.003
3.4208	18000	0.0038
3.4303	18050	0.0037
3.4398	18100	0.0023
3.4493	18150	0.0023
3.4588	18200	0.0033
3.4683	18250	0.0031
3.4778	18300	0.0029
3.4873	18350	0.0031
3.4968	18400	0.0029
3.5063	18450	0.0029
3.5158	18500	0.0037
3.5253	18550	0.0031
3.5348	18600	0.0035
3.5443	18650	0.0041
3.5538	18700	0.0035
3.5633	18750	0.0023
3.5728	18800	0.0032
3.5823	18850	0.0025
3.5918	18900	0.0035
3.6013	18950	0.0038
3.6108	19000	0.0031
3.6203	19050	0.0024
3.6298	19100	0.0033
3.6393	19150	0.0026
3.6488	19200	0.0033
3.6583	19250	0.0028
3.6678	19300	0.0036
3.6773	19350	0.0041
3.6868	19400	0.0037
3.6963	19450	0.0036
3.7058	19500	0.0046
3.7153	19550	0.0023
3.7248	19600	0.0026
3.7343	19650	0.0032
3.7438	19700	0.0029
3.7533	19750	0.0029
3.7628	19800	0.0027
3.7723	19850	0.0036
3.7818	19900	0.0035
3.7913	19950	0.0028
3.8008	20000	0.0035
3.8103	20050	0.0036
3.8198	20100	0.0034
3.8293	20150	0.0037
3.8388	20200	0.0024
3.8483	20250	0.0031
3.8578	20300	0.0038
3.8674	20350	0.0033
3.8769	20400	0.0032
3.8864	20450	0.0036
3.8959	20500	0.0031
3.9054	20550	0.0028
3.9149	20600	0.004
3.9244	20650	0.0027
3.9339	20700	0.0028
3.9434	20750	0.0033
3.9529	20800	0.0023
3.9624	20850	0.0021
3.9719	20900	0.003
3.9814	20950	0.0029
3.9909	21000	0.0024
4.0004	21050	0.0027
4.0099	21100	0.0017
4.0194	21150	0.0017
4.0289	21200	0.0018
4.0384	21250	0.0016
4.0479	21300	0.0012
4.0574	21350	0.0018
4.0669	21400	0.0018
4.0764	21450	0.0021
4.0859	21500	0.0015
4.0954	21550	0.0015
4.1049	21600	0.002
4.1144	21650	0.0019
4.1239	21700	0.0011
4.1334	21750	0.0013
4.1429	21800	0.0019
4.1524	21850	0.0018
4.1619	21900	0.0013
4.1714	21950	0.0017
4.1809	22000	0.0016
4.1904	22050	0.002
4.1999	22100	0.0016
4.2094	22150	0.002
4.2189	22200	0.0019
4.2284	22250	0.0013
4.2379	22300	0.0024
4.2474	22350	0.0018
4.2569	22400	0.0015
4.2664	22450	0.0019
4.2759	22500	0.0015
4.2854	22550	0.0019
4.2949	22600	0.002
4.3044	22650	0.0017
4.3139	22700	0.0018
4.3235	22750	0.0014
4.3330	22800	0.0024
4.3425	22850	0.0016
4.3520	22900	0.0018
4.3615	22950	0.002
4.3710	23000	0.0012
4.3805	23050	0.0016
4.3900	23100	0.0013
4.3995	23150	0.0016
4.4090	23200	0.0023
4.4185	23250	0.0021
4.4280	23300	0.0017
4.4375	23350	0.0014
4.4470	23400	0.0026
4.4565	23450	0.0019
4.4660	23500	0.0021
4.4755	23550	0.0016
4.4850	23600	0.0019
4.4945	23650	0.0017
4.5040	23700	0.0025
4.5135	23750	0.0015
4.5230	23800	0.002
4.5325	23850	0.0026
4.5420	23900	0.0024
4.5515	23950	0.0022
4.5610	24000	0.0018
4.5705	24050	0.0018
4.5800	24100	0.0021
4.5895	24150	0.0014
4.5990	24200	0.0016
4.6085	24250	0.0014
4.6180	24300	0.0022
4.6275	24350	0.0017
4.6370	24400	0.0016
4.6465	24450	0.002
4.6560	24500	0.0011
4.6655	24550	0.0013
4.6750	24600	0.0012
4.6845	24650	0.0012
4.6940	24700	0.0017
4.7035	24750	0.0017
4.7130	24800	0.0019
4.7225	24850	0.0014
4.7320	24900	0.0015
4.7415	24950	0.0013
4.7510	25000	0.0018
4.7605	25050	0.0013
4.7700	25100	0.0014
4.7796	25150	0.0019
4.7891	25200	0.0021
4.7986	25250	0.0017
4.8081	25300	0.002
4.8176	25350	0.0025
4.8271	25400	0.0016
4.8366	25450	0.0014
4.8461	25500	0.0018
4.8556	25550	0.002
4.8651	25600	0.001
4.8746	25650	0.0017
4.8841	25700	0.0015
4.8936	25750	0.0018
4.9031	25800	0.0013
4.9126	25850	0.0014
4.9221	25900	0.0013
4.9316	25950	0.0014
4.9411	26000	0.0014
4.9506	26050	0.0015
4.9601	26100	0.0019
4.9696	26150	0.0015
4.9791	26200	0.0019
4.9886	26250	0.002
4.9981	26300	0.0014

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.39.3
• PyTorch: 2.1.2
• Accelerate: 0.29.3
• Datasets: 2.18.0
• Tokenizers: 0.15.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}